Cahier de laboratoire : Test de similarité sémantique textuelle
Dans le cadre du projet Ganelon, nous évaluons la similarité sémantique entre des textes à l’aide de différents modèles d’embeddings.
Les Corpus utilisés:
Cette expérience s’appuie sur la réutilisation du corpus Chartae Galliae, dont de nombreux textes sont classifiés en plusieurs catégories (Notice, Bulle, Charte, Diplôme, Lettre) et sont disponible en deux langues (latin et français). Ces catégories serviront de référence pour analyser la capacité des modèles à regrouper des textes similaires.
Les textes utilisés, d’une longueur comprise entre 600 et 1000 caractères, proviennent des sources suivantes :
le corpus Chartae Galliae ;
le corpus Corpus Thomisticum, constitué des écrits de Thomas d’Aquin ;
des annonces immobilières issues du site SeLoger.com ;
des extraits aléatoires de l’œuvre d’Émile Zola, disponible sur le projet Gutenberg;
des annonces de mariage tirées du carnet du jour du Journal de Saône-et-Loire ;
des séquences de mots en latin générées aléatoirement.
L’hétérogénéité des corpus permettra d’identifier les capacités de regroupement de textes ayant des propriétés similaires en latin et en français.
La Méthodologie:
Chaque texte est transformé en vecteur (embedding) à l’aide des modèles étudiés. Ces vecteurs sont ensuite projetés dans un espace bidimensionnel (X, Y) à l’aide d’une méthode de réduction de dimensionnalité, l’algorithme t-SNE.
Les points obtenus sont visualisés sur une carte 2D afin d’observer les regroupements éventuels. Pour faciliter l’interprétation, seule la catégorie de chaque texte est affichée.
Les résultats:
Pour amplifier l’effet de regroupement, deux visualisation à 10 et 50 éléments sont proposées:
Modèle : Qwen3-Embedding-8B


Modèle : Qwen3-Embedding-4B


Modèle : julian-schelb/xlm-roberta-base-class-lat-intertext-v1


Modèle : julian-schelb/multilingual-e5-large-emb-lat-intertext-v1


Modèle : bowphs/SPhilBerta


Modèle : sentence-transformers/all-MiniLM-L6-v2


Modèle: google/embeddinggemma-300m


Remerciements:
Nous remercions l’Institut Jacques Monod pour la fourniture des ressources informatiques et de traitement des données nécessaires à ce travail.
OpenEdition vous propose de citer ce billet de la manière suivante :
_ (25 mars 2026). Cahier de laboratoire : Test de similarité sémantique textuelle. Les carnets du LaMOP. Consulté le 16 juin 2026 à l’adresse https://doi.org/10.58079/15xv5


