Ressources numériques en sciences humaines et sociales OpenEdition Nos plateformes OpenEdition Books OpenEdition Journals Hypothèses Calenda Bibliothèques OpenEdition Freemium Suivez-nous

Cahier de laboratoire : Validation de transcription

Dans cette expérience, on demande à un LLM d’analyser une transcription de manuscrits (texte + description).
La transcription utilisée est extraite du projet Cisterciens et Ressources.
Les LLMS utilisés (hors ChatGPT) sont accessibles gracieusement via différentes plateformes mises à disposition dans le cadre de la recherche française.
Les modèles sont classés par taille décroissante (et donc par utilisation de ressources). Une erreur grossière a été ajoutée dans le texte (presentiboos).

Le Prompt

Tu es un expert en diplomatique médiévale et en analyse de chartes latines.

À partir du texte latin et de sa description en français fournis ci-dessous, tu dois :

Évaluer la cohérence de la transcription (fidélité du texte latin, absence d’erreurs manifestes, cohérence linguistique).

Identifier les mots ou segments problématiques (orthographe douteuse, latin incorrect, ambiguïtés, incohérences).

Évaluer la qualité de la description (exactitude historique, exhaustivité, clarté).

Contraintes impératives :

Tu dois répondre exclusivement en JSON valide.

Tu dois utiliser exactement les champs suivants, sans en ajouter ni en supprimer :

le texte proposé.
la description proposée.

transcription : une note sur 20 (nombre entier).

listeErreur : une liste (array) de mots ou expressions problématiques (chaînes de caractères).

qualitéDescription : une note sur 20 (nombre entier).

commentaire : un commentaire sur l'ensemble.

N’ajoute aucun commentaire, aucune explication, aucun texte hors du JSON.

Données à analyser
{
"texte": "Ego Robertus, Dei gratia Lingonensis episcopus, notum facio presentiboos et futuris quod Symon, dominus Clarimontis, querelam quam habebat adversus domum Moribundia de aqueductu molendini de Allevercort me presente acquitavit, retenta sibi piscatura usque ad molendinum de Allevercort, que communis est tam fratrum Moribundia quam ipsius Symonis. Dictus etiam Symon concessit et laudavit ut domus supradicta omnes elemosinas patris sui et omnium antecessorum suorum et libere ac pacifice in posterum possideat. Hoc ipsum laudavit uxor predicti Symonis nomine Emessenz. Quod ut ratum habeatur in posterum, presentem cartam sigilli mei munimine roboravi. Actum anno gratie M° CC° quinto.",
"description": "Robert, évêque de Langres, confirme que Symon, seigneur de Clefmont, renonce au litige qui l’opposait aux religieux de Morimond au sujet du bief du moulin de Levécourt : le moulin sera commun, mais Simon se réserve la pêche dans le bief du moulin et confirme toutes les donations faites par son père."
}

Mistral Entreprise CNRS

{
"texte": "Ego Robertus, Dei gratia Lingonensis episcopus, notum facio presentiboos et futuris quod Symon, dominus Clarimontis, querelam quam habebat adversus domum Moribundia de aqueductu molendini de Allevercort me presente acquitavit, retenta sibi piscatura usque ad molendinum de Allevercort, que communis est tam fratrum Moribundia quam ipsius Symonis. Dictus etiam Symon concessit et laudavit ut domus supradicta omnes elemosinas patris sui et omnium antecessorum suorum et libere ac pacifice in posterum possideat. Hoc ipsum laudavit uxor predicti Symonis nomine Emessenz. Quod ut ratum habeatur in posterum, presentem cartam sigilli mei munimine roboravi. Actum anno gratie M° CC° quinto.",
"description": "Robert, évêque de Langres, confirme que Symon, seigneur de Clefmont, renonce au litige qui l’opposait aux religieux de Morimond au sujet du bief du moulin de Levécourt : le moulin sera commun, mais Simon se réserve la pêche dans le bief du moulin et confirme toutes les donations faites par son père.",
"transcription": 10,
"listeErreur": [
"presentiboos",
"Moribundia",
"Allevercort"
],
"qualitéDescription": 17,
"commentaire": "La transcription contient des erreurs manifestes ('presentiboos' au lieu de 'presentibus', 'Moribundia' au lieu de 'Morimond'). La description reste fidèle et claire, mais omet des détails comme le rôle de l'épouse de Symon et le sceau épiscopal, ce qui limite son exhaustivité."
}

ChatGPT (http://chatgpt.com)

{
"le texte proposé.": "Ego Robertus, Dei gratia Lingonensis episcopus, notum facio presentiboos et futuris quod Symon, dominus Clarimontis, querelam quam habebat adversus domum Moribundia de aqueductu molendini de Allevercort me presente acquitavit, retenta sibi piscatura usque ad molendinum de Allevercort, que communis est tam fratrum Moribundia quam ipsius Symonis. Dictus etiam Symon concessit et laudavit ut domus supradicta omnes elemosinas patris sui et omnium antecessorum suorum et libere ac pacifice in posterum possideat. Hoc ipsum laudavit uxor predicti Symonis nomine Emessenz. Quod ut ratum habeatur in posterum, presentem cartam sigilli mei munimine roboravi. Actum anno gratie M° CC° quinto.",
"la description proposée.": "Robert, évêque de Langres, confirme que Symon, seigneur de Clefmont, renonce au litige qui l’opposait aux religieux de Morimond au sujet du bief du moulin de Levécourt : le moulin sera commun, mais Simon se réserve la pêche dans le bief du moulin et confirme toutes les donations faites par son père.",
"transcription": 15,
"listeErreur": [
"presentiboos",
"Moribundia",
"fratrum Moribundia",
"Allevercort",
"et libere ac pacifice",
"Emessenz"
],
"qualitéDescription": 16,
"commentaire": "La transcription est globalement cohérente et conforme à un acte diplomatique du début du XIIIe siècle, mais elle comporte plusieurs formes fautives ou douteuses (notamment presentiboos pour presentibus, Moribundia pour Morimundia, et une construction latine maladroite dans la clause de possession). La langue reste toutefois intelligible et diplomatiquement vraisemblable. La description est historiquement juste dans l’ensemble et restitue bien le contenu juridique principal, mais elle simplifie certains points (communauté du moulin, mention des ancêtres) et omet la confirmation par l’épouse ainsi que la datation précise."
}

Mistral Small 3.1 (https://ollama.com/library/mistral-small3.1)

{
"texte proposé": "Ego Robertus, Dei gratia Lingonensis episcopus, notum facio presentiboos et futuris quod Symon, dominus Clarimontis, querelam quam habebat adversus domum Moribundia de aqueductu molendini de Allevercort me presente acquitavit, retenta sibi piscatura usque ad molendinum de Allevercort, que communis est tam fratrum Moribundia quam ipsius Symonis. Dictus etiam Symon concessit et laudavit ut domus supradicta omnes elemosinas patris sui et omnium antecessorum suorum et libere ac pacifice in posterum possideat. Hoc ipsum laudavit uxor predicti Symonis nomine Emessenz. Quod ut ratum habeatur in posterum, presentem cartam sigilli mei munimine roboravi. Actum anno gratie M° CC° quinto.",
"description proposée": "Robert, évêque de Langres, confirme que Symon, seigneur de Clefmont, renonce au litige qui l’opposait aux religieux de Morimond au sujet du bief du moulin de Levécourt : le moulin sera commun, mais Simon se réserve la pêche dans le bief du moulin et confirme toutes les donations faites par son père.",
"transcription": 17,
"listeErreur": [
"presentiboos",
"Moribundia",
"Allevercort",
"molendinum",
"Emessenz",
"M° CC°"
],
"qualitéDescription": 14,
"commentaire": "La transcription du texte latin présente quelques erreurs, en particulier avec des mots mal orthographiés ou utilisés de manière incorrecte (par exemple, "presentiboos" au lieu de "praesentibus et futuris", "Moribundia" au lieu de “Morimonialis”, et "Allevercort" pour "Aleuvercort"). Le nom propre "Emezzenz" semble également problématique. De plus la datation “M° CC° quinto” est discutable. La description est globalement correcte mais manque de précision sur certains points, notamment sur les droits confirmés et la chronologie."
}

deepseek-r1 (https://ollama.com/library/deepseek-r1)

{
"texte": "Ego Robertus, Dei gratia Lingonensis episcopus, notum facio presentiboos et futuris quod Symon, dominus Clarimontis, querelam quam habebat adversus domum Moribundia de aqueductu molendini de Allevercort me presente acquitavit, retenta sibi piscatura usque ad molendinum de Allevercort, que communis est tam fratrum Moribundia quam ipsius Symonis. Dictus etiam Symon concessit et laudavit ut domus supradicta omnes elemosinas patris sui et omnium antecessorum suorum et libere ac pacifice in posterum possideat. Hoc ipsum laudavit uxor predicti Symonis nomine Emessenz. Quod ut ratum habeatur in posterum, presentem cartam sigilli mei munimine roboravi. Actum anno gratie M° CC° quinto.",
"description": "Robert, évêque de Langres, confirme que Symon, seigneur de Clefmont, renonce au litige qui l’opposait aux religieux de Morimond au sujet du bief du moulin de Levécourt : le moulin sera commun, mais Simon se réserve la pêche dans le bief du moulin et confirme toutes les donations faites par son père.",
"transcription": 12,
"listeErreur": [
"La date 'anno gratie M° CC° quinto' est ambiguë et pourrait ne pas correspondre à l'an 2 du millénaire mentionné dans la description.",
"Les variations de graphie comme 'Allevercort' vs 'Levécourt' et 'Moribundia' vs 'Morimond' pourraient indiquer des erreurs de transcription ou des variations orthographiques non standard.",
"La description ne mentionne pas le rôle du sceau dans la confirmation du document, ce qui est présent dans le texte latin."
],
"qualitéDescription": 13,
"commentaire": "La transcription présente quelques incohérences principales, notamment la date ambiguë et les variations de graphie des noms de lieux, qui pourraient nécessiter une vérification historique. La description est globalement exacte mais pourrait être plus exhaustive sur le rôle du sceau. La qualité générale est moyenne à bonne avec des points d'amélioration."
}

Llama-3.1-8B-Instruct (https://huggingface.co/meta-llama/Llama-3.1-8B-Instruct)

{
"texte": "Ego Robertus, Dei gratia Lingonensis episcopus, notum facio presentiboos et futuris quod Symon, dominus Clarimontis, querelam quam habebat adversus domum Moribundia de aqueductu molendini de Allevercort me presente acquitavit, retenta sibi piscatura usque ad molendinum de Allevercort, que communis est tam fratrum Moribundia quam ipsius Symonis. Dictus etiam Symon concessit et laudavit ut domus supradicta omnes elemosinas patris sui et omnium antecessorum suorum et libere ac pacifice in posterum possideat. Hoc ipsum laudavit uxor predicti Symonis nomine Emessenz. Quod ut ratum habeatur in posterum, presentem cartam sigilli mei munimine roboravi. Actum anno gratie M° CC° quinto.",
"description": "Robert, évêque de Langres, confirme que Symon, seigneur de Clefmont, renonce au litige qui l’opposait aux religieux de Morimond au sujet du bief du moulin de Levécourt : le moulin sera commun, mais Simon se réserve la pêche dans le bief du moulin et confirme toutes les donations faites par son père.",
"transcription": 18,
"listeErreur": [
"prestiboos",
"doudes dans le nom de l'épouse",
"incohérence entre 'Clefmont' et 'Clarimontis'"
],
"qualitéDescription": 19,
"commentaire": "La transcription est globalement fidèle, mais présente quelques erreurs mineures. La description est précise et exhaustive, mais pourrait être améliorée pour refléter fidèlement les nuances du texte latin."
}

ministral-3-3b-instruct-2512 (https://huggingface.co/mistralai/Ministral-3-3B-Instruct-2512)

{
"texte": "Ego Robertus, Dei gratia Lingonensis episcopus, notum facio presentiboos et futuris quod Symon, dominus Clarimontis, querelam quam habebat adversus domum Moribundia de aqueductu molendini de Allevercort me presente acquitavit, retenta sibi piscatura usque ad molendinum de Allevercort, que communis est tam fratrum Moribundia quam ipsius Symonis. Dictus etiam Symon concessit et laudavit ut domus supradicta omnes elemosinas patris sui et omnium antecessorum suorum et libere ac pacifice in posterum possideat. Hoc ipsum laudavit uxor predicti Symonis nomine Emessenz. Quod ut ratum habeatur in posterum, presentem cartam sigilli mei munimine roboravi. Actum anno gratie M° CC° quinto.",
"description": "Robert, évêque de Langres, confirme que Symon, seigneur de Clefmont, renonce au litige qui l’opposait aux religieux de Morimond au sujet du bief du moulin de Levécourt : le moulin sera commun, mais Simon se réserve la pêche dans le bief du moulin et confirme toutes les donations faites par son père.",
"transcription": 19,
"listeErreur": [
"presentiboos (erreur probable pour *presentibus*)",
"Emessenz (orthographe incertaine, probablement *Hermengarde* ou *Emessenda*)",
"Clarimontis (traitement cohérent, mais *Clefmont* en description n'est pas attesté dans le texte latin)",
"aqueductu molendini (formulation inhabituelle, probablement *aquæductu* ou *adductu*)",
"M° CC° quinto (datation floue : 1205 ou 1305 ? Convention médiévale non respectée)"
],
"qualitéDescription": 18,
"commentaire": {}
}

mistral:7b (https://ollama.com/library/mistral)

{
"transcription": 19,
"listeErreur": ["Dei gratia Lingonensis" (devrait être "Dei gratia Langrensis"), "Moribundia" (peut être un scribe qui a mal écrit Morimond), "ipsius Symonis" (devrait être "suo" ou "eiusdem")],
"qualitéDescription": 18,
"commentaire": "La transcription du texte est généralement fiable, mais il y a quelques erreurs orthographiques et de grammaire latines. La description est précise sur le contenu du document mais elle omet de mentionner l'octroi des pêcheries à Simon."
}

Pierre Brochard
Pierre Brochard

OpenEdition vous propose de citer ce billet de la manière suivante :
_ (19 décembre 2025). Cahier de laboratoire : Validation de transcription. Les carnets du LaMOP. Consulté le 16 juin 2026 à l’adresse https://doi.org/10.58079/15e6c


Vous aimerez aussi...

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

This site uses Akismet to reduce spam. Learn how your comment data is processed.