Humanités Numériques |

tei-mcp v0.3 : encoder en TEI sans toucher à la source

Tue, 05 May 2026 00:00:00 +0000

Quand j’ai , il s’agissait d’empêcher les assistants IA d’halluciner du balisage TEI. L’ancrage dans le schéma a réglé une partie du problème : dès lors qu’il accède, par des outils, à la spécification P5, le modèle n’a plus à deviner ce que signifie un élément ni quels attributs il admet. Ce qu’il produit est valide.

Mais l’hallucination, en TEI, a deux visages, et le schéma n’en démasque qu’un. Valider contre la spécification vous assure que le balisage est bien formé ; cela ne dit rien du texte que ce balisage enveloppe. Or c’est là, dans le texte même, que nichent les hallucinations les plus dommageables. La composition à empans verrouillés (span-locked composition), pièce maîtresse de la v0.3, a été conçue tout exprès pour les rendre impossibles.

Table des matières

L’hallucination qui échappe au schéma

Demandez à un modèle d’encoder une lettre française du XVI^e siècle : vous recevrez souvent un document TEI d’allure impeccable. L’en-tête est rempli, les <persName> sont à leur place, la <dateline> est bien formée. Passez-le à validate_document : il est reçu.

Comparez maintenant le corps du texte à la source.

mesme est devenu même. Une virgule a changé de place. luy a été modernisé en lui sans un mot. Une proposition malaisée à lire dans le manuscrit a été « corrigée » en quelque chose de plus net. Aucune de ces retouches n’a été demandée ; aucune n’est signalée. Le document est valide au regard du schéma, et faux en douce.

Dans un flux de travail archivistique, où le texte encodé devient la version de référence dont dépendront les lecteurs, les index de recherche et les citations, c’est la faute qui compte le plus. Une balise mal formée agace ; une graphie modernisée que personne ne remarque pendant cinq ans est une corruption.

La composition à empans verrouillés

La nouvelle version (v0.3) embarque un mécanisme de prévention des hallucinations qui vise exactement cette faute-là. Le principe qui a guidé sa conception : rendre l’hallucination dans le corps du texte impossible par construction, et non pas seulement improbable.

L’idée est simple : le modèle ne tape jamais le corps du texte.

Le travail se déroule ainsi :

Le modèle appelle get_source("letter_001") et reçoit le texte brut de la source sous forme de chaîne immuable.
Pour chaque balise qu’il veut poser, il appelle tag_span("letter_001", start, end, element_path, attrs), qui enregistre un élément TEI sur un intervalle de caractères de la source.
Quand il a fini, il appelle compose("letter_001"). Le serveur entrelace les balises enregistrées et le texte brut d’origine, produit le TEI final, puis vérifie octet par octet que le texte nu du document produit est identique à la source.

Si les octets concordent, le document est rendu. Sinon – si les balises du modèle impliquent, d’une manière ou d’une autre, un corps qui s’écarte de la source ne serait-ce que d’un caractère – compose() lève une erreur au lieu de rendre un document corrompu.

Il n’existe dans ce flux de travail aucun chemin par lequel le modèle puisse produire un document TEI dont le corps diffère de la source. L’invariant est mécanique, non comportemental : vous n’avez pas à faire confiance au modèle pour qu’il n’hallucine pas ; vous n’avez à faire confiance qu’à un == entre deux chaînes d’octets.

Ce que c’est, et ce que ce n’est pas

La composition à empans verrouillés complète l’ancrage dans le schéma ; elle ne le remplace pas. Les outils d’ancrage (validate_document, lookup_element, valid_children et le reste des seize outils d’origine) aident le modèle à produire du TEI valide ; la composition à empans verrouillés garantit que le corps du texte à l’intérieur de ce TEI est fidèle à la source. Un flux d’encodage digne d’être mis en production doit satisfaire à ces deux exigences, et un seul serveur y pourvoit désormais.

Ce n’est pas non plus un remède universel. compose() ne vérifie pas encore que les balises enregistrées sont admises par la personnalisation ODD chargée – ce sera l’objet d’une prochaine étape. Les balises enregistrées vivent dans la mémoire du processus et ne survivent pas à un redémarrage. Et les fichiers sources doivent être lisibles depuis l’endroit où tourne le serveur. Tout cela se corrige ; rien de tout cela n’entame l’invariant central.

Au-delà de la TEI

Le procédé se généralise. Chaque fois qu’on demande à un modèle d’annoter, de transformer ou d’envelopper un texte, et chaque fois que l’intégrité de ce texte importe plus que le talent du modèle à l’« améliorer », la même forme de solution s’applique. Ne demandez pas au modèle de retaper le texte ; demandez-lui des instructions sur le texte, et laissez un compositeur déterministe les appliquer sous un invariant d’égalité.

Pour les éditions numériques en particulier, cela change ce que l’on peut raisonnablement confier à un modèle. L’encodage devient d’un coup une tâche que l’on peut déléguer sans avoir à comparer à la main chaque sortie avec la source. La machine se charge de la besogne ; l’éditeur relit le balisage, non l’orthographe.

Obtenir la mise à jour

Si tei-mcp est déjà installé :

uvx tei-mcp@latest

Ou, pour une installation neuve :

pip install tei-mcp

Pour utiliser la composition à empans verrouillés, indiquez au serveur un répertoire de fichiers sources en texte brut :

export TEI_MCP_SPAN_SOURCE_ROOT=/path/to/sources
uvx tei-mcp

Le nom de chaque fichier, sans son extension, devient l’identifiant du document (letter_001.txt → letter_001).

Code source, documentation complète et notes de conception de l’invariant :

Une édition numérique d’un autre genre

Tue, 24 Mar 2026 00:00:00 +0000

La plupart des sources primaires ne sont jamais publiées. Le remède sur lequel nous comptons, l’édition numérique financée par subvention, coûte trop cher, dépend trop d’un centre unique et se brise trop facilement pour changer d’échelle. Je viens de publier où j’explique pourquoi je bâtis autrement l’édition critique des lettres de Cavriana : des sources numérisées qui s’enrichissent au fil du temps, avec un minimum d’infrastructure et une maintenance automatisée, ouvertes à la collaboration, et si peu coûteuses qu’il n’est même plus besoin de subvention. C’est un plaidoyer pour des humanités numériques qui tiennent debout avec ou sans le soutien des institutions.

tei-mcp

Sun, 15 Mar 2026 00:00:00 +0000

tei-mcp : la TEI P5 à la portée des agents IA

tei-mcp est un serveur libre qui ouvre aux assistants de programmation un accès direct à la spécification . Au lieu de puiser dans le souvenir de ses données d’entraînement – d’où sort souvent un balisage plausible, mais faux – l’IA interroge la spécification en temps réel.

Fonctions

Le serveur lit l’ODD de la TEI P5 et expose seize outils :

Consulter tout élément, classe, macro ou module par son nom, sans distinction de casse et avec suggestions en cas de coquille
Résoudre les attributs à travers toute la hiérarchie des classes de la TEI (locaux et hérités)
Développer les modèles de contenu en arbres structurés, avec résolution des classes et des macros
Contrôler l’imbrication – filiation directe ou accessibilité récursive, avec le chemin suivi
Valider des documents contre la TEI P5 : modèles de contenu, attributs, listes de valeurs fermées, intégrité des renvois et avertissements d’obsolescence
Valider un élément isolé, pour l’édition pas à pas
Charger des personnalisations ODD, qui restreignent le schéma au sous-ensemble propre à un projet
Chercher parmi tous les types d’entités au moyen d’expressions régulières

Installation

pip install tei-mcp

Ou, pour l’exécuter directement :

uvx tei-mcp

Utilisation

Ajoutez-le à n’importe quel client compatible MCP (Claude, Cursor, Windsurf, etc.) :

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

Le code source et la documentation sont sur le .

tei-mcp : la TEI P5 à la portée des agents IA

Sun, 15 Mar 2026 00:00:00 +0000

Quiconque a demandé à un assistant IA d’écrire du XML TEI l’a constaté : il se trompe. Des éléments surgissent là où ils n’ont rien à faire, des attributs sont inventés de toutes pièces, les règles d’imbrication sont foulées aux pieds. Le modèle a une vague idée de ce à quoi ressemble la TEI ; de la spécification elle-même, il n’a aucune connaissance sûre.

tei-mcp y remédie en donnant aux agents IA un accès direct, par des outils, aux Guidelines de la TEI P5.

Table des matières

Qu’est-ce que MCP ?

Le (MCP) est une norme ouverte qui permet aux applications d’IA de se relier à des sources de données et à des outils extérieurs. C’est, si l’on veut, le port USB de l’IA : un protocole unique grâce auquel n’importe quel client compatible – Claude, Cursor, Windsurf et d’autres – se branche sur des services spécialisés.

Un serveur MCP expose des outils que l’IA peut appeler au fil de la conversation ; au lieu de puiser dans le souvenir de ses données d’entraînement, le modèle interroge une source vivante, qui fait autorité.

Ce que fait tei-mcp

tei-mcp lit la spécification ODD de la TEI P5 et expose seize outils, qui répondent aux questions que se posent le plus souvent un éditeur ou un encodeur :

Qu’est-ce que cet élément ? Recherche de tout élément, classe, macro ou module par son nom, sans distinction de casse et avec suggestions en cas de coquille.
Quels attributs admet-il ? Résolution des attributs à travers toute la hiérarchie des classes – d’abord les attributs locaux, puis les attributs hérités, dans l’ordre.
Que peut-il contenir ? Développement des modèles de contenu en arbres structurés, ou simple liste des enfants admis.
Cet élément a-t-il sa place ici ? Contrôle de l’imbrication parent-enfant, ou recherche d’un chemin à travers toute la hiérarchie des éléments.
Mon document est-il valide ? Validation d’un fichier XML TEI contre la spécification : modèles de contenu, valeurs d’attributs, listes de valeurs fermées, intégrité des renvois et avertissements d’obsolescence.
Et le schéma de mon projet ? Chargement d’un fichier de personnalisation ODD, qui restreint tout ce qui précède au sous-ensemble de la TEI propre à votre projet.

Pourquoi cela compte

Encoder en TEI, c’est avoir sans cesse les Guidelines sous la main. Les encodeurs chevronnés ont intériorisé les tournures les plus courantes, mais eux-mêmes doivent retourner à la spécification pour les éléments moins familiers ou les modèles de contenu complexes. Pour les assistants IA, qui n’ont rien intériorisé du tout, le mal est pire : ils hallucinent un balisage d’aspect plausible, et faux.

Avec tei-mcp, l’IA n’a plus à deviner. Elle va chercher la réponse dans la spécification avant d’écrire le moindre chevron, et le balisage qui en sort est conforme à la TEI P5 – ou à la personnalisation ODD de votre projet.

Premiers pas

Installation depuis PyPI :

pip install tei-mcp

Puis ajoutez le serveur à la configuration de votre client MCP :

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

Au premier lancement, le serveur télécharge la spécification TEI ; il fonctionne avec tout client compatible MCP.

Code source et documentation complète :

Multi-Saxon

Fri, 28 Mar 2025 00:00:00 +0000

Multi-Saxon : du XSLT en parallèle pour les grands corpus TEI

Multi-Saxon comble une lacune sérieuse de l’outillage XML : il exécute en parallèle des transformations XSLT 2.0 et 3.0 que LXML, la bibliothèque XML la plus répandue en Python, ne sait pas traiter. Conçu tout exprès pour les grandes collections de documents XML TEI, il en abrège sensiblement le traitement par une parallélisation efficace.

Principales fonctions

XSLT de dernière génération : traite les transformations XSLT 2.0 et 3.0, hors de portée de LXML
Traitement parallèle : la parallélisation abrège considérablement la transformation des grandes collections de documents
Taillé pour la TEI : conçu spécialement pour les documents XML de la Text Encoding Initiative (TEI)
Montée en charge : traite avec la même aisance des corpus de quelques centaines ou de plusieurs milliers de documents
Multiplateforme : fonctionne sur les divers systèmes d’exploitation et environnements

Le problème que Multi-Saxon résout

Les chercheurs en humanités numériques qui travaillent en TEI butent souvent sur deux obstacles :

LXML (bibliothèque Python courante pour le traitement XML) ne connaît que XSLT 1.0, ce qui interdit les fonctions plus avancées de XSLT 2.0/3.0
Traiter un grand corpus de documents TEI l’un après l’autre peut prendre un temps rédhibitoire

Multi-Saxon répond aux deux à la fois : il s’appuie sur les capacités XSLT avancées de Saxon, et répartit le traitement sur plusieurs cœurs, d’où des gains de performance considérables.

Mise en œuvre

Multi-Saxon associe Python au processeur Java Saxon pour former une chaîne de transformation à haute performance :

il s’appuie sur la bibliothèque Java Saxon pour un traitement XSLT 2.0/3.0 robuste ;
il recourt au multitraitement pour distribuer les transformations sur les cœurs disponibles ;
il gère les réserves de processus de façon à maximiser le débit ;
il offre une interface simple pour traiter les documents TEI par lots.

Exemple d’utilisation

from multi_saxon import MultiSaxon

# Initialize with your XSLT stylesheet
transformer = MultiSaxon("transform.xsl")

# Transform a single document
transformer.transform("input.xml", "output.xml")

# Transform an entire directory in parallel
transformer.transform_directory("input_dir", "output_dir")

Ce que cela change pour les humanités numériques

Pour les projets qui manipulent de grandes collections de documents TEI, Multi-Saxon rend possibles :

des transformations complexes à l’échelle du corpus, impossibles avec LXML ;
des temps de traitement considérablement réduits (souvent d’un facteur 5 à 10 sur les machines multicœurs) ;
des analyses plus fines, grâce aux fonctions avancées de XSLT 2.0/3.0 ;
une chaîne de travail simplifiée pour traiter des collections entières.

Le code source et la documentation sont sur le .

persNamer

Fri, 28 Mar 2025 00:00:00 +0000

persNamer : relier la TEI au Virtual International Authority File

persNamer est un petit outil Python qui facilite l’intégration, dans des documents TEI XML, des données d’autorité sur les personnes que fournit le VIAF (Virtual International Authority File, ou Fichier d’autorité international virtuel). En changeant les identifiants VIAF en balisage TEI prêt à l’emploi, il épargne à l’éditeur une bonne part du travail manuel qu’exige la création de notices de personnes structurées dans une édition savante numérique.

Le contrôle d’autorité en TEI : une corvée

Les éditions savantes numériques exigent souvent d’identifier avec précision les personnages historiques, formes normalisées des noms et dates de vie comprises. Tenir un contrôle d’autorité cohérent sur l’ensemble d’un projet suppose de :

repérer les personnes dans les textes historiques ;
trouver à leur sujet des données faisant autorité ;
rédiger des notices TEI correctement formées ;
garantir l’uniformité des renvois dans tout le projet.

Autant d’étapes qui se font d’ordinaire à la main, qui prennent du temps et où se glissent des incohérences.

Comment persNamer procède

persNamer automatise cette chaîne de travail en :

allant chercher les données VIAF : à partir d’un identifiant VIAF, l’outil récupère les données RDF par négociation de contenu HTTP ;
en extrayant l’essentiel : il lit le RDF pour en tirer la forme retenue du nom, la date de naissance et la date de décès ;
produisant le balisage TEI : il crée deux fragments XML essentiels :
- une notice de fichier d’autorité (élément <person> muni d’un xml:id généré, <persName>, <birth>, <death> et <idno type="VIAF">) ;
- une balise d’annotation distincte (<persName> dont l’attribut ref renvoie à la notice d’autorité).

Grâce à cette double sortie, l’éditeur tient un fichier d’autorité centralisé tout en insérant sans effort les balises d’annotation dans ses textes TEI.

Principales fonctions

Identifiants normalisés : produit des identifiants XML uniformes, de la forme pers-[familyname]-[givenname initial] (par ex. pers-deteligny-c)
Lecture du RDF : s’appuie sur rdflib pour extraire l’information de diverses propriétés RDF (par ex. rdfs:label, schema:name, viaf:mainHead)
Interface en ligne de commande : s’exécute simplement, le numéro VIAF étant le seul argument obligatoire
Sortie détaillée : rend compte du traitement en détail, en plus du XML final

Exemple d’utilisation

python persNamer.py 314802260

Cette commande produit :

<person xml:id="pers-deteligny-c">
 <persName>Charles deTéligny</persName>
 <birth>1535</birth>
 <death>1572-08-24</death>
 <idno type="VIAF">314802260</idno>
</person>

<persName ref="#pers-deteligny-c">Charles deTéligny</persName>

Usages en humanités numériques

persNamer rend particulièrement service pour :

les éditions savantes numériques qui exigent un contrôle d’autorité ;
les projets d’encodage TEI qui mettent en scène des personnages historiques ;
les initiatives de données liées qui rattachent des documents à des notices d’autorité ;
l’uniformité des grands corpus TEI ;
l’enseignement du contrôle d’autorité dans les cours d’humanités numériques.

Mise en œuvre

persNamer est écrit en Python et dépend de :

requests pour les requêtes HTTP
rdflib pour la lecture du RDF
lxml pour la manipulation du XML

Le code source et la documentation sont sur le .

Dépouiller des bibliographies en masse avec des modèles de langue pré-entraînés

Thu, 07 Jul 2022 19:04:14 +0200

Pour faire baisser le coût des projets en humanités numériques, tout passe par l’automatisation. Jusqu’ici, les tâches répétitives et fastidieuses du travail éditorial ont été, dans le monde universitaire, tantôt accomplies à grands frais par des chercheurs débordés, tantôt « sous-traitées » à des étudiants. Dans cette , je soutiens que la plupart de ces corvées non seulement peuvent, mais doivent être automatisées : le coût d’ensemble des projets s’en trouve réduit, et surtout, des chercheurs de régions peu fortunées peuvent enfin publier vite, et à peu de frais, des documents de valeur.

Dans , j’ai montré, par exemple, que les modèles de langue pré-entraînés peuvent prendre à leur compte l’essentiel du balisage XML d’une édition numérique.

Voici un second exemple, cette fois-ci du côté de la bibliographie.

Le problème

Constituer une base bibliographique à partir des références d’un article savant n’a rien de sorcier : une recherche rapide dans un catalogue comme , la référence téléchargée dans le format voulu, ou bien importée automatiquement d’une base locale, et l’affaire est faite. Pour un ou deux articles, cela suffit. Passé un certain nombre de références, en revanche, la tâche devient rébarbative et dévore le temps. On peut alors recourir à des algorithmes de dépouillement (parsing) comme  ; mais ceux-ci se prêtent mal au changement d’échelle. Quand j’ai voulu convertir avec anystyle les quelque 150 essais savants de notre , les erreurs se sont accumulées au point de devenir ingérables. L’outil ne reconnaissait pas bon nombre de nos sources, prenant par exemple les longs titres des livres de la première modernité pour tout autre chose, et il restait muet devant les documents moins classiques, pages web ou vidéos en ligne. Les analyseurs de ce genre font bien leur office, à condition que l’auteur suive à la lettre une convention consacrée, Chicago, Turabian ou MLA ; à la moindre entorse, les erreurs pleuvent.

La solution

C’est ici que les modèles de langue pré-entraînés viennent à la rescousse : ils saisissent en un instant la logique de n’importe quel style bibliographique , fût-ce un style de votre invention, et il leur suffit d’une poignée d’exemples pour convertir des bibliographies entières en une sans se tromper.

Au début de 2021, j’ai eu la chance d’accéder en avant-première à , le modèle d’OpenAI qui traduit le langage naturel en code, et le code en langage naturel. OpenAI lui prête la maîtrise de plus d’une douzaine de langages de programmation ; et bien que son API ne soit encore, à l’heure où j’écris, qu’en version bêta, il fait déjà tourner des applications aussi répandues que , chez GitHub.

À force de jouer avec cette API, je me suis aperçu qu’elle se débrouillait fort bien avec un code aussi rudimentaire que BibTeX.

De fait, quatre exemples dans la consigne ont suffi pour que le procédé fonctionne de façon fiable.

Consigne d’entrée

References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009.

Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015.

Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. .

Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994.

@incollection{bayle2009,
 author = {Bayle, Ariane},
 booktitle = {Vulgariser la médecine. Du style médical en France et en Italie},
 title = {Patients exemplaires: la correspondance médicale de Fioravanti},
 editor = {Carlino, Andrea and Michel Jeanneret},
 year = {2009},
 address = {Geneva},
 publisher = {Droz},
 langid = {french}
}
@book{berns2015,
 title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth},
 author = {Berns, Andrew D.},
 address = {Cambridge},
 publisher = {Cambridge University Press},
 langid = {english},
 date = {2015}
}
@article{gabler2010,
 author = {Gabler, Hans Walter},
 title = {Theorizing the Digital Scholarly Edition},
 journal = {Literature Compass},
 volume = {7},
 number = {2},
 pages = {43-56},
 doi = {10.1111/j.1741-4113.2009.00675.x},
 langid = {english},
 year = {2010}
}
@book{findlen1994,
 title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy},
 author = {Findlen, Paula},
 address = {Berkeley},
 publisher = {University of California Press},
 langid = {english},
 date = {1994}
}

Résultats

Les sont saisissants : plus de 2 000 références converties en quelques jours. Non content de reproduire fidèlement le modèle donné dans ma consigne, GPT-3 a ajouté de lui-même, et à bon escient, des types d’entrées et des champs qui n’y figuraient pas : autant dire que GPT-3 parle le BibTeX couramment. Plus étonnant encore, pour un modèle entraîné surtout en anglais, il a reconnu toutes les langues (russe, français, italien, latin, grec, allemand, espagnol, etc.) et renseigné chaque fois correctement le champ langid.

Note

GPT-3 ne peut pour l’instant traiter que 2048 jetons à la fois, ce qui borne la taille des entrées et des sorties. Le jour où cette limite tombera, la même tâche ne demandera vraisemblablement plus qu’une heure, ou moins.

Chose plus inattendue, GPT-3 a aussi ajouté des informations absentes des références de départ.

Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015.

Pour cette référence, par exemple, il a ajouté le lien pérenne vers l’archive ouverte ( ) où l’article se lit, et jusqu’aux champs ad hoc HAL_ID et HAL_VERSION propres à ce dépôt :

@inproceedings{baillot2015,
 title = {Editing for Man and Machine},
 author = {Baillot, Anne and Busch, Anna},
 year = 2015,
 booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting},
 address = {Leicester},
 series = {Variants (Journal of the European Society for Textual Scholarship)},
 volume = 13,
 editor = {Bruhn, Siglinde and Schreiber, Manfred},
 langid = {english},
 hal_id = {halshs-01233380},
 hal_version = {v1}
}

Ces ajouts montrent que GPT-3 ne se borne pas à analyser la référence : il la complète à partir de ce qu’il a appris. Il serait curieux, à cet égard, de voir s’il en fait autant pour des références postérieures à son entraînement…

Limites

GPT-3 n’est pas infaillible, et un humain doit le surveiller. Parmi ses défauts connus figure l’ : il lui arrive d’inventer, et de tenir pour acquises des choses fort improbables.

Dans mon expérience, ses accès de fantaisie se sont manifestés lorsqu’il a changé de son propre chef le patronyme d’un auteur, « Ruscelli », en « Ruscello ». À strictement parler, ce n’est pas une faute : les patronymes italiens de la première modernité se déclinaient indifféremment au singulier ou au pluriel. Mais l’usage veut aujourd’hui qu’on les conserve tels quels, singulier ou pluriel. Nul n’écrirait Machiavello pour Machiavelli, de même qu’on doit écrire Rossello et non Rosselli. GPT-3 a-t-il négligé cette convention faute de sens chronologique ? Ou s’est-il laissé influencer par les patronymes voisins, qui, dans cette partie de la bibliographie, se trouvent tous être au singulier (Bariletto, Cesano, Rossello) ? Qui sait.

@book{rossello1565,
 title = {Della summa de’ secreti universali},
 author = {Rossello, Timoteo},
 address = {Venice},
 publisher = {Giovanni Bariletto},
 langid = {italian},
 date = {1565}
}
@book{ruscello1559,
 title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese},
 author = {Ruscello, Girolamo},
 address = {Pesaro},
 publisher = {Bartolomeo Cesano},
 langid = {italian},
 date = {1559}
}

Conclusion

Fruit de quatre années de collaboration intense, les quelque 150 essais apportent des éclairages essentiels sur le manuscrit que nous avons établi et traduit ; ils recèlent aussi une riche matière bibliographique.

Réunir ces références dans une base de données permet aux éditeurs de changer de style bibliographique en un clin d’œil, et de présenter ces informations comme bon leur semble. La base renseigne aussi sur l’édition elle-même et sur le projet qui l’a rendue possible, et ouvre ainsi aux chercheurs de nouvelles perspectives d’analyse. Le tout peut être constitué avec une grande exactitude et dans des délais record.

Des erreurs peuvent s’y glisser, on l’accordera, surtout du fait de la propension de GPT-3 à l’hallucination ; mais les prochaines générations de modèles de langue pré-entraînés y porteront remède.

Avviso | Publier les nouvelles qui nous ont faits modernes (1537—1743)

Sun, 12 Dec 2021 00:00:00 +0000

Le projet Avviso a pour objet principal de numériser, conserver, cataloguer, publier, contextualiser et diffuser les 35 000 gazettes manuscrites de la première modernité, les avvisi, qui appartenaient à la collection des Médicis et sont aujourd’hui conservées aux Archives d’État de Florence. Soit le catalogage, la numérisation et la diffusion d’environ 35 000 avvisi, ces gazettes manuscrites de la première modernité, sur la plateforme Medici Interactive Archive du Medici Archive Project.

Édition efficace

Sun, 12 Dec 2021 00:00:00 +0000

Les éditions critiques numériques coûtent cher. Transcrire, traduire, annoter : ce travail, qu’il faut confier à une main-d’œuvre hautement qualifiée, représente des milliers d’heures ; il exige des financements considérables, et le soutien durable d’une institution.

Que les projets les plus en vue des humanités numériques parviennent à réunir les sommes considérables dont ils ont besoin, c’est, en un sens, une chance.

Mais un modèle qui repose sur la largesse de riches fondations, d’universités et d’agences publiques, et sur la mobilisation durable d’une main-d’œuvre nombreuse, n’a rien d’un modèle économique d’avenir. Si de plus en plus de chercheurs ont les moyens de produire d’ambitieuses éditions numériques de sources primaires, la pratique reste l’apanage de quelques pays riches, dont elle conforte d’autant l’hégémonie culturelle.

Pour que les documents historiques du monde entier deviennent accessibles à un large public, le coût des éditions critiques numériques doit être divisé non par deux, mais par cent ou par mille .

Dans cette série de billets, j’examine les approches et les briques techniques grâce auxquelles les chercheurs, où qu’ils soient, peuvent publier des sources primaires plus vite et à moindres frais.

J’y étudierai en particulier l’apprentissage automatique, la chaîne de blocs (blockchain) et le stockage décentralisé.

Automatiser le balisage des éditions savantes numériques

Mon, 22 Nov 2021 18:15:00 +0000

Introduction

Comment produire des éditions savantes numériques sans y engloutir des fortunes ? Ce billet ouvre une série consacrée à l’édition efficace ; j’y examine ce que les modèles de langue pré-entraînés peuvent apporter à l’automatisation des tâches éditoriales, le balisage sémantique au premier chef.

Table des matières

Le problème

Quand on aime, on ne compte pas

Du moins le proverbe le dit-il. Les éditions savantes numériques en sont l’illustration la plus coûteuse : transcrire, traduire, annoter, c’est des milliers d’heures de travail, fournies, dans le cas de , par des centaines de collaborateurs hautement qualifiés.

Que les projets les plus en vue des humanités numériques parviennent à réunir les sommes considérables dont ils ont besoin, c’est, en un sens, une chance. Mais un modèle qui repose sur la largesse de riches fondations, d’universités et d’agences publiques, et sur la mobilisation durable d’une main-d’œuvre nombreuse, n’a rien d’un modèle économique d’avenir.

Car si l’on veut que des chercheurs du monde entier s’attellent à rendre les documents historiques accessibles à un public plus large, le coût des éditions critiques numériques doit être divisé non par deux, mais par cent ou par mille .

Une barre placée haut

Paradoxe : la solution pourrait bien venir des projets les plus gourmands en main-d’œuvre, tel , car ils forment un jeu d’entraînement de grand prix pour automatiser les tâches les plus rébarbatives et les plus répétitives de l’édition numérique, à commencer par le balisage.

Non que le balisage soit accessoire. Bien au contraire : il est devenu la pièce maîtresse de tout projet numérique digne de ce nom. Normalisé par la , il permet de consigner tout ce que l’on voudra du document et du texte qu’il porte : structure, notes marginales, ratures, variantes, nature du papier, taches, écriture… la liste est ouverte.

L’exemple qui suit, emprunté à , montre comment le balisage charge le texte d’informations nouvelles (catégorie, structure, champs sémantiques, ratures, etc.), et donne en fin de compte aux éditions numériques un avantage décisif sur leurs aînées de papier.

Texte brut Balisage XML

Texte brut	Balisage XML
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

Ces informations valent pour la conservation, mais aussi, je l’ai montré ailleurs, pour la synthèse et l’analyse. Reste que ce genre d’annotation dévore le temps, d’autant qu’un même texte doit souvent exister sous plusieurs états : traduction, transcription, version modernisée, etc.

La solution

Les transformeurs, chemin le plus court vers l’automatisation ?

En 2020, a lancé à grand bruit sa dernière famille de grands modèles de langue généralistes, GPT-3, pour « Generative Pre-trained Transformer 3 ». Les transformeurs sont une percée assez récente de l’intelligence artificielle : ils apprennent une tâche nouvelle avec une rapidité déconcertante, en lisant une simple consigne (prompt) et une poignée d’exemples ; on peut aussi les entraîner davantage sur un jeu de données ad hoc (fine-tuning), ce qui améliore à la fois leur vitesse et leur précision. C’est en ce sens que GPT-3 et ses semblables sont dits : ils apprennent à partir de peu d’exemples.

À en croire OpenAI, GPT-3 compte un nombre record de 175 milliards de paramètres et a été entraîné sur plus de 570 Go de texte, pour l’essentiel des documents anglais vraisemblablement tirés d’ . Par sa taille même, il a fixé un nouvel étalon dans le domaine, et s’acquitte d’emblée des tâches les plus diverses avec un réalisme troublant : il écrit des plausibles, dans des salons de discussion, , , traduit des documents, explique le jargon, et j’en passe.

Ayant accès à l’API d’OpenAI depuis mai 2021, en avant-première, j’ai pu éprouver le modèle sur des tâches réputées difficiles : traduire en anglais de la poésie française et des textes néo-latins, expliquer des analogies, et même résumer à un enfant de sept ans le quatrième livre de la Fondation de la métaphysique des mœurs de Kant (sans convaincre, il est vrai).

Codex

L’un des derniers rejetons de GPT-3 s’intéresse aux langages informatiques. Baptisé Codex, il traduit le langage naturel en code, et inversement. Si je cherche, par exemple, une expression régulière qui « trouve uniquement les mots commençant par une majuscule », GPT-3 me rend aussitôt une expression régulière qui fonctionne : [A-Z]+\w+.

OpenAI affirme que Codex manie une douzaine de langages, dont Python, JavaScript, Go, Perl, PHP, Ruby et Swift. En transformant sans heurt le pseudo-code en code, il dispense de la syntaxe tatillonne des langages informatiques et laisse l’esprit libre pour l’essentiel : les étapes logiques et les stratégies par lesquelles un programme résout un problème.

Au-delà d’OpenAI

OpenAI n’est pas seul en lice, loin de là. Comme je l’ai rappelé plus haut, la Beijing Academy for Artificial Intelligence a annoncé en 2021 un modèle plus vaste encore et plus capable, Wu Dao 2. Nvidia et Microsoft ont uni leurs forces pour produire le bien nommé Megatron-Turing NLG 530B. Des entreprises plus modestes, comme et , ouvrent elles aussi leurs API au public ; et l’on n’oubliera pas les initiatives libres, dont . Le paysage change vite ; pour suivre les nouveaux venus, le mieux est de consulter .

Les expériences

Note

Ces expériences visent à trouver la voie la moins coûteuse vers une automatisation fiable des tâches éditoriales. On m’objectera que certaines d’entre elles se prêteraient aussi à l’apprentissage supervisé ; c’est une hypothèse que j’examinerai dans un prochain billet.

Un transformeur comme GPT-3 peut-il apprendre à annoter, disons, un manuscrit technique et scientifique du XVI^e siècle ?

Expérience 1 – Classer les entrées

Commençons modestement. Puisqu’il apprend « à partir de peu d’exemples », GPT-3 devrait saisir sans tarder la logique selon laquelle notre équipe a classé les entrées du Ms. Fr. 640.

Conception de la consigne

Pour l’entraîner, je me suis contenté d’une consigne minimale et de quatre courtes entrées en texte brut, données en exemple, dont l’une relevait de la « médecine », une autre des « armes et armures », une troisième de la « peinture ».

Test

J’ai ensuite soumis un passage qui ne figurait pas dans la série initiale :

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

La réponse colle parfaitement au contenu :

<categories="painting">

Soumettons-lui maintenant une entrée d’une catégorie qui ne figurait même pas parmi les textes d’entraînement : la réponse surprend.

<categories="jewelry">

Résultat

La catégorie « jewelry » (joaillerie) n’existe pas dans notre édition du Ms. Fr. 640 ; l’équipe éditoriale lui la catégorie plus large des « Stones » (pierres). L’intuition de GPT-3 n’en est pas moins juste, et laisse penser qu’avec un peu plus d’entraînement il saurait classer n’importe quelle entrée du Ms. Fr. 640, voire celles de textes techniques comparables du XVI^e siècle.

Expérience 2 – Le balisage sémantique

Haussons la barre. Si des transformeurs comme GPT-3 apprennent à classer des textes selon des critères éditoriaux donnés, sauront-ils aussi en reconnaître une partie du balisage ?

Note

Secrets of Craft and Nature balises sémantiques et balises structurelles. GPT-3, hélas, ne lit pas les images, à la différence d’autres projets comme . Les prochaines versions de GPT en seront sans doute capables, et il le faudra bien, car la plupart des aspects structurels et matériels d’un document ne se reconnaissent pas autrement. Je laisse donc ces balises-là de côté pour m’en tenir au balisage qui se passe de reconnaissance d’images.

Conception de la consigne

Les balises sémantiques signalent, entre autres, les animaux, les plantes, les toponymes, les perceptions sensorielles. Pour la consigne d’entraînement, j’ai retenu quelques exemples tirés de l’édition :

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

Test

Essayons d’abord des mots faciles avec le modèle Davinci-codex : Apothecary, smoke, glassmakers, latten, snake. La réponse est immédiate et sans faute :

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

Épreuve plus délicate : les mots composés, comme copper plates, walnut oil et wood block, qui permettent de vérifier si GPT-3 sait imbriquer les balises.

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

Le bilan est ici en demi-teinte : Davinci-codex n’a correctement balisé que walnut oil, et n’a pas vu les balises tl et m imbriquées dans copper plates et wood block. Mais une consigne mieux faite y remédie, comme le montre l’essai suivant : cinq exemples supplémentaires de balises imbriquées, et Davinci-codex rend un résultat presque irréprochable, avec une seule erreur (oil paintbrushes) :

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

Conclusion

Gardons à l’esprit que ces essais ont porté sur de courts fragments. Je gage qu’avec davantage de contexte, dans les exemples comme dans la consigne, les modèles GPT-3 feraient mieux encore ; et qu’un ajustement fin (fine-tuning) sur des jeux de données ad hoc affinerait encore la précision du balisage.
Il faudrait, certes, reprendre ces expériences à plus grande échelle pour établir la fiabilité des modèles de langue pré-entraînés ; on peut néanmoins conclure dès à présent que cette approche permet aux éditeurs d’automatiser plusieurs tâches d’annotation en quelques gestes, et d’économiser, potentiellement, énormément de temps et d’argent.

Visualiser les manuscrits 2 (mise à jour)

Sat, 20 Nov 2021 16:00:00 +0000

Chose promise, chose due : voici une nouvelle version du treemap interactif présenté dans un , qui offre cette fois deux modes d’affichage.

Note

Pour un meilleur confort de lecture, vérifiez que la page est en mode clair (cliquez sur l’icône de lune en haut à droite).

Regrouper les folios par catégorie

Un navigateur visuel pour l’archive

Sun, 20 Jun 2021 16:00:00 +0000

Le problème

Les éditions numériques vivent sur un paradoxe : elles mettent des documents difficiles d’accès à la portée d’un large public, mais la dématérialisation prive le lecteur de ses repères sensoriels, le désoriente, et finit par le détourner du contenu. Se déplacer dans de vastes dépôts de documents devient laborieux, voire intimidant, non seulement pour qui n’a pas l’habitude des archives, mais aussi pour les lecteurs atteints de troubles cognitifs.

La solution

C’est ici que les métadonnées archivistiques nous rendent service. Elles permettent en effet de construire des abstractions visuelles interactives qui offrent au lecteur une autre prise sensorielle, et gagnent ainsi sur les deux tableaux de l’ergonomie et de l’accessibilité. Pour qu’on puisse parcourir l’archive à l’œil, un treemap, ou tout diagramme qui décompose bien des données hiérarchiques, fait l’affaire.

L’expérience

Ma première tentative adapte le pour D3.js, en y ajoutant des hyperliens. Elle représente le manuscrit BnF Ms. Fr. 640, ses folios et les entrées de chaque folio ; les couleurs marquent la catégorie dominante, et l’on obtient davantage d’informations, dont le lien vers le manuscrit, en survolant chaque entrée.
Le treemap devient ainsi un index visuel interactif, qui donne au lecteur, en un instant, une vue d’ensemble du contenu du manuscrit, mais aussi de l’étendue de chaque folio et de chaque entrée.
~~Dans les mois qui viennent, je poursuivrai l’expérience avec d’autres diagrammes et d’autres hiérarchies… À suivre !~~ Pour une nouvelle version du treemap, cliquez .

Note

Pour un meilleur confort de lecture, vérifiez que la page est en mode clair (cliquez sur l’icône de lune en haut à droite).

Cliquez sur une cellule pour zoomer, ou sur la barre du haut pour dézoomer.

L’archive d’un seul coup d’œil

Mon, 24 May 2021 16:00:00 +0000

Le problème

Le désordre des archives historiques a de quoi décourager. Le Mediceo del Principato, aux , en est l’exemple même : une petite partie seulement du fonds est inventoriée, et nombre de ses pièces sont éparpillées, sans raison apparente, dans plus de 6 500 volumes. Pour ne rien arranger, on ne peut consulter qu’un nombre limité de ces volumes, ou filze, comme on dit là-bas : quatre liasses par jour en temps ordinaire, et, en temps de pandémie, quatre par quinzaine. Faute d’inventaires détaillés, l’ampleur du fonds oblige le chercheur à ruser pour mettre la main rapidement sur ce qu’il cherche.

La solution

Les uns s’en remettent au hasard ; les autres tentent des conjectures raisonnées à partir de la chronologie, des destinataires, des auteurs, de la provenance du fonds, de la langue, etc. Or il suffit de regarder toutes ces variables ensemble pour que se dessinent, dans la structure de l’archive, des régularités insoupçonnées qui affinent nos conjectures. L’expérience me l’a appris : mises en graphique, les métadonnées que le chercheur consigne d’ordinaire dans un tableur lui donnent une bien meilleure vue de l’endroit où il se trouve dans l’archive.

L’expérience

Je travaille en ce moment sur la correspondance d’un espion du XVI^e siècle. Ses lettres sont dispersées dans des centaines de liasses ; elles sont écrites sous diverses identités, adressées à des correspondants divers et parfois inattendus, envoyées de lieux divers, et ainsi de suite. Pour repérer les filze qui ont le plus de chances de contenir les lettres attendues, j’ai monté un tableau de bord, c’est-à-dire une application web de visualisation interactive ( ) qui relie toutes sortes de données, géographiques et chronologiques notamment, à un diagramme hiérarchique ( ) du fonds. D’un coup d’œil, j’y lis ce qui a déjà été trouvé, ce que cela représente, et où il pourrait valoir la peine de chercher encore ; et il suffit de cliquer sur telle ou telle variable pour que tous les diagrammes se recomposent et fassent apparaître les corrélations correspondantes.

La suite

Ce tableau de bord peut surtout, et c’est peut-être l’essentiel, se convertir en index visuel. Quand l’édition critique de ces lettres paraîtra en ligne, il en sera une seconde porte d’entrée, par laquelle les lecteurs pourront parcourir les données. Pour l’heure, la confidentialité m’oblige à n’en montrer qu’une capture d’écran caviardée, mais je publierai le tableau de bord complet l’an prochain ; en attendant, un prototype sera bientôt disponible. À suivre !

Making & Knowing Project

Sun, 27 Dec 2020 00:00:00 +0000

Fondé en 2014 par Pamela H. Smith, le , qui a réuni des centaines de collaborateurs, est un programme de recherche et d’enseignement du de l’université Columbia.

J’y ai pris part comme chercheur postdoctoral, en travaillant notamment à l’ du BnF Ms. Fr. 640, manuscrit français du XVI^e siècle qui n’a pas son pareil : on y voit, de première main, comment l’on fabriquait et de quoi, à une époque où les artistes étaient aussi des savants.

L’édition numérique met une abondance de données à la libre disposition de tous sur son . Je compte publier dans l’année une série de billets sur l’édition et ses données, où je montrerai avec quelle facilité on peut télécharger et analyser le texte avec Python ou R. À suivre !

Visualiser le balisage sémantique du BnF Ms. Fr. 640

Sun, 20 Dec 2020 18:15:00 +0000

Vue d’ensemble

Les éditions savantes riches en données regorgent d’annotations éditoriales qu’on peut extraire, analyser et visualiser à toutes sortes de fins scientifiques. C’est le cas de , parue en 2020, dont le fichier de métadonnées se télécharge depuis le dépôt GitHub du projet. Je montre dans ce billet comment réunir toutes ces variables dans une matrice de corrélation, puis la visualiser de plusieurs manières.

Les données

Le Making and Knowing Project tient à jour une feuille de calcul qui décrit le contenu du manuscrit : entry_metadata.csv. On la trouvera sur le du Making & Knowing. On peut aussi se fabriquer des fichiers .csv sur mesure, avec davantage de balisage, grâce à l’excellent de Matthew Kumar, qui est une version Python du BnF Ms. Fr. 640.

Préparer Python

Pandas servira à mettre les données en forme, Matplotlib et seaborn aux cartes de chaleur, et NetworkX, pour finir, aux réseaux fondés sur les corrélations.
Pour des variables de ce type, on évitera la méthode de Pearson au profit de la méthode 𝜙𝐾 ; prenez le temps de sur cette mesure de corrélation et sur PhiK, la bibliothèque qui l’implémente.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

Préparer les données

Téléchargeons d’abord, dans le dossier metadata du , la dernière version du fichier de métadonnées de l’édition. Nous n’en garderons que les colonnes utiles. Pour cette démonstration, je retiens toutes les balises sémantiques de la traduction anglaise tl ; on peut tout aussi bien prendre celles de la transcription française tc, ou de la version normalisée tcn. Les valeurs sont séparées par des points-virgules, et c’est à Python de les compter : d’où la méthode stack-unstack, avec l’expression régulière [^;\s][^\;]*[^;\s]*. Pour rendre la matrice plus lisible, nous renommons chaque colonne. Les pressés peuvent sauter cette étape ; qu’ils retiennent seulement qu’à ce stade notre dataframe s’appelle tagsrn.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

Corréler

Le dataframe une fois nettoyé, on peut calculer les coefficients de corrélation entre les variables. C’est le moment de bien comprendre ses données et de s’assurer qu’on emploie la mesure de corrélation qui leur convient ; le paquet pandas-profiling rend ici de grands services.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag est notre matrice de corrélation. Reste à l’explorer sous plusieurs formes.

Visualiser

Le plus simple est d’abord de la représenter comme une matrice colorée, à l’aide du de seaborn.

Carte de chaleur des corrélations

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

Qui connaît bien le texte voit aussitôt que la carte tient debout. Les noms de personnes, par exemple, sont fortement corrélés au latin : rien d’étonnant, quand on sait combien les humanistes du XVI^e siècle aimaient latiniser les noms.

On m’objectera que cette carte enfonce des portes ouvertes. Ce n’est pas tout à fait faux, et les balises médicales semblent au premier abord donner raison à l’objection, elles qui sont corrélées, comme on s’y attendait, aux parties du corps, aux mesures et aux plantes.

Mais qu’on lise la carte avec plus d’attention, ligne à ligne, et des corrélations plus curieuses apparaissent. Que les balises médicales aillent de pair avec les mots italiens et latins, voilà qui renseigne sur l’origine des recettes médicales du Ms. Fr. 640 ; et la corrélation entre professions, définitions et mesures montre à quel point l’identité professionnelle structure les discours techniques du XVI^e siècle.

Clustermap des corrélations

Les cartes de chaleur sont précieuses en phase « exploratoire », mais elles peuvent sembler brouillonnes à votre auditoire, surtout si vous discutez de groupes sémantiques précis du manuscrit – ou si vous les cherchez encore. Le module clustermap de seaborn donne alors des résultats intéressants.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

Outre qu’elle ressemble à un insecte pixélisé (oui, le mot est dans le Robert), la clustermap sépare nettement les balises isolées (en haut et à gauche) de celles qui sont mieux reliées aux autres. On y distingue aussi des groupes à l’écart, comme la musique et le poitevin (qui l’eût cru !), et des groupes plus centraux, comme les mesures, les matériaux, les définitions et les armes. Les professions sont bien reliées, mais ne se rattachent à aucun groupe particulier, du moins dans cette matrice-ci.

Réseau de corrélations

Pour condenser encore les corrélations de notre matrice, les graphes de réseau offrent une solution élégante, surtout lorsqu’il s’agit de présenter le contenu du manuscrit à un public.
Il faut pour cela convertir la matrice en une liste d’arêtes et de nœuds, et fixer un seuil au-dessous duquel les corrélations les plus faibles disparaissent du graphe.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

S’il reste trop d’arêtes et de nœuds, on peut toujours relever le seuil pour obtenir un résultat plus net ; ou bien exporter le graphe, avec la fonction .write_gexf(), pour le retravailler dans Gephi.

nx.write_gexf(G, 'graph.gexf')

Le résultat se voit en tête de ce billet.

Mise à jour : réseau circulaire pondéré

Je cherchais un moyen de représenter les matrices de corrélation sous forme de réseaux pondérés, et j’ai trouvé chez une approche intéressante, que j’adapte ici à notre jeu de données.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

Quelques arêtes supprimées, on peut fixer la couleur et l’épaisseur des autres.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

On donne aussi aux nœuds une taille proportionnelle à leur nombre de connexions.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

On obtient un graphe pondéré qui accueille davantage de nœuds et bien plus d’arêtes, sans rien perdre de sa lisibilité ni de son pouvoir d’information.

La correspondance secrète de Filippo Cavriana, 1568—1589.

Fri, 27 Dec 2019 00:00:00 +0000

Les lettres secrètes de Filippo Cavriana sont un témoignage sans équivalent sur les guerres de Religion : pendant plus de vingt ans, elles suivent les intrigues, les batailles, les négociations et les complots qui rythmaient la vie de la cour de France, et bien au-delà.

Conservées aux , elles sont pour la plupart dispersées dans des centaines de liasses non inventoriées, ces filze dont on parle à Florence. J’ai pu en exhumer des dizaines de nouvelles ces dernières années, mais ce genre de recherche devient de plus en plus ardu : l’éloignement de Florence, la dégradation de certains services publics en Italie, la pandémie de Covid-19, tout concourt à faire d’un projet de publication de cette sorte une entreprise longue et incertaine.

Publier des sources primaires doit pourtant rester, en dépit des obstacles, une part du métier d’historien. C’est la forme de ces publications qui, sans doute, doit changer : il faut non seulement qu’elle s’accommode de la situation que je viens de décrire, mais encore qu’elle rende mieux compte du caractère cumulatif de cette recherche, et qu’elle permette à d’autres de la poursuivre.

D’où l’idée d’un nouveau type de publication numérique, qui soit extensible, pérenne, digne de confiance, indépendante de toute plateforme et, autant que possible, collaborative.

L’édition est désormais en ligne : . Elle réunit les lettres transcrites à ce jour, tirées des Archives d’État de Florence et de Mantoue ainsi que de la BnF, et s’enrichit à mesure que d’autres refont surface. J’ai exposé les raisons de sa conception dans .

Humanités Numériques |

tei-mcp v0.3 : encoder en TEI sans toucher à la source

L’hallucination qui échappe au schéma

La composition à empans verrouillés

Ce que c’est, et ce que ce n’est pas

Au-delà de la TEI

Obtenir la mise à jour

Une édition numérique d’un autre genre

tei-mcp

tei-mcp : la TEI P5 à la portée des agents IA

Fonctions

Installation

Utilisation

tei-mcp : la TEI P5 à la portée des agents IA

Qu’est-ce que MCP ?

Ce que fait tei-mcp

Pourquoi cela compte

Premiers pas

Multi-Saxon

Multi-Saxon : du XSLT en parallèle pour les grands corpus TEI

Principales fonctions

Le problème que Multi-Saxon résout

Mise en œuvre

Exemple d’utilisation

Ce que cela change pour les humanités numériques

persNamer

persNamer : relier la TEI au Virtual International Authority File

Le contrôle d’autorité en TEI : une corvée

Comment persNamer procède

Principales fonctions

Exemple d’utilisation

Usages en humanités numériques

Mise en œuvre

Dépouiller des bibliographies en masse avec des modèles de langue pré-entraînés

Le problème

La solution

Consigne d’entrée

Résultats

Limites

Conclusion

Avviso | Publier les nouvelles qui nous ont faits modernes (1537—1743)

Édition efficace

Automatiser le balisage des éditions savantes numériques

Introduction

Le problème

Quand on aime, on ne compte pas

Une barre placée haut

La solution

Les transformeurs, chemin le plus court vers l’automatisation ?

Codex

Au-delà d’OpenAI

Les expériences

Expérience 1 – Classer les entrées

Conception de la consigne

Test

Résultat

Expérience 2 – Le balisage sémantique

Conception de la consigne

Test

Conclusion

Visualiser les manuscrits 2 (mise à jour)

Un navigateur visuel pour l’archive

Le problème

La solution

L’expérience

L’archive d’un seul coup d’œil

Le problème

La solution

L’expérience

La suite

Making & Knowing Project

Visualiser le balisage sémantique du BnF Ms. Fr. 640

Vue d’ensemble

Les données

Préparer Python

Préparer les données

Corréler

Visualiser

Carte de chaleur des corrélations

Clustermap des corrélations

Qu’est-ce que MCP ?

Les transformeurs, chemin le plus court vers l’automatisation ?