Clement |

La clôture, non le bûcher

Sun, 06 Sep 2026 00:00:00 +0000

Dans un entrepôt de North Las Vegas, Amazon fait tourner une machine qui tranche le dos des livres d’occasion. Les feuillets passent au scanner, puis le papier part au pilon. Le y a vu un autodafé des temps modernes, et n’a reculé devant aucun poncif : Savonarole, des photos de banque d’images montrant des livres d’allure rare et, comme il se doit, le bûcher de Berlin. Les grands quotidiens, on s’en doute, ont gardé la tête plus froide, mais ont laissé flotter la même comparaison. Pour indignés qu’ils soient, ces articles ménagent singulièrement l’industrie de l’IA. À qui reviendra le savoir ainsi numérisé ? Cette question attendra que nous en ayons fini avec les fariboles de l’autodafé.

Un scanner n’est pas un bûcher

Détruire un exemplaire ne fait pas, à soi seul, de la numérisation destructive l’héritière des bûchers de Savonarole ou des autodafés nazis. Ces gestes tiraient leur sens de ce qu’ils condamnaient, et des raisons de la condamnation. Ce pauvre moine de Savonarole, qu’on traîne dans toutes les querelles d’autodafé, appelait les fidèles à brûler une partie de leurs biens en signe public de pénitence ; les bûchers nazis mettaient en scène une répudiation d’un autre ordre, en proclamant que les auteurs des livres brûlés n’avaient plus leur place dans la vie culturelle allemande. Dans les deux cas, la destruction était un spectacle. La numérisation destructive, procédé courant dans les campagnes de numérisation, vise tout autre chose : on sacrifie l’exemplaire pour en garder le contenu. Le livre est détruit, le texte dématérialisé. Ceux qui brandissent Fahrenheit 451 se souviendront peut-être que les pompiers de Bradbury ne mettaient pas le texte de côté pour plus tard.

a ajouté à l’émoi en titrant sur des « livres rares », formule que les autres médias ont reprise en chœur. Or un libraire cité par l’enquête elle-même précisait que ces commandes en gros , ce qui désigne pour l’essentiel des éditions parues depuis l’apparition de ce numéro, vers 1970. C’est le fonds des vide-greniers et des boutiques d’Emmaüs, ces livres qu’un prochain rangement de cave enverra à la déchetterie. Avant de proclamer la catastrophe culturelle, on pourrait consulter le catalogue de la bibliothèque : ce sont précisément les publications que les bibliothèques de dépôt légal ont pour mission de conserver. Un ISBN ne garantit pas, il est vrai, qu’un exemplaire de dépôt ait survécu ; mais la rareté sur le marché de l’occasion ne prouve pas davantage la disparition d’un texte.

Le pilon détruit l’exemplaire, et avec lui les envois et les notes marginales qu’il pouvait porter. Les exemplaires dont les annotations ou la provenance ont une valeur historique méritent d’être repérés et conservés, avant, si possible, qu’ils n’atteignent le marché de l’occasion. On peut aussi s’inquiéter de voir fondre le nombre d’exemplaires des titres épuisés ; mais il faut alors se demander pourquoi leurs ayants droit ne les réimpriment pas et n’ouvrent pas l’accès aux fac-similés numériques qui existent déjà. Les chercheurs connaissent la scène : Google Books trouve le passage qu’il vous faut, puis vous en tend un extrait de trois lignes, tiré d’un livre qu’on ne peut ni acheter neuf ni lire en ligne. Il y a là des pertes dont on peut débattre. Elles ne changent pas un scanner en bûcher nazi.

Le commerce du livre, du reste, pilonne ses invendus depuis toujours, et par routine. Rien qu’en France, on estime que , soit environ 60 % du tonnage retourné aux distributeurs. Cela s’appelle gérer un stock. Exemplaires en surnombre et titres d’occasion devenus rares posent des questions d’accès différentes ; mais détruire du papier n’est pas en soi de la censure, ni de la tyrannie.

Plus de livres, meilleure IA ?

Que des entreprises d’IA achètent et numérisent des livres est, à vrai dire, une bonne nouvelle. Une technologie à qui l’on reproche sans cesse sa compréhension superficielle de la culture humaine s’en imprègne davantage ; on aurait pu attendre des universitaires qu’ils s’en félicitent.

Le web est un pauvre succédané de la mémoire écrite d’une langue. Une bonne part de ce qui s’est écrit dans une langue, des romans et des mémoires aux chansons populaires et aux conversations transcrites, n’est jamais passée de l’imprimé au web ; bien des livres ont survécu à leur éditeur. Les verser dans les données d’entraînement compte surtout là où il n’y a guère autre chose : quelques livres de plus en anglais n’apportent qu’un gain marginal, mais dans une langue mal représentée, ces mêmes livres peuvent faire la différence entre un système utilisable et un système inutile. Que ces outils aient leur place dans nos services publics ou dans notre vie de tous les jours, c’est affaire de débat public ; mais partout où nous décidons de nous en servir, nous devrions pouvoir le faire dans notre langue.

Les commandes signalées en Espagne et aux Pays-Bas donnent à l’enjeu linguistique un tour concret. En mai, décrivait un libraire de Badalona qui recevait commande sur commande, surtout d’ouvrages documentaires en catalan : livres d’histoire, manuels techniques, vieux actes de colloques. En août, la presse néerlandaise rapportait une demande adressée à De Slegte pour . La langue de ces livres mérite au moins autant d’attention que le sort de leurs reliures. C’est peut-être trop demander au Daily Mail ; mais les journaux plus sobres eux-mêmes n’ont presque rien dit des langues en cause.

Les accords de licence avec les grands éditeurs peuvent aussi fournir une matière précieuse, mais leurs catalogues numériques ne couvrent qu’une fraction de ce qui a paru sous forme imprimée : les livres jamais numérisés, ou dont l’éditeur n’a plus les droits, restent hors de l’offre. Même généreux, un accord de licence ne saurait tenir lieu d’histoire de l’édition, et encore moins d’histoire d’une culture. Acheter des exemplaires d’occasion, c’est aller chercher ce qui se trouve au-delà de ces frontières commerciales.

Crier au vol n’est pas un argument

Parler de « vol » n’avance pas davantage. En juin 2025, deux tribunaux fédéraux américains ont jugé que, dans les affaires dont ils étaient saisis, l’entraînement de modèles de langue sur des livres relevait du fair use. Dans , le tribunal a insisté sur le caractère transformatif de l’entraînement : les livres servaient à bâtir un système capable de produire une expression nouvelle. Un modèle peut retenir des passages par cœur, mais entraîner un modèle sur un livre ne rend pas le texte entier disponible sur commande. L’absence de reproduction littérale ne lève pas non plus toutes les objections : dans , le juge a averti que les œuvres produites par l’IA pourraient inonder le marché, et que la preuve d’un tel préjudice pourrait faire échec au fair use ; mais ces plaignants-là n’avaient rien produit de sérieux quant au préjudice subi par leurs propres œuvres. Aucune des deux décisions ne donne carte blanche aux entreprises d’IA ni ne tranche le débat moral. Elles nous obligent à distinguer trois choses : comment les livres sont acquis, comment les copies sont conservées, et ce que l’entraînement en fait. Qualifier le tout de « vol », c’est laisser ces questions sans réponse.

Soit dit en passant, la décision Anthropic fournit au massicot sa raison d’être. Le tribunal a validé la numérisation d’exemplaires achetés, et condamné l’accumulation de livres piratés dans une bibliothèque permanente, pour laquelle l’entreprise a ensuite . Si la numérisation a passé, c’est en partie parce que chaque exemplaire imprimé était détruit dans l’opération : la copie numérique le remplaçait, et ne sortait pas de l’entreprise. La destruction qui bouleverse tant de monde a donc aidé Anthropic à faire reconnaître son programme de numérisation comme un usage loyal. Acheter, numériser, jeter : voilà, dans ce cas, la voie licite. Le massicot est ici un instrument de mise en conformité. Acheter des exemplaires règle la question de l’acquisition ; cela ne donne à personne, par soi-même, le droit de partager le corpus qui en sort.

On a de bonnes raisons de vouloir que l’IA puise dans plus de langues, plus de travaux savants, plus de ce monde qui existait avant internet. Ces raisons ne s’évanouissent pas parce qu’une entreprise qui nous déplaît y a trouvé un filon.

Une indignation d’emprunt

Revenons donc au Daily Mail. Son article s’inscrit dans , campagne menée par des patrons de presse et des éditeurs pour obtenir pour l’IA. Deux substitutions commodes font tout le travail : les géants du numérique tiennent lieu d’IA, et les ayants droit tiennent lieu de créativité britannique. On invite le lecteur à défendre la culture pendant que les éditeurs en négocient le prix de vente. Les universitaires qui font circuler l’article pourraient se demander quelle cause sert leur indignation.

Les géants du numérique et les se disputent sur le montant du loyer, mais ni les uns ni les autres ne s’en prennent à la clôture. La fable de l’auteur solitaire dépouillé par un géant de la tech cache ce que de coûteux accords de licence offrent aux deux camps : les éditeurs sont payés, et les géants obtiennent un marché où leurs rivaux plus modestes n’ont pas les moyens d’entrer. Peter Thiel a dit sans détour la préférence de la Silicon Valley : .

Les licences ne mènent pas fatalement là. Un accès abordable et non exclusif pourrait servir les petits développeurs. Mais un système qui oblige chaque nouvel entrant à négocier des accords coûteux avec les grands ayants droit fait de la surface financière une condition d’entrée ; et un paiement présenté comme une concession aux industries culturelles finit par acheter une protection contre les rivaux de demain.

L’IA n’appartient pas aux géants du numérique

Il y a plus grave. Trop de critiques de l’IA prennent ses plus gros fournisseurs pour le domaine tout entier. Les produits occupent les gros titres ; la recherche et le développement qui se font hors de ces entreprises disparaissent du champ. Les géants ne sauraient rêver malentendu plus commode : leur ambition de posséder le domaine devient le postulat même de la critique qu’on leur adresse. Le monopole n’est pas encore acquis ; le tenir pour tel, c’est leur rendre un immense service.

L’IA libre permet de bâtir et d’adapter des systèmes qui reflètent une plus grande diversité de langues, de cultures et de formes d’expression. Pour les pays d’Europe, d’Afrique et d’Amérique latine, comme pour la Corée du Sud, le Japon et l’Inde, c’est une assise concrète de souveraineté technologique et culturelle : le pouvoir de décider comment les systèmes fonctionnent, quelles langues ils servent et où on les emploie. Recourir ou non à l’IA, et à quelles fins, doit rester un choix public, et non une décision dictée par la dépendance envers un fournisseur étranger.

Mais la liberté de modifier un système ne vaut pas grand-chose sans les moyens de le faire. Le travail indépendant exige des compétences, une infrastructure de calcul et l’accès à une matière d’entraînement. Ce qui nous ramène aux livres. Si chaque équipe de recherche ou chaque institution publique doit négocier ses propres accords avec les éditeurs, ou se constituer sa propre bibliothèque privée, l’indépendance restera le privilège de ceux qui ont de quoi se la payer.

Les livres sont déjà là

Bibliothèques et archives ont passé des générations à rassembler la matière dont ces systèmes ont besoin. Leurs collections existent parce que l’accès au savoir doit survivre à l’intérêt commercial qu’il y a à le vendre. Beaucoup est déjà numérisé : conserve quelque dix-neuf millions de volumes numérisés issus de bibliothèques de recherche, dont un grand nombre encore sous droits. Une bibliothèque numérise un livre et le garde ; personne n’y a besoin de massicot. HathiTrust , mais a aussi annoncé , un projet d’accès aux corpus pour la recherche et le développement non commerciaux en IA. À ces conditions, certains développeurs indépendants resteraient encore à la porte.

Posséder les livres, toutefois, ne donne pas à une bibliothèque le droit d’en distribuer le contenu protégé sous forme de corpus d’entraînement. Le autorise les organismes de recherche et les bibliothèques à fouiller les œuvres licitement accessibles à des fins de recherche scientifique, et permet une fouille plus large là où les ayants droit n’ont pas réservé leurs droits. : son exception de fouille couvre la recherche non commerciale et limite le transfert des copies. Ni l’un ni l’autre de ces cadres ne donne aux bibliothèques un droit général de partager leurs fonds sous droits pour que d’autres bâtissent dessus.

On pourrait aussi revoir la durée pendant laquelle les ayants droit contrôlent les usages computationnels des livres. Les brevets pharmaceutiques offrent un point de comparaison : leur durée ordinaire, vingt ans, est bien plus courte que celle du droit d’auteur, qui court toute la vie de l’auteur et soixante-dix ans au-delà. Les livres ne pourraient-ils s’ouvrir à la fouille de textes et de données, sans redevance, au bout de vingt ans, disons, à compter de la première publication, tandis que les droits de réédition et de vente resteraient protégés ? Protéger le droit d’un auteur à vendre son livre n’oblige pas à contrôler pendant des générations tous les usages qu’on peut faire de son contenu.

Je soutenais il y a deux ans dans que les données patrimoniales devraient être traitées comme un bien public. Les États devraient financer les bibliothèques et les archives pour qu’elles numérisent, transcrivent et documentent leurs collections, et leur donner l’autorité légale de mettre les corpus ainsi constitués à la disposition de tous ceux qui voudront bâtir dessus. Les géants du numérique pourraient être mis à contribution par une taxe dédiée.

L’argent public devrait s’accompagner de politiques de collection et de règles d’accès rendues publiques, valant pour la recherche comme pour le commerce, sans accord exclusif ni accès privilégié pour les donateurs. Ouvrir l’accès à l’entraînement n’oblige pas à laisser redistribuer sans restriction les livres sous droits. Les auteurs devraient prendre part à la conception du dispositif public, y compris sur le consentement, la rémunération et la concurrence faite à leurs œuvres ; et la gratuité pour les utilisateurs n’exclut pas une rémunération des auteurs sur fonds publics : le , qui les rémunère à chaque emprunt de leurs livres, en donne le précédent. Le bûcher n’a jamais été le sujet. La clôture, si.

Chers éditeurs : si vous voulez ma voix, rendez-moi ma langue

Thu, 27 Aug 2026 00:00:00 +0000

Pas un jour sans qu’une revue ne claironne sa charte IA. C’est au tour de Progress in Human Geography, dont les éditeurs viennent de publier : se servir de l’IA pour se dispenser de lire, de penser et d’écrire soi-même constitue « un manquement à l’éthique scientifique comparable au plagiat ». Les articles pris en faute « pourront être retirés » ; au mieux, ils seront corrigés, et la revue en publiera l’avis. Les auteurs, ajoute-t-on, feraient bien de « peser soigneusement s’ils souhaitent voir leur nom associé à des retraits et à des avis de correction ».

Arrêtons-nous sur cette phrase. La rétractation est la sanction suprême de l’édition scientifique, celle qu’on réserve d’ordinaire à la fabrication de données et à la fraude. La voici brandie contre une faute que le même éditorial s’avoue incapable de définir. Il y a, concèdent les éditeurs, « de véritables zones grises », et « aucune ligne nette ne délimite la zone d’“irresponsabilité” ». Tout reposera sur « des appréciations qui pourront contrarier certains auteurs, lesquels soutiendront n’avoir fait aucun usage indu de l’IA » : votre déclaration, autrement dit, pourra être tenue pour nulle. Suit le conseil de demeurer « bien à l’abri dans la zone de “responsabilité” » ; or on ne prêche la prudence que là où il y a péril. Punir des gens pour avoir franchi une ligne qu’on avoue ne savoir tracer n’a de sens que si l’on veut régner par la peur. Retenez bien cela.

L’alibi de la voix

À quoi reconnaît-on un usage responsable ? On enjoint aux auteurs de « veiller avec le plus grand soin… à conserver leur propre voix ». L’abus, c’est de recourir à l’IA « pour écrire dans une langue que les auteurs n’emploieraient jamais d’ordinaire par eux-mêmes ». Pour un anglophone de naissance, la consigne se tient : ne feignez pas d’être ce que vous n’êtes pas. Mais pour l’étranger contraint d’écrire dans une langue qui n’est pas la sienne, l’injonction se mord la queue : la voix que la charte prétend protéger est précisément ce que le règlement de la revue nous interdit.

Prenez mon cas. L’anglais est ma quatrième langue, très exactement le genre de langue que je n’emploierais jamais « d’ordinaire ». Les universités anglophones m’ont dressé à l’écrire court, balisé, presque mécanique : l’idée-clé en tête de paragraphe, les précautions oratoires aux endroits prescrits, les transitions puisées dans la liste homologuée. Le dressage a réussi : il n’y a jamais eu dans mon anglais de voix à protéger, c’est la première chose qu’il a fallu sacrifier. À s’en tenir à la définition des éditeurs, tout ce que j’ai jamais écrit en anglais relèverait de l’usage illicite, machine ou pas.

Pris en tenaille

Les éditeurs assurent avoir pensé à nous : la charte reconnaît que les non-anglophones gagnent à faire vérifier leur anglais par l’IA, voire à recourir à ses « services de traduction, de rédaction et de révision ». Mais la part de l’IA dans l’écriture « ne saurait excéder une aide à la révision et à la relecture », et doit s’arrêter avant « de gros blocs de texte écrits par l’IA ». Or un article traduit par la machine est écrit par la machine du premier mot au dernier : il n’est fait que de ces blocs-là. La concession ne tient donc que si traduire n’est pas écrire. Et où passe cette ligne ? On nous l’a déjà dit : « aucune ligne nette ».

Il y a pire : le soupçon n’est pas seulement invérifiable, il est pipé. En 2023, une équipe de Stanford a soumis à sept détecteurs d’IA parmi les plus répandus des copies écrites par des humains. Les détecteurs ont dénoncé comme produites par une machine, en moyenne, 61 % des copies du TOEFL rédigées par des non-anglophones, tout en classant presque sans faute celles des anglophones ; l’un d’eux a condamné 97,8 % du lot TOEFL ( ). L’explication instruit. Ces détecteurs mesurent la prévisibilité ; et l’anglais de seconde langue, dressé vers la moyenne, est prévisible par construction : le mot le plus probable, dans l’ordre le plus probable. La même étude retrouve le signal dans la production savante, où les communications de colloque dont le premier auteur n’est pas anglophone présentent une moindre variété linguistique. Les indices de style qu’on lit comme « de l’IA » sont ceux d’un bon anglais de seconde langue, et le juge humain lit les mêmes indices que la machine. La tenaille est refermée : mon anglais à moi, et je passe pour une machine ; la machine, et j’enfreins leur règle.

L’impôt sur la langue

Le paradoxe serait bénin s’il ne s’accompagnait de menaces. Or ces menaces trahissent un mal plus profond et plus ancien, que la charte ne nomme jamais : le monolinguisme. Les réclament « la couverture internationale la plus large possible », et, sur la même page, rappellent que « la langue de la revue est l’anglais ».

Ce que coûte cet arrangement n’a rien d’hypothétique. Ayant interrogé 908 chercheurs en sciences de l’environnement, Amano et ses collègues ont établi que les non-anglophones mettent jusqu’à 51 % de temps en plus à rédiger un article, se le voient refuser 2,5 fois plus souvent et renvoyer pour révision 12,5 fois plus souvent, pour des motifs de langue uniquement ( ). Cet impôt est perçu bien avant qu’aucune charte IA n’entre en scène ; le formulaire de déclaration et ses menaces ne font qu’y ajouter un contrôle fiscal.

Fin d’empire

Le monolinguisme est l’axiome dont on ne discute pas. Héritage d’empire, il s’est trouvé avec le temps une justification pratique : la traduction était lente et chère, et nul comité ne pouvait juger ce qu’il ne pouvait lire. Mais rien de cela ne survit aux progrès de la traduction automatique, qui, à l’état de l’art, peut servir d’intermédiaire fiable entre les auteurs et les éditeurs.

L’issue idéale est humaine : les chercheurs devraient lire plus d’une langue. Au lieu de quoi les universités anglophones préfèrent fermer leurs départements de langues vivantes. Notons que ces fermetures sont un phénomène anglo-américain : ailleurs, les chercheurs n’ont jamais eu le luxe du monolinguisme. Et notons le moment. Fermer un département de langues, c’est parier que l’anglais l’a emporté pour de bon et que plus rien qui vaille d’être lu ne s’écrira jamais dans une autre langue. Or ce pari se fait à contretemps, et doublement. D’abord parce que la traduction automatique permet, pour la première fois, de se passer tout à fait de lingua franca ; ensuite parce que l’ordre qui avait fait de l’anglais la langue par défaut se défait : le monde anglophone se replie sur lui-même, la mondialisation reflue, le libre-échange est contesté jusque dans ses berceaux, et il se dessine un monde multipolaire où les langues qui méritent d’être lues iront se multipliant. Les universités forment des chercheurs qui ne lisent que l’anglais pour un monde où l’anglais ne suffira plus. Les comités éditoriaux seront les premiers à en payer le prix.

Une épreuve pour les éditeurs

Quand un comité se plaint de ne pouvoir entendre la voix propre de ses auteurs, peut-être qu’une part du problème est du côté du comité.

L’accusation est grave, et elle appelle une épreuve sérieuse. Progress in Human Geography accepterait-elle de soumettre à ses lecteurs un article écrit en français, en italien ou en japonais, accompagné d’une version anglaise produite par la machine ? Ses propres consignes reconnaissent les services « de traduction » qui le permettent. Un oui clôt le débat ; un non nous dirait ce que la charte protège en réalité.

Dans les deux cas, c’est aux éditeurs de choisir. Si la voix compte, comme ils l’affirment, la revue doit prendre les articles dans la langue où leurs auteurs pensent. Sinon, que le formulaire de déclaration disparaisse, et les menaces avec lui.

tei-mcp v0.3 : encoder en TEI sans toucher à la source

Tue, 05 May 2026 00:00:00 +0000

Quand j’ai , il s’agissait d’empêcher les assistants IA d’halluciner du balisage TEI. L’ancrage dans le schéma a réglé une partie du problème : dès lors qu’il accède, par des outils, à la spécification P5, le modèle n’a plus à deviner ce que signifie un élément ni quels attributs il admet. Ce qu’il produit est valide.

Mais l’hallucination, en TEI, a deux visages, et le schéma n’en démasque qu’un. Valider contre la spécification vous assure que le balisage est bien formé ; cela ne dit rien du texte que ce balisage enveloppe. Or c’est là, dans le texte même, que nichent les hallucinations les plus dommageables. La composition à empans verrouillés (span-locked composition), pièce maîtresse de la v0.3, a été conçue tout exprès pour les rendre impossibles.

Table des matières

L’hallucination qui échappe au schéma

Demandez à un modèle d’encoder une lettre française du XVI^e siècle : vous recevrez souvent un document TEI d’allure impeccable. L’en-tête est rempli, les <persName> sont à leur place, la <dateline> est bien formée. Passez-le à validate_document : il est reçu.

Comparez maintenant le corps du texte à la source.

mesme est devenu même. Une virgule a changé de place. luy a été modernisé en lui sans un mot. Une proposition malaisée à lire dans le manuscrit a été « corrigée » en quelque chose de plus net. Aucune de ces retouches n’a été demandée ; aucune n’est signalée. Le document est valide au regard du schéma, et faux en douce.

Dans un flux de travail archivistique, où le texte encodé devient la version de référence dont dépendront les lecteurs, les index de recherche et les citations, c’est la faute qui compte le plus. Une balise mal formée agace ; une graphie modernisée que personne ne remarque pendant cinq ans est une corruption.

La composition à empans verrouillés

La nouvelle version (v0.3) embarque un mécanisme de prévention des hallucinations qui vise exactement cette faute-là. Le principe qui a guidé sa conception : rendre l’hallucination dans le corps du texte impossible par construction, et non pas seulement improbable.

L’idée est simple : le modèle ne tape jamais le corps du texte.

Le travail se déroule ainsi :

Le modèle appelle get_source("letter_001") et reçoit le texte brut de la source sous forme de chaîne immuable.
Pour chaque balise qu’il veut poser, il appelle tag_span("letter_001", start, end, element_path, attrs), qui enregistre un élément TEI sur un intervalle de caractères de la source.
Quand il a fini, il appelle compose("letter_001"). Le serveur entrelace les balises enregistrées et le texte brut d’origine, produit le TEI final, puis vérifie octet par octet que le texte nu du document produit est identique à la source.

Si les octets concordent, le document est rendu. Sinon – si les balises du modèle impliquent, d’une manière ou d’une autre, un corps qui s’écarte de la source ne serait-ce que d’un caractère – compose() lève une erreur au lieu de rendre un document corrompu.

Il n’existe dans ce flux de travail aucun chemin par lequel le modèle puisse produire un document TEI dont le corps diffère de la source. L’invariant est mécanique, non comportemental : vous n’avez pas à faire confiance au modèle pour qu’il n’hallucine pas ; vous n’avez à faire confiance qu’à un == entre deux chaînes d’octets.

Ce que c’est, et ce que ce n’est pas

La composition à empans verrouillés complète l’ancrage dans le schéma ; elle ne le remplace pas. Les outils d’ancrage (validate_document, lookup_element, valid_children et le reste des seize outils d’origine) aident le modèle à produire du TEI valide ; la composition à empans verrouillés garantit que le corps du texte à l’intérieur de ce TEI est fidèle à la source. Un flux d’encodage digne d’être mis en production doit satisfaire à ces deux exigences, et un seul serveur y pourvoit désormais.

Ce n’est pas non plus un remède universel. compose() ne vérifie pas encore que les balises enregistrées sont admises par la personnalisation ODD chargée – ce sera l’objet d’une prochaine étape. Les balises enregistrées vivent dans la mémoire du processus et ne survivent pas à un redémarrage. Et les fichiers sources doivent être lisibles depuis l’endroit où tourne le serveur. Tout cela se corrige ; rien de tout cela n’entame l’invariant central.

Au-delà de la TEI

Le procédé se généralise. Chaque fois qu’on demande à un modèle d’annoter, de transformer ou d’envelopper un texte, et chaque fois que l’intégrité de ce texte importe plus que le talent du modèle à l’« améliorer », la même forme de solution s’applique. Ne demandez pas au modèle de retaper le texte ; demandez-lui des instructions sur le texte, et laissez un compositeur déterministe les appliquer sous un invariant d’égalité.

Pour les éditions numériques en particulier, cela change ce que l’on peut raisonnablement confier à un modèle. L’encodage devient d’un coup une tâche que l’on peut déléguer sans avoir à comparer à la main chaque sortie avec la source. La machine se charge de la besogne ; l’éditeur relit le balisage, non l’orthographe.

Obtenir la mise à jour

Si tei-mcp est déjà installé :

uvx tei-mcp@latest

Ou, pour une installation neuve :

pip install tei-mcp

Pour utiliser la composition à empans verrouillés, indiquez au serveur un répertoire de fichiers sources en texte brut :

export TEI_MCP_SPAN_SOURCE_ROOT=/path/to/sources
uvx tei-mcp

Le nom de chaque fichier, sans son extension, devient l’identifiant du document (letter_001.txt → letter_001).

Code source, documentation complète et notes de conception de l’invariant :

Une édition numérique d’un autre genre

Tue, 24 Mar 2026 00:00:00 +0000

La plupart des sources primaires ne sont jamais publiées. Le remède sur lequel nous comptons, l’édition numérique financée par subvention, coûte trop cher, dépend trop d’un centre unique et se brise trop facilement pour changer d’échelle. Je viens de publier où j’explique pourquoi je bâtis autrement l’édition critique des lettres de Cavriana : des sources numérisées qui s’enrichissent au fil du temps, avec un minimum d’infrastructure et une maintenance automatisée, ouvertes à la collaboration, et si peu coûteuses qu’il n’est même plus besoin de subvention. C’est un plaidoyer pour des humanités numériques qui tiennent debout avec ou sans le soutien des institutions.

tei-mcp : la TEI P5 à la portée des agents IA

Sun, 15 Mar 2026 00:00:00 +0000

Quiconque a demandé à un assistant IA d’écrire du XML TEI l’a constaté : il se trompe. Des éléments surgissent là où ils n’ont rien à faire, des attributs sont inventés de toutes pièces, les règles d’imbrication sont foulées aux pieds. Le modèle a une vague idée de ce à quoi ressemble la TEI ; de la spécification elle-même, il n’a aucune connaissance sûre.

tei-mcp y remédie en donnant aux agents IA un accès direct, par des outils, aux Guidelines de la TEI P5.

Table des matières

Qu’est-ce que MCP ?

Le (MCP) est une norme ouverte qui permet aux applications d’IA de se relier à des sources de données et à des outils extérieurs. C’est, si l’on veut, le port USB de l’IA : un protocole unique grâce auquel n’importe quel client compatible – Claude, Cursor, Windsurf et d’autres – se branche sur des services spécialisés.

Un serveur MCP expose des outils que l’IA peut appeler au fil de la conversation ; au lieu de puiser dans le souvenir de ses données d’entraînement, le modèle interroge une source vivante, qui fait autorité.

Ce que fait tei-mcp

tei-mcp lit la spécification ODD de la TEI P5 et expose seize outils, qui répondent aux questions que se posent le plus souvent un éditeur ou un encodeur :

Qu’est-ce que cet élément ? Recherche de tout élément, classe, macro ou module par son nom, sans distinction de casse et avec suggestions en cas de coquille.
Quels attributs admet-il ? Résolution des attributs à travers toute la hiérarchie des classes – d’abord les attributs locaux, puis les attributs hérités, dans l’ordre.
Que peut-il contenir ? Développement des modèles de contenu en arbres structurés, ou simple liste des enfants admis.
Cet élément a-t-il sa place ici ? Contrôle de l’imbrication parent-enfant, ou recherche d’un chemin à travers toute la hiérarchie des éléments.
Mon document est-il valide ? Validation d’un fichier XML TEI contre la spécification : modèles de contenu, valeurs d’attributs, listes de valeurs fermées, intégrité des renvois et avertissements d’obsolescence.
Et le schéma de mon projet ? Chargement d’un fichier de personnalisation ODD, qui restreint tout ce qui précède au sous-ensemble de la TEI propre à votre projet.

Pourquoi cela compte

Encoder en TEI, c’est avoir sans cesse les Guidelines sous la main. Les encodeurs chevronnés ont intériorisé les tournures les plus courantes, mais eux-mêmes doivent retourner à la spécification pour les éléments moins familiers ou les modèles de contenu complexes. Pour les assistants IA, qui n’ont rien intériorisé du tout, le mal est pire : ils hallucinent un balisage d’aspect plausible, et faux.

Avec tei-mcp, l’IA n’a plus à deviner. Elle va chercher la réponse dans la spécification avant d’écrire le moindre chevron, et le balisage qui en sort est conforme à la TEI P5 – ou à la personnalisation ODD de votre projet.

Premiers pas

Installation depuis PyPI :

pip install tei-mcp

Puis ajoutez le serveur à la configuration de votre client MCP :

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

Au premier lancement, le serveur télécharge la spécification TEI ; il fonctionne avec tout client compatible MCP.

Code source et documentation complète :

Le Levante, géographie d’une perception

Sat, 29 Oct 2022 10:02:52 -0500

Introduction

Le Levante est un lieu qui se dérobe. On ne le définit jamais que par rapport à un autre territoire, ou contre lui ; aussi son sens n’a-t-il guère été stable, et le mot a désigné des géographies fort différentes selon le lieu et l’époque où on l’employait. Mais si une définition objective et précise reste hors de portée, on peut du moins tenter d’en dresser une carte subjective, en s’appuyant sur les corrélations qu’un corpus donné laisse apparaître. Autrement dit : quel espace le Levante évoquait-il pour tel groupe de lecteurs ?
Je montre dans ce billet comment exploiter les données de la du Medici Archive Project pour visualiser les lieux auxquels ce toponyme se trouvait associé.

La base MIA

MIA est une plateforme collaborative où les chercheurs déposent et partagent leurs propres photographies de documents conservés aux . Depuis un an, avec le soutien du , notre équipe a photographié, transcrit, résumé et classé des milliers de documents de la section des avvisi du fonds Mediceo del Principato. La base n’a pas été conçue d’abord pour l’analyse statistique ; il n’en reste pas moins que les métadonnées que nous avons mises en ligne se laissent télécharger et traiter comme des jeux de données.

Le jeu de données

Le jeu que j’ai constitué ici couvre toutes les nouvelles du Levante de 1543 à 1566, c’est-à-dire du premier avviso conservé dans le fonds jusqu’à l’année de la mort du sultan . En voici un échantillon, tel que je l’ai extrait du serveur : trois colonnes, avec le numéro unique du document, un nom de lieu et une date.

57386 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57386 Modon / Messinias, Nomos / Peloponnisos / Ellas 1565-1-3
57386 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57386 Evvoia / Evvoias, Nomos / Sterea Ellas-Evvoia / Ellas 1565-1-3
57386 Venetian Republic / Italia / Europe / World 1565-1-3
57386 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57386 Black Sea / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Otranto / Lecce / Puglia / Italia 1565-1-3
57389 Nisoi Aiyaiou / Ellas / Europe / World 1565-1-3
57389 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57389 Buda / Budapest / Budapest / Magyarorszag 1565-1-3
57389 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57389 Kipros / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Rodhos / Rodos, Nisos / Sporadhes / Nisoi Aiyaiou 1565-1-3
57389 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57389 Çorlu / Thraki / Ellas / Europe 1565-1-3

Toilette des données

Avant toute visualisation, il faut mettre ces données au format csv (valeurs séparées par des virgules), et traduire l’information géographique qu’elles contiennent dans une langue que la machine entende mieux : celle des coordonnées GPS. Comme le jeu compte des centaines d’entrées, on préférera automatiser l’opération. Des modèles de langue pré-entraînés comme , ou , pour ne citer qu’eux, s’en acquittent vite et plutôt bien ; mais il faut les surveiller de près, car ces modèles ont une légère propension à l’hallucination.

documentId,latitude,longitude,documentDate
57386,35.899167,14.514167,1565-1-3
57386,37.05,22.116667,1565-1-3
57386,31.200028,29.918719,1565-1-3
57386,38.366667,23.666667,1565-1-3
57386,45.438333,12.331333,1565-1-3
57386,41.018611,28.984444,1565-1-3
57386,42.7,18.8,1565-1-3
57389,40.216667,18.166667,1565-1-3
57389,37.966667,23.716667,1565-1-3
57389,35.899167,14.514167,1565-1-3
57389,47.4925,19.051389,1565-1-3
57389,31.200028,29.918719,1565-1-3
57389,34.916667,33.616667,1565-1-3
57389,36.405419,28.227778,1565-1-3
57389,41.018611,28.984444,1565-1-3
57389,41.133333,27.416667,1565-1-3

La carte de densité

Une carte de densité fait ressortir la fréquence avec laquelle chaque lieu est cité dans un jeu de données. On y lit non seulement l’étendue géographique du corpus, mais aussi ses foyers : quels lieux reviennent sans cesse, lesquels ne font que passer ? Où sont les centres, et jusqu’où s’étend la périphérie ? Vers quel point de la carte, en somme, l’attention d’un lecteur avait-elle le plus de chances de se porter ?

Pour cette expérience – et parce que le temps pressait – j’ai eu recours à l’une des API de  ; mais bien des bibliothèques de visualisation et des systèmes d’information géographique produisent le même genre de carte.

Quelques observations

Le résultat tient plus du tableau impressionniste que de la représentation exacte d’un concept bien délimité, et c’est justement ce qui me plaît dans l’exercice : la science des données peut être une alliée précieuse des humanités, sans que nous soyons tenus pour autant de nous plier à ses règles.

Autre enseignement : la carte fait voir un Levante pleinement intégré au reste de l’Europe et de la Méditerranée. Elle met en lumière la place centrale d’Edirne dans la géographie politique de l’Empire ottoman. La ville d’Espagne qui y pèse le plus n’est ni Madrid ni l’Escurial, mais Naples. Enfin, et ce n’est pas le moindre, les îles et les petites cités-États comme Raguse semblent avoir joué un rôle d’intermédiaire de premier plan entre les puissances de la région.

Comment obtenir les données de MIA

MIA est un remarquable outil de travail collectif, mais les données de ses serveurs ne se laissent pas prendre facilement ; la salle des machines, par exemple, n’est publiée dans aucun dépôt public. On peut cependant les obtenir en s’inscrivant sur MIA, puis en interrogeant le serveur depuis Python.

Requête

url = "https://mia.medici.org/Mia/json/de/advancedsearch/advancedSearchResults/0/90/docYear/asc/?isNewsFeedSearch=False"
payload = [{"searchSection":"archivalLocationSearch","type":"archivalLocationAdvancedSearch","isActiveFilter":True,"repository":None,"collection":"Mediceo del Principato","series":None,"volume":"2863","insert":None},{"searchSection":"categoryAndTypologySearch","type":"categoryAndTypologyAdvancedSearch","isActiveFilter":True,"category":"News","typology":None},{"searchSection":"transcriptionSearch","type":"transcriptionAdvancedSearch","isActiveFilter":False,"transcription":""},{"isActiveFilter":False,"searchSection":"synopsisSearch","type":"synopsisAdvancedSearch","synopsis":""},{"searchSection":"placesSearch","type":"placesAdvancedSearch","isActiveFilter":False,"places":[]},{"searchSection":"peopleSearch","type":"peopleAdvancedSearch","isActiveFilter":False,"people":[]},{"searchSection":"topicsSearch","type":"topicsAdvancedSearch","isActiveFilter":True,"topics":[{"topicTitle":"Place Index","topicId":"51","placeAllId":""}]},{"searchSection":"dateSearch","type":"dateAdvancedSearch","isActiveFilter":False,"dateFilterType":"","dateYear":"","dateMonth":"","dateDay":"","dateBYear":"","dateBMonth":"","dateBDay":""},{"searchSection":"documentOwnerSearch","type":"documentOwnerAdvancedSearch","isActiveFilter":False,"editType":"owner","account":""},{"searchSection":"languagesSearch","type":"languagesAdvancedSearch","isActiveFilter":False,"languages":[]}]
headers = {'Content-type': 'application/json', 'Accept': '*/*'}
r = requests.post(url, data=json.dumps(payload), headers=headers, auth=('LOGIN','PASSWORD'))

Remplacez LOGIN et PASSWORD par vos propres identifiants.

Écrire la réponse dans un fichier

with open('response.json', 'wb') as fd:
 for chunk in r.iter_content(chunk_size=128):
 fd.write(chunk)

Ouvrir le JSON

f = open('response.json', encoding="utf8")

Charger l’objet JSON dans un dictionnaire

json_complete = json.load(f)

Extraire les données du JSON et les écrire au format CSV

with open('results.csv', 'w', newline='') as csvfile:
 fieldnames = ['documentId', 'placeCited', 'documentDate']
 writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
 writer.writeheader()
 for i in json_complete['data']:
 if i['topics'] != None:
 for x in i['topics']:
 documentId=x['documentId']
 placeCited=x['topicPlaceName']
 year=i['date']['docYear']
 month=i['date']['docMonth']
 day=i['date']['docDay']
 documentDate=str(year)+ "-" + str(month)+"-" + str(day)
 writer.writerow({'documentId': documentId, 'placeCited': placeCited, 'documentDate': documentDate})

Une fois le fichier results.csv en main, il ne reste qu’à procéder à la toilette des données décrite plus haut.

Dépouiller des bibliographies en masse avec des modèles de langue pré-entraînés

Thu, 07 Jul 2022 19:04:14 +0200

Pour faire baisser le coût des projets en humanités numériques, tout passe par l’automatisation. Jusqu’ici, les tâches répétitives et fastidieuses du travail éditorial ont été, dans le monde universitaire, tantôt accomplies à grands frais par des chercheurs débordés, tantôt « sous-traitées » à des étudiants. Dans cette , je soutiens que la plupart de ces corvées non seulement peuvent, mais doivent être automatisées : le coût d’ensemble des projets s’en trouve réduit, et surtout, des chercheurs de régions peu fortunées peuvent enfin publier vite, et à peu de frais, des documents de valeur.

Dans , j’ai montré, par exemple, que les modèles de langue pré-entraînés peuvent prendre à leur compte l’essentiel du balisage XML d’une édition numérique.

Voici un second exemple, cette fois-ci du côté de la bibliographie.

Le problème

Constituer une base bibliographique à partir des références d’un article savant n’a rien de sorcier : une recherche rapide dans un catalogue comme , la référence téléchargée dans le format voulu, ou bien importée automatiquement d’une base locale, et l’affaire est faite. Pour un ou deux articles, cela suffit. Passé un certain nombre de références, en revanche, la tâche devient rébarbative et dévore le temps. On peut alors recourir à des algorithmes de dépouillement (parsing) comme  ; mais ceux-ci se prêtent mal au changement d’échelle. Quand j’ai voulu convertir avec anystyle les quelque 150 essais savants de notre , les erreurs se sont accumulées au point de devenir ingérables. L’outil ne reconnaissait pas bon nombre de nos sources, prenant par exemple les longs titres des livres de la première modernité pour tout autre chose, et il restait muet devant les documents moins classiques, pages web ou vidéos en ligne. Les analyseurs de ce genre font bien leur office, à condition que l’auteur suive à la lettre une convention consacrée, Chicago, Turabian ou MLA ; à la moindre entorse, les erreurs pleuvent.

La solution

C’est ici que les modèles de langue pré-entraînés viennent à la rescousse : ils saisissent en un instant la logique de n’importe quel style bibliographique , fût-ce un style de votre invention, et il leur suffit d’une poignée d’exemples pour convertir des bibliographies entières en une sans se tromper.

Au début de 2021, j’ai eu la chance d’accéder en avant-première à , le modèle d’OpenAI qui traduit le langage naturel en code, et le code en langage naturel. OpenAI lui prête la maîtrise de plus d’une douzaine de langages de programmation ; et bien que son API ne soit encore, à l’heure où j’écris, qu’en version bêta, il fait déjà tourner des applications aussi répandues que , chez GitHub.

À force de jouer avec cette API, je me suis aperçu qu’elle se débrouillait fort bien avec un code aussi rudimentaire que BibTeX.

De fait, quatre exemples dans la consigne ont suffi pour que le procédé fonctionne de façon fiable.

Consigne d’entrée

References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009.

Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015.

Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. .

Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994.

@incollection{bayle2009,
 author = {Bayle, Ariane},
 booktitle = {Vulgariser la médecine. Du style médical en France et en Italie},
 title = {Patients exemplaires: la correspondance médicale de Fioravanti},
 editor = {Carlino, Andrea and Michel Jeanneret},
 year = {2009},
 address = {Geneva},
 publisher = {Droz},
 langid = {french}
}
@book{berns2015,
 title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth},
 author = {Berns, Andrew D.},
 address = {Cambridge},
 publisher = {Cambridge University Press},
 langid = {english},
 date = {2015}
}
@article{gabler2010,
 author = {Gabler, Hans Walter},
 title = {Theorizing the Digital Scholarly Edition},
 journal = {Literature Compass},
 volume = {7},
 number = {2},
 pages = {43-56},
 doi = {10.1111/j.1741-4113.2009.00675.x},
 langid = {english},
 year = {2010}
}
@book{findlen1994,
 title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy},
 author = {Findlen, Paula},
 address = {Berkeley},
 publisher = {University of California Press},
 langid = {english},
 date = {1994}
}

Résultats

Les sont saisissants : plus de 2 000 références converties en quelques jours. Non content de reproduire fidèlement le modèle donné dans ma consigne, GPT-3 a ajouté de lui-même, et à bon escient, des types d’entrées et des champs qui n’y figuraient pas : autant dire que GPT-3 parle le BibTeX couramment. Plus étonnant encore, pour un modèle entraîné surtout en anglais, il a reconnu toutes les langues (russe, français, italien, latin, grec, allemand, espagnol, etc.) et renseigné chaque fois correctement le champ langid.

Note

GPT-3 ne peut pour l’instant traiter que 2048 jetons à la fois, ce qui borne la taille des entrées et des sorties. Le jour où cette limite tombera, la même tâche ne demandera vraisemblablement plus qu’une heure, ou moins.

Chose plus inattendue, GPT-3 a aussi ajouté des informations absentes des références de départ.

Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015.

Pour cette référence, par exemple, il a ajouté le lien pérenne vers l’archive ouverte ( ) où l’article se lit, et jusqu’aux champs ad hoc HAL_ID et HAL_VERSION propres à ce dépôt :

@inproceedings{baillot2015,
 title = {Editing for Man and Machine},
 author = {Baillot, Anne and Busch, Anna},
 year = 2015,
 booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting},
 address = {Leicester},
 series = {Variants (Journal of the European Society for Textual Scholarship)},
 volume = 13,
 editor = {Bruhn, Siglinde and Schreiber, Manfred},
 langid = {english},
 hal_id = {halshs-01233380},
 hal_version = {v1}
}

Ces ajouts montrent que GPT-3 ne se borne pas à analyser la référence : il la complète à partir de ce qu’il a appris. Il serait curieux, à cet égard, de voir s’il en fait autant pour des références postérieures à son entraînement…

Limites

GPT-3 n’est pas infaillible, et un humain doit le surveiller. Parmi ses défauts connus figure l’ : il lui arrive d’inventer, et de tenir pour acquises des choses fort improbables.

Dans mon expérience, ses accès de fantaisie se sont manifestés lorsqu’il a changé de son propre chef le patronyme d’un auteur, « Ruscelli », en « Ruscello ». À strictement parler, ce n’est pas une faute : les patronymes italiens de la première modernité se déclinaient indifféremment au singulier ou au pluriel. Mais l’usage veut aujourd’hui qu’on les conserve tels quels, singulier ou pluriel. Nul n’écrirait Machiavello pour Machiavelli, de même qu’on doit écrire Rossello et non Rosselli. GPT-3 a-t-il négligé cette convention faute de sens chronologique ? Ou s’est-il laissé influencer par les patronymes voisins, qui, dans cette partie de la bibliographie, se trouvent tous être au singulier (Bariletto, Cesano, Rossello) ? Qui sait.

@book{rossello1565,
 title = {Della summa de’ secreti universali},
 author = {Rossello, Timoteo},
 address = {Venice},
 publisher = {Giovanni Bariletto},
 langid = {italian},
 date = {1565}
}
@book{ruscello1559,
 title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese},
 author = {Ruscello, Girolamo},
 address = {Pesaro},
 publisher = {Bartolomeo Cesano},
 langid = {italian},
 date = {1559}
}

Conclusion

Fruit de quatre années de collaboration intense, les quelque 150 essais apportent des éclairages essentiels sur le manuscrit que nous avons établi et traduit ; ils recèlent aussi une riche matière bibliographique.

Réunir ces références dans une base de données permet aux éditeurs de changer de style bibliographique en un clin d’œil, et de présenter ces informations comme bon leur semble. La base renseigne aussi sur l’édition elle-même et sur le projet qui l’a rendue possible, et ouvre ainsi aux chercheurs de nouvelles perspectives d’analyse. Le tout peut être constitué avec une grande exactitude et dans des délais record.

Des erreurs peuvent s’y glisser, on l’accordera, surtout du fait de la propension de GPT-3 à l’hallucination ; mais les prochaines générations de modèles de langue pré-entraînés y porteront remède.

Automatiser le balisage des éditions savantes numériques

Mon, 22 Nov 2021 18:15:00 +0000

Introduction

Comment produire des éditions savantes numériques sans y engloutir des fortunes ? Ce billet ouvre une série consacrée à l’édition efficace ; j’y examine ce que les modèles de langue pré-entraînés peuvent apporter à l’automatisation des tâches éditoriales, le balisage sémantique au premier chef.

Table des matières

Le problème

Quand on aime, on ne compte pas

Du moins le proverbe le dit-il. Les éditions savantes numériques en sont l’illustration la plus coûteuse : transcrire, traduire, annoter, c’est des milliers d’heures de travail, fournies, dans le cas de , par des centaines de collaborateurs hautement qualifiés.

Que les projets les plus en vue des humanités numériques parviennent à réunir les sommes considérables dont ils ont besoin, c’est, en un sens, une chance. Mais un modèle qui repose sur la largesse de riches fondations, d’universités et d’agences publiques, et sur la mobilisation durable d’une main-d’œuvre nombreuse, n’a rien d’un modèle économique d’avenir.

Car si l’on veut que des chercheurs du monde entier s’attellent à rendre les documents historiques accessibles à un public plus large, le coût des éditions critiques numériques doit être divisé non par deux, mais par cent ou par mille .

Une barre placée haut

Paradoxe : la solution pourrait bien venir des projets les plus gourmands en main-d’œuvre, tel , car ils forment un jeu d’entraînement de grand prix pour automatiser les tâches les plus rébarbatives et les plus répétitives de l’édition numérique, à commencer par le balisage.

Non que le balisage soit accessoire. Bien au contraire : il est devenu la pièce maîtresse de tout projet numérique digne de ce nom. Normalisé par la , il permet de consigner tout ce que l’on voudra du document et du texte qu’il porte : structure, notes marginales, ratures, variantes, nature du papier, taches, écriture… la liste est ouverte.

L’exemple qui suit, emprunté à , montre comment le balisage charge le texte d’informations nouvelles (catégorie, structure, champs sémantiques, ratures, etc.), et donne en fin de compte aux éditions numériques un avantage décisif sur leurs aînées de papier.

Texte brut Balisage XML

Texte brut	Balisage XML
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

Ces informations valent pour la conservation, mais aussi, je l’ai montré ailleurs, pour la synthèse et l’analyse. Reste que ce genre d’annotation dévore le temps, d’autant qu’un même texte doit souvent exister sous plusieurs états : traduction, transcription, version modernisée, etc.

La solution

Les transformeurs, chemin le plus court vers l’automatisation ?

En 2020, a lancé à grand bruit sa dernière famille de grands modèles de langue généralistes, GPT-3, pour « Generative Pre-trained Transformer 3 ». Les transformeurs sont une percée assez récente de l’intelligence artificielle : ils apprennent une tâche nouvelle avec une rapidité déconcertante, en lisant une simple consigne (prompt) et une poignée d’exemples ; on peut aussi les entraîner davantage sur un jeu de données ad hoc (fine-tuning), ce qui améliore à la fois leur vitesse et leur précision. C’est en ce sens que GPT-3 et ses semblables sont dits : ils apprennent à partir de peu d’exemples.

À en croire OpenAI, GPT-3 compte un nombre record de 175 milliards de paramètres et a été entraîné sur plus de 570 Go de texte, pour l’essentiel des documents anglais vraisemblablement tirés d’ . Par sa taille même, il a fixé un nouvel étalon dans le domaine, et s’acquitte d’emblée des tâches les plus diverses avec un réalisme troublant : il écrit des plausibles, dans des salons de discussion, , , traduit des documents, explique le jargon, et j’en passe.

Ayant accès à l’API d’OpenAI depuis mai 2021, en avant-première, j’ai pu éprouver le modèle sur des tâches réputées difficiles : traduire en anglais de la poésie française et des textes néo-latins, expliquer des analogies, et même résumer à un enfant de sept ans le quatrième livre de la Fondation de la métaphysique des mœurs de Kant (sans convaincre, il est vrai).

Codex

L’un des derniers rejetons de GPT-3 s’intéresse aux langages informatiques. Baptisé Codex, il traduit le langage naturel en code, et inversement. Si je cherche, par exemple, une expression régulière qui « trouve uniquement les mots commençant par une majuscule », GPT-3 me rend aussitôt une expression régulière qui fonctionne : [A-Z]+\w+.

OpenAI affirme que Codex manie une douzaine de langages, dont Python, JavaScript, Go, Perl, PHP, Ruby et Swift. En transformant sans heurt le pseudo-code en code, il dispense de la syntaxe tatillonne des langages informatiques et laisse l’esprit libre pour l’essentiel : les étapes logiques et les stratégies par lesquelles un programme résout un problème.

Au-delà d’OpenAI

OpenAI n’est pas seul en lice, loin de là. Comme je l’ai rappelé plus haut, la Beijing Academy for Artificial Intelligence a annoncé en 2021 un modèle plus vaste encore et plus capable, Wu Dao 2. Nvidia et Microsoft ont uni leurs forces pour produire le bien nommé Megatron-Turing NLG 530B. Des entreprises plus modestes, comme et , ouvrent elles aussi leurs API au public ; et l’on n’oubliera pas les initiatives libres, dont . Le paysage change vite ; pour suivre les nouveaux venus, le mieux est de consulter .

Les expériences

Note

Ces expériences visent à trouver la voie la moins coûteuse vers une automatisation fiable des tâches éditoriales. On m’objectera que certaines d’entre elles se prêteraient aussi à l’apprentissage supervisé ; c’est une hypothèse que j’examinerai dans un prochain billet.

Un transformeur comme GPT-3 peut-il apprendre à annoter, disons, un manuscrit technique et scientifique du XVI^e siècle ?

Expérience 1 – Classer les entrées

Commençons modestement. Puisqu’il apprend « à partir de peu d’exemples », GPT-3 devrait saisir sans tarder la logique selon laquelle notre équipe a classé les entrées du Ms. Fr. 640.

Conception de la consigne

Pour l’entraîner, je me suis contenté d’une consigne minimale et de quatre courtes entrées en texte brut, données en exemple, dont l’une relevait de la « médecine », une autre des « armes et armures », une troisième de la « peinture ».

Test

J’ai ensuite soumis un passage qui ne figurait pas dans la série initiale :

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

La réponse colle parfaitement au contenu :

<categories="painting">

Soumettons-lui maintenant une entrée d’une catégorie qui ne figurait même pas parmi les textes d’entraînement : la réponse surprend.

<categories="jewelry">

Résultat

La catégorie « jewelry » (joaillerie) n’existe pas dans notre édition du Ms. Fr. 640 ; l’équipe éditoriale lui la catégorie plus large des « Stones » (pierres). L’intuition de GPT-3 n’en est pas moins juste, et laisse penser qu’avec un peu plus d’entraînement il saurait classer n’importe quelle entrée du Ms. Fr. 640, voire celles de textes techniques comparables du XVI^e siècle.

Expérience 2 – Le balisage sémantique

Haussons la barre. Si des transformeurs comme GPT-3 apprennent à classer des textes selon des critères éditoriaux donnés, sauront-ils aussi en reconnaître une partie du balisage ?

Note

Secrets of Craft and Nature balises sémantiques et balises structurelles. GPT-3, hélas, ne lit pas les images, à la différence d’autres projets comme . Les prochaines versions de GPT en seront sans doute capables, et il le faudra bien, car la plupart des aspects structurels et matériels d’un document ne se reconnaissent pas autrement. Je laisse donc ces balises-là de côté pour m’en tenir au balisage qui se passe de reconnaissance d’images.

Conception de la consigne

Les balises sémantiques signalent, entre autres, les animaux, les plantes, les toponymes, les perceptions sensorielles. Pour la consigne d’entraînement, j’ai retenu quelques exemples tirés de l’édition :

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

Test

Essayons d’abord des mots faciles avec le modèle Davinci-codex : Apothecary, smoke, glassmakers, latten, snake. La réponse est immédiate et sans faute :

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

Épreuve plus délicate : les mots composés, comme copper plates, walnut oil et wood block, qui permettent de vérifier si GPT-3 sait imbriquer les balises.

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

Le bilan est ici en demi-teinte : Davinci-codex n’a correctement balisé que walnut oil, et n’a pas vu les balises tl et m imbriquées dans copper plates et wood block. Mais une consigne mieux faite y remédie, comme le montre l’essai suivant : cinq exemples supplémentaires de balises imbriquées, et Davinci-codex rend un résultat presque irréprochable, avec une seule erreur (oil paintbrushes) :

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

Conclusion

Gardons à l’esprit que ces essais ont porté sur de courts fragments. Je gage qu’avec davantage de contexte, dans les exemples comme dans la consigne, les modèles GPT-3 feraient mieux encore ; et qu’un ajustement fin (fine-tuning) sur des jeux de données ad hoc affinerait encore la précision du balisage.
Il faudrait, certes, reprendre ces expériences à plus grande échelle pour établir la fiabilité des modèles de langue pré-entraînés ; on peut néanmoins conclure dès à présent que cette approche permet aux éditeurs d’automatiser plusieurs tâches d’annotation en quelques gestes, et d’économiser, potentiellement, énormément de temps et d’argent.

Visualiser les manuscrits 2 (mise à jour)

Sat, 20 Nov 2021 16:00:00 +0000

Chose promise, chose due : voici une nouvelle version du treemap interactif présenté dans un , qui offre cette fois deux modes d’affichage.

Note

Pour un meilleur confort de lecture, vérifiez que la page est en mode clair (cliquez sur l’icône de lune en haut à droite).

Regrouper les folios par catégorie

Un navigateur visuel pour l’archive

Sun, 20 Jun 2021 16:00:00 +0000

Le problème

Les éditions numériques vivent sur un paradoxe : elles mettent des documents difficiles d’accès à la portée d’un large public, mais la dématérialisation prive le lecteur de ses repères sensoriels, le désoriente, et finit par le détourner du contenu. Se déplacer dans de vastes dépôts de documents devient laborieux, voire intimidant, non seulement pour qui n’a pas l’habitude des archives, mais aussi pour les lecteurs atteints de troubles cognitifs.

La solution

C’est ici que les métadonnées archivistiques nous rendent service. Elles permettent en effet de construire des abstractions visuelles interactives qui offrent au lecteur une autre prise sensorielle, et gagnent ainsi sur les deux tableaux de l’ergonomie et de l’accessibilité. Pour qu’on puisse parcourir l’archive à l’œil, un treemap, ou tout diagramme qui décompose bien des données hiérarchiques, fait l’affaire.

L’expérience

Ma première tentative adapte le pour D3.js, en y ajoutant des hyperliens. Elle représente le manuscrit BnF Ms. Fr. 640, ses folios et les entrées de chaque folio ; les couleurs marquent la catégorie dominante, et l’on obtient davantage d’informations, dont le lien vers le manuscrit, en survolant chaque entrée.
Le treemap devient ainsi un index visuel interactif, qui donne au lecteur, en un instant, une vue d’ensemble du contenu du manuscrit, mais aussi de l’étendue de chaque folio et de chaque entrée.
~~Dans les mois qui viennent, je poursuivrai l’expérience avec d’autres diagrammes et d’autres hiérarchies… À suivre !~~ Pour une nouvelle version du treemap, cliquez .

Note

Pour un meilleur confort de lecture, vérifiez que la page est en mode clair (cliquez sur l’icône de lune en haut à droite).

Cliquez sur une cellule pour zoomer, ou sur la barre du haut pour dézoomer.

L’archive d’un seul coup d’œil

Mon, 24 May 2021 16:00:00 +0000

Le problème

Le désordre des archives historiques a de quoi décourager. Le Mediceo del Principato, aux , en est l’exemple même : une petite partie seulement du fonds est inventoriée, et nombre de ses pièces sont éparpillées, sans raison apparente, dans plus de 6 500 volumes. Pour ne rien arranger, on ne peut consulter qu’un nombre limité de ces volumes, ou filze, comme on dit là-bas : quatre liasses par jour en temps ordinaire, et, en temps de pandémie, quatre par quinzaine. Faute d’inventaires détaillés, l’ampleur du fonds oblige le chercheur à ruser pour mettre la main rapidement sur ce qu’il cherche.

La solution

Les uns s’en remettent au hasard ; les autres tentent des conjectures raisonnées à partir de la chronologie, des destinataires, des auteurs, de la provenance du fonds, de la langue, etc. Or il suffit de regarder toutes ces variables ensemble pour que se dessinent, dans la structure de l’archive, des régularités insoupçonnées qui affinent nos conjectures. L’expérience me l’a appris : mises en graphique, les métadonnées que le chercheur consigne d’ordinaire dans un tableur lui donnent une bien meilleure vue de l’endroit où il se trouve dans l’archive.

L’expérience

Je travaille en ce moment sur la correspondance d’un espion du XVI^e siècle. Ses lettres sont dispersées dans des centaines de liasses ; elles sont écrites sous diverses identités, adressées à des correspondants divers et parfois inattendus, envoyées de lieux divers, et ainsi de suite. Pour repérer les filze qui ont le plus de chances de contenir les lettres attendues, j’ai monté un tableau de bord, c’est-à-dire une application web de visualisation interactive ( ) qui relie toutes sortes de données, géographiques et chronologiques notamment, à un diagramme hiérarchique ( ) du fonds. D’un coup d’œil, j’y lis ce qui a déjà été trouvé, ce que cela représente, et où il pourrait valoir la peine de chercher encore ; et il suffit de cliquer sur telle ou telle variable pour que tous les diagrammes se recomposent et fassent apparaître les corrélations correspondantes.

La suite

Ce tableau de bord peut surtout, et c’est peut-être l’essentiel, se convertir en index visuel. Quand l’édition critique de ces lettres paraîtra en ligne, il en sera une seconde porte d’entrée, par laquelle les lecteurs pourront parcourir les données. Pour l’heure, la confidentialité m’oblige à n’en montrer qu’une capture d’écran caviardée, mais je publierai le tableau de bord complet l’an prochain ; en attendant, un prototype sera bientôt disponible. À suivre !

Visualiser le balisage sémantique du BnF Ms. Fr. 640

Sun, 20 Dec 2020 18:15:00 +0000

Vue d’ensemble

Les éditions savantes riches en données regorgent d’annotations éditoriales qu’on peut extraire, analyser et visualiser à toutes sortes de fins scientifiques. C’est le cas de , parue en 2020, dont le fichier de métadonnées se télécharge depuis le dépôt GitHub du projet. Je montre dans ce billet comment réunir toutes ces variables dans une matrice de corrélation, puis la visualiser de plusieurs manières.

Les données

Le Making and Knowing Project tient à jour une feuille de calcul qui décrit le contenu du manuscrit : entry_metadata.csv. On la trouvera sur le du Making & Knowing. On peut aussi se fabriquer des fichiers .csv sur mesure, avec davantage de balisage, grâce à l’excellent de Matthew Kumar, qui est une version Python du BnF Ms. Fr. 640.

Préparer Python

Pandas servira à mettre les données en forme, Matplotlib et seaborn aux cartes de chaleur, et NetworkX, pour finir, aux réseaux fondés sur les corrélations.
Pour des variables de ce type, on évitera la méthode de Pearson au profit de la méthode 𝜙𝐾 ; prenez le temps de sur cette mesure de corrélation et sur PhiK, la bibliothèque qui l’implémente.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

Préparer les données

Téléchargeons d’abord, dans le dossier metadata du , la dernière version du fichier de métadonnées de l’édition. Nous n’en garderons que les colonnes utiles. Pour cette démonstration, je retiens toutes les balises sémantiques de la traduction anglaise tl ; on peut tout aussi bien prendre celles de la transcription française tc, ou de la version normalisée tcn. Les valeurs sont séparées par des points-virgules, et c’est à Python de les compter : d’où la méthode stack-unstack, avec l’expression régulière [^;\s][^\;]*[^;\s]*. Pour rendre la matrice plus lisible, nous renommons chaque colonne. Les pressés peuvent sauter cette étape ; qu’ils retiennent seulement qu’à ce stade notre dataframe s’appelle tagsrn.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

Corréler

Le dataframe une fois nettoyé, on peut calculer les coefficients de corrélation entre les variables. C’est le moment de bien comprendre ses données et de s’assurer qu’on emploie la mesure de corrélation qui leur convient ; le paquet pandas-profiling rend ici de grands services.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag est notre matrice de corrélation. Reste à l’explorer sous plusieurs formes.

Visualiser

Le plus simple est d’abord de la représenter comme une matrice colorée, à l’aide du de seaborn.

Carte de chaleur des corrélations

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

Qui connaît bien le texte voit aussitôt que la carte tient debout. Les noms de personnes, par exemple, sont fortement corrélés au latin : rien d’étonnant, quand on sait combien les humanistes du XVI^e siècle aimaient latiniser les noms.

On m’objectera que cette carte enfonce des portes ouvertes. Ce n’est pas tout à fait faux, et les balises médicales semblent au premier abord donner raison à l’objection, elles qui sont corrélées, comme on s’y attendait, aux parties du corps, aux mesures et aux plantes.

Mais qu’on lise la carte avec plus d’attention, ligne à ligne, et des corrélations plus curieuses apparaissent. Que les balises médicales aillent de pair avec les mots italiens et latins, voilà qui renseigne sur l’origine des recettes médicales du Ms. Fr. 640 ; et la corrélation entre professions, définitions et mesures montre à quel point l’identité professionnelle structure les discours techniques du XVI^e siècle.

Clustermap des corrélations

Les cartes de chaleur sont précieuses en phase « exploratoire », mais elles peuvent sembler brouillonnes à votre auditoire, surtout si vous discutez de groupes sémantiques précis du manuscrit – ou si vous les cherchez encore. Le module clustermap de seaborn donne alors des résultats intéressants.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

Outre qu’elle ressemble à un insecte pixélisé (oui, le mot est dans le Robert), la clustermap sépare nettement les balises isolées (en haut et à gauche) de celles qui sont mieux reliées aux autres. On y distingue aussi des groupes à l’écart, comme la musique et le poitevin (qui l’eût cru !), et des groupes plus centraux, comme les mesures, les matériaux, les définitions et les armes. Les professions sont bien reliées, mais ne se rattachent à aucun groupe particulier, du moins dans cette matrice-ci.

Réseau de corrélations

Pour condenser encore les corrélations de notre matrice, les graphes de réseau offrent une solution élégante, surtout lorsqu’il s’agit de présenter le contenu du manuscrit à un public.
Il faut pour cela convertir la matrice en une liste d’arêtes et de nœuds, et fixer un seuil au-dessous duquel les corrélations les plus faibles disparaissent du graphe.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

S’il reste trop d’arêtes et de nœuds, on peut toujours relever le seuil pour obtenir un résultat plus net ; ou bien exporter le graphe, avec la fonction .write_gexf(), pour le retravailler dans Gephi.

nx.write_gexf(G, 'graph.gexf')

Le résultat se voit en tête de ce billet.

Mise à jour : réseau circulaire pondéré

Je cherchais un moyen de représenter les matrices de corrélation sous forme de réseaux pondérés, et j’ai trouvé chez une approche intéressante, que j’adapte ici à notre jeu de données.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

Quelques arêtes supprimées, on peut fixer la couleur et l’épaisseur des autres.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

On donne aussi aux nœuds une taille proportionnelle à leur nombre de connexions.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

On obtient un graphe pondéré qui accueille davantage de nœuds et bien plus d’arêtes, sans rien perdre de sa lisibilité ni de son pouvoir d’information.

Clement |

La clôture, non le bûcher

Un scanner n’est pas un bûcher

Plus de livres, meilleure IA ?

Crier au vol n’est pas un argument

Une indignation d’emprunt

L’IA n’appartient pas aux géants du numérique

Les livres sont déjà là

Chers éditeurs : si vous voulez ma voix, rendez-moi ma langue

L’alibi de la voix

Pris en tenaille

L’impôt sur la langue

Fin d’empire

Une épreuve pour les éditeurs

tei-mcp v0.3 : encoder en TEI sans toucher à la source

L’hallucination qui échappe au schéma

La composition à empans verrouillés

Ce que c’est, et ce que ce n’est pas

Au-delà de la TEI

Obtenir la mise à jour

Une édition numérique d’un autre genre

tei-mcp : la TEI P5 à la portée des agents IA

Qu’est-ce que MCP ?

Ce que fait tei-mcp

Pourquoi cela compte

Premiers pas

Le Levante, géographie d’une perception

Introduction

La base MIA

Le jeu de données

Toilette des données

La carte de densité

Quelques observations

Comment obtenir les données de MIA

Requête

Écrire la réponse dans un fichier

Ouvrir le JSON

Charger l’objet JSON dans un dictionnaire

Extraire les données du JSON et les écrire au format CSV

Dépouiller des bibliographies en masse avec des modèles de langue pré-entraînés

Le problème

La solution

Consigne d’entrée

Résultats

Limites

Conclusion

Automatiser le balisage des éditions savantes numériques

Introduction

Le problème

Quand on aime, on ne compte pas

Une barre placée haut

La solution

Les transformeurs, chemin le plus court vers l’automatisation ?

Codex

Au-delà d’OpenAI

Les expériences

Expérience 1 – Classer les entrées

Conception de la consigne

Test

Résultat

Expérience 2 – Le balisage sémantique

Conception de la consigne

Test

Conclusion

Visualiser les manuscrits 2 (mise à jour)

Un navigateur visuel pour l’archive

Le problème

La solution

L’expérience

L’archive d’un seul coup d’œil

Le problème

La solution

L’expérience

La suite

Visualiser le balisage sémantique du BnF Ms. Fr. 640

Vue d’ensemble

Les données

Préparer Python

Préparer les données

Corréler

Plus de livres, meilleure IA ?

Qu’est-ce que MCP ?

Les transformeurs, chemin le plus court vers l’automatisation ?