Édition Efficace |

Dépouiller des bibliographies en masse avec des modèles de langue pré-entraînés

Thu, 07 Jul 2022 19:04:14 +0200

Pour faire baisser le coût des projets en humanités numériques, tout passe par l’automatisation. Jusqu’ici, les tâches répétitives et fastidieuses du travail éditorial ont été, dans le monde universitaire, tantôt accomplies à grands frais par des chercheurs débordés, tantôt « sous-traitées » à des étudiants. Dans cette , je soutiens que la plupart de ces corvées non seulement peuvent, mais doivent être automatisées : le coût d’ensemble des projets s’en trouve réduit, et surtout, des chercheurs de régions peu fortunées peuvent enfin publier vite, et à peu de frais, des documents de valeur.

Dans , j’ai montré, par exemple, que les modèles de langue pré-entraînés peuvent prendre à leur compte l’essentiel du balisage XML d’une édition numérique.

Voici un second exemple, cette fois-ci du côté de la bibliographie.

Le problème

Constituer une base bibliographique à partir des références d’un article savant n’a rien de sorcier : une recherche rapide dans un catalogue comme , la référence téléchargée dans le format voulu, ou bien importée automatiquement d’une base locale, et l’affaire est faite. Pour un ou deux articles, cela suffit. Passé un certain nombre de références, en revanche, la tâche devient rébarbative et dévore le temps. On peut alors recourir à des algorithmes de dépouillement (parsing) comme  ; mais ceux-ci se prêtent mal au changement d’échelle. Quand j’ai voulu convertir avec anystyle les quelque 150 essais savants de notre , les erreurs se sont accumulées au point de devenir ingérables. L’outil ne reconnaissait pas bon nombre de nos sources, prenant par exemple les longs titres des livres de la première modernité pour tout autre chose, et il restait muet devant les documents moins classiques, pages web ou vidéos en ligne. Les analyseurs de ce genre font bien leur office, à condition que l’auteur suive à la lettre une convention consacrée, Chicago, Turabian ou MLA ; à la moindre entorse, les erreurs pleuvent.

La solution

C’est ici que les modèles de langue pré-entraînés viennent à la rescousse : ils saisissent en un instant la logique de n’importe quel style bibliographique , fût-ce un style de votre invention, et il leur suffit d’une poignée d’exemples pour convertir des bibliographies entières en une sans se tromper.

Au début de 2021, j’ai eu la chance d’accéder en avant-première à , le modèle d’OpenAI qui traduit le langage naturel en code, et le code en langage naturel. OpenAI lui prête la maîtrise de plus d’une douzaine de langages de programmation ; et bien que son API ne soit encore, à l’heure où j’écris, qu’en version bêta, il fait déjà tourner des applications aussi répandues que , chez GitHub.

À force de jouer avec cette API, je me suis aperçu qu’elle se débrouillait fort bien avec un code aussi rudimentaire que BibTeX.

De fait, quatre exemples dans la consigne ont suffi pour que le procédé fonctionne de façon fiable.

Consigne d’entrée

References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009.

Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015.

Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. .

Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994.

@incollection{bayle2009,
 author = {Bayle, Ariane},
 booktitle = {Vulgariser la médecine. Du style médical en France et en Italie},
 title = {Patients exemplaires: la correspondance médicale de Fioravanti},
 editor = {Carlino, Andrea and Michel Jeanneret},
 year = {2009},
 address = {Geneva},
 publisher = {Droz},
 langid = {french}
}
@book{berns2015,
 title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth},
 author = {Berns, Andrew D.},
 address = {Cambridge},
 publisher = {Cambridge University Press},
 langid = {english},
 date = {2015}
}
@article{gabler2010,
 author = {Gabler, Hans Walter},
 title = {Theorizing the Digital Scholarly Edition},
 journal = {Literature Compass},
 volume = {7},
 number = {2},
 pages = {43-56},
 doi = {10.1111/j.1741-4113.2009.00675.x},
 langid = {english},
 year = {2010}
}
@book{findlen1994,
 title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy},
 author = {Findlen, Paula},
 address = {Berkeley},
 publisher = {University of California Press},
 langid = {english},
 date = {1994}
}

Résultats

Les sont saisissants : plus de 2 000 références converties en quelques jours. Non content de reproduire fidèlement le modèle donné dans ma consigne, GPT-3 a ajouté de lui-même, et à bon escient, des types d’entrées et des champs qui n’y figuraient pas : autant dire que GPT-3 parle le BibTeX couramment. Plus étonnant encore, pour un modèle entraîné surtout en anglais, il a reconnu toutes les langues (russe, français, italien, latin, grec, allemand, espagnol, etc.) et renseigné chaque fois correctement le champ langid.

Note

GPT-3 ne peut pour l’instant traiter que 2048 jetons à la fois, ce qui borne la taille des entrées et des sorties. Le jour où cette limite tombera, la même tâche ne demandera vraisemblablement plus qu’une heure, ou moins.

Chose plus inattendue, GPT-3 a aussi ajouté des informations absentes des références de départ.

Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015.

Pour cette référence, par exemple, il a ajouté le lien pérenne vers l’archive ouverte ( ) où l’article se lit, et jusqu’aux champs ad hoc HAL_ID et HAL_VERSION propres à ce dépôt :

@inproceedings{baillot2015,
 title = {Editing for Man and Machine},
 author = {Baillot, Anne and Busch, Anna},
 year = 2015,
 booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting},
 address = {Leicester},
 series = {Variants (Journal of the European Society for Textual Scholarship)},
 volume = 13,
 editor = {Bruhn, Siglinde and Schreiber, Manfred},
 langid = {english},
 hal_id = {halshs-01233380},
 hal_version = {v1}
}

Ces ajouts montrent que GPT-3 ne se borne pas à analyser la référence : il la complète à partir de ce qu’il a appris. Il serait curieux, à cet égard, de voir s’il en fait autant pour des références postérieures à son entraînement…

Limites

GPT-3 n’est pas infaillible, et un humain doit le surveiller. Parmi ses défauts connus figure l’ : il lui arrive d’inventer, et de tenir pour acquises des choses fort improbables.

Dans mon expérience, ses accès de fantaisie se sont manifestés lorsqu’il a changé de son propre chef le patronyme d’un auteur, « Ruscelli », en « Ruscello ». À strictement parler, ce n’est pas une faute : les patronymes italiens de la première modernité se déclinaient indifféremment au singulier ou au pluriel. Mais l’usage veut aujourd’hui qu’on les conserve tels quels, singulier ou pluriel. Nul n’écrirait Machiavello pour Machiavelli, de même qu’on doit écrire Rossello et non Rosselli. GPT-3 a-t-il négligé cette convention faute de sens chronologique ? Ou s’est-il laissé influencer par les patronymes voisins, qui, dans cette partie de la bibliographie, se trouvent tous être au singulier (Bariletto, Cesano, Rossello) ? Qui sait.

@book{rossello1565,
 title = {Della summa de’ secreti universali},
 author = {Rossello, Timoteo},
 address = {Venice},
 publisher = {Giovanni Bariletto},
 langid = {italian},
 date = {1565}
}
@book{ruscello1559,
 title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese},
 author = {Ruscello, Girolamo},
 address = {Pesaro},
 publisher = {Bartolomeo Cesano},
 langid = {italian},
 date = {1559}
}

Conclusion

Fruit de quatre années de collaboration intense, les quelque 150 essais apportent des éclairages essentiels sur le manuscrit que nous avons établi et traduit ; ils recèlent aussi une riche matière bibliographique.

Réunir ces références dans une base de données permet aux éditeurs de changer de style bibliographique en un clin d’œil, et de présenter ces informations comme bon leur semble. La base renseigne aussi sur l’édition elle-même et sur le projet qui l’a rendue possible, et ouvre ainsi aux chercheurs de nouvelles perspectives d’analyse. Le tout peut être constitué avec une grande exactitude et dans des délais record.

Des erreurs peuvent s’y glisser, on l’accordera, surtout du fait de la propension de GPT-3 à l’hallucination ; mais les prochaines générations de modèles de langue pré-entraînés y porteront remède.

Automatiser le balisage des éditions savantes numériques

Mon, 22 Nov 2021 18:15:00 +0000

Introduction

Comment produire des éditions savantes numériques sans y engloutir des fortunes ? Ce billet ouvre une série consacrée à l’édition efficace ; j’y examine ce que les modèles de langue pré-entraînés peuvent apporter à l’automatisation des tâches éditoriales, le balisage sémantique au premier chef.

Table des matières

Le problème

Quand on aime, on ne compte pas

Du moins le proverbe le dit-il. Les éditions savantes numériques en sont l’illustration la plus coûteuse : transcrire, traduire, annoter, c’est des milliers d’heures de travail, fournies, dans le cas de , par des centaines de collaborateurs hautement qualifiés.

Que les projets les plus en vue des humanités numériques parviennent à réunir les sommes considérables dont ils ont besoin, c’est, en un sens, une chance. Mais un modèle qui repose sur la largesse de riches fondations, d’universités et d’agences publiques, et sur la mobilisation durable d’une main-d’œuvre nombreuse, n’a rien d’un modèle économique d’avenir.

Car si l’on veut que des chercheurs du monde entier s’attellent à rendre les documents historiques accessibles à un public plus large, le coût des éditions critiques numériques doit être divisé non par deux, mais par cent ou par mille .

Une barre placée haut

Paradoxe : la solution pourrait bien venir des projets les plus gourmands en main-d’œuvre, tel , car ils forment un jeu d’entraînement de grand prix pour automatiser les tâches les plus rébarbatives et les plus répétitives de l’édition numérique, à commencer par le balisage.

Non que le balisage soit accessoire. Bien au contraire : il est devenu la pièce maîtresse de tout projet numérique digne de ce nom. Normalisé par la , il permet de consigner tout ce que l’on voudra du document et du texte qu’il porte : structure, notes marginales, ratures, variantes, nature du papier, taches, écriture… la liste est ouverte.

L’exemple qui suit, emprunté à , montre comment le balisage charge le texte d’informations nouvelles (catégorie, structure, champs sémantiques, ratures, etc.), et donne en fin de compte aux éditions numériques un avantage décisif sur leurs aînées de papier.

Texte brut Balisage XML

Texte brut	Balisage XML
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

Ces informations valent pour la conservation, mais aussi, je l’ai montré ailleurs, pour la synthèse et l’analyse. Reste que ce genre d’annotation dévore le temps, d’autant qu’un même texte doit souvent exister sous plusieurs états : traduction, transcription, version modernisée, etc.

La solution

Les transformeurs, chemin le plus court vers l’automatisation ?

En 2020, a lancé à grand bruit sa dernière famille de grands modèles de langue généralistes, GPT-3, pour « Generative Pre-trained Transformer 3 ». Les transformeurs sont une percée assez récente de l’intelligence artificielle : ils apprennent une tâche nouvelle avec une rapidité déconcertante, en lisant une simple consigne (prompt) et une poignée d’exemples ; on peut aussi les entraîner davantage sur un jeu de données ad hoc (fine-tuning), ce qui améliore à la fois leur vitesse et leur précision. C’est en ce sens que GPT-3 et ses semblables sont dits : ils apprennent à partir de peu d’exemples.

À en croire OpenAI, GPT-3 compte un nombre record de 175 milliards de paramètres et a été entraîné sur plus de 570 Go de texte, pour l’essentiel des documents anglais vraisemblablement tirés d’ . Par sa taille même, il a fixé un nouvel étalon dans le domaine, et s’acquitte d’emblée des tâches les plus diverses avec un réalisme troublant : il écrit des plausibles, dans des salons de discussion, , , traduit des documents, explique le jargon, et j’en passe.

Ayant accès à l’API d’OpenAI depuis mai 2021, en avant-première, j’ai pu éprouver le modèle sur des tâches réputées difficiles : traduire en anglais de la poésie française et des textes néo-latins, expliquer des analogies, et même résumer à un enfant de sept ans le quatrième livre de la Fondation de la métaphysique des mœurs de Kant (sans convaincre, il est vrai).

Codex

L’un des derniers rejetons de GPT-3 s’intéresse aux langages informatiques. Baptisé Codex, il traduit le langage naturel en code, et inversement. Si je cherche, par exemple, une expression régulière qui « trouve uniquement les mots commençant par une majuscule », GPT-3 me rend aussitôt une expression régulière qui fonctionne : [A-Z]+\w+.

OpenAI affirme que Codex manie une douzaine de langages, dont Python, JavaScript, Go, Perl, PHP, Ruby et Swift. En transformant sans heurt le pseudo-code en code, il dispense de la syntaxe tatillonne des langages informatiques et laisse l’esprit libre pour l’essentiel : les étapes logiques et les stratégies par lesquelles un programme résout un problème.

Au-delà d’OpenAI

OpenAI n’est pas seul en lice, loin de là. Comme je l’ai rappelé plus haut, la Beijing Academy for Artificial Intelligence a annoncé en 2021 un modèle plus vaste encore et plus capable, Wu Dao 2. Nvidia et Microsoft ont uni leurs forces pour produire le bien nommé Megatron-Turing NLG 530B. Des entreprises plus modestes, comme et , ouvrent elles aussi leurs API au public ; et l’on n’oubliera pas les initiatives libres, dont . Le paysage change vite ; pour suivre les nouveaux venus, le mieux est de consulter .

Les expériences

Note

Ces expériences visent à trouver la voie la moins coûteuse vers une automatisation fiable des tâches éditoriales. On m’objectera que certaines d’entre elles se prêteraient aussi à l’apprentissage supervisé ; c’est une hypothèse que j’examinerai dans un prochain billet.

Un transformeur comme GPT-3 peut-il apprendre à annoter, disons, un manuscrit technique et scientifique du XVI^e siècle ?

Expérience 1 – Classer les entrées

Commençons modestement. Puisqu’il apprend « à partir de peu d’exemples », GPT-3 devrait saisir sans tarder la logique selon laquelle notre équipe a classé les entrées du Ms. Fr. 640.

Conception de la consigne

Pour l’entraîner, je me suis contenté d’une consigne minimale et de quatre courtes entrées en texte brut, données en exemple, dont l’une relevait de la « médecine », une autre des « armes et armures », une troisième de la « peinture ».

Test

J’ai ensuite soumis un passage qui ne figurait pas dans la série initiale :

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

La réponse colle parfaitement au contenu :

<categories="painting">

Soumettons-lui maintenant une entrée d’une catégorie qui ne figurait même pas parmi les textes d’entraînement : la réponse surprend.

<categories="jewelry">

Résultat

La catégorie « jewelry » (joaillerie) n’existe pas dans notre édition du Ms. Fr. 640 ; l’équipe éditoriale lui la catégorie plus large des « Stones » (pierres). L’intuition de GPT-3 n’en est pas moins juste, et laisse penser qu’avec un peu plus d’entraînement il saurait classer n’importe quelle entrée du Ms. Fr. 640, voire celles de textes techniques comparables du XVI^e siècle.

Expérience 2 – Le balisage sémantique

Haussons la barre. Si des transformeurs comme GPT-3 apprennent à classer des textes selon des critères éditoriaux donnés, sauront-ils aussi en reconnaître une partie du balisage ?

Note

Secrets of Craft and Nature balises sémantiques et balises structurelles. GPT-3, hélas, ne lit pas les images, à la différence d’autres projets comme . Les prochaines versions de GPT en seront sans doute capables, et il le faudra bien, car la plupart des aspects structurels et matériels d’un document ne se reconnaissent pas autrement. Je laisse donc ces balises-là de côté pour m’en tenir au balisage qui se passe de reconnaissance d’images.

Conception de la consigne

Les balises sémantiques signalent, entre autres, les animaux, les plantes, les toponymes, les perceptions sensorielles. Pour la consigne d’entraînement, j’ai retenu quelques exemples tirés de l’édition :

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

Test

Essayons d’abord des mots faciles avec le modèle Davinci-codex : Apothecary, smoke, glassmakers, latten, snake. La réponse est immédiate et sans faute :

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

Épreuve plus délicate : les mots composés, comme copper plates, walnut oil et wood block, qui permettent de vérifier si GPT-3 sait imbriquer les balises.

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

Le bilan est ici en demi-teinte : Davinci-codex n’a correctement balisé que walnut oil, et n’a pas vu les balises tl et m imbriquées dans copper plates et wood block. Mais une consigne mieux faite y remédie, comme le montre l’essai suivant : cinq exemples supplémentaires de balises imbriquées, et Davinci-codex rend un résultat presque irréprochable, avec une seule erreur (oil paintbrushes) :

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

Conclusion

Gardons à l’esprit que ces essais ont porté sur de courts fragments. Je gage qu’avec davantage de contexte, dans les exemples comme dans la consigne, les modèles GPT-3 feraient mieux encore ; et qu’un ajustement fin (fine-tuning) sur des jeux de données ad hoc affinerait encore la précision du balisage.
Il faudrait, certes, reprendre ces expériences à plus grande échelle pour établir la fiabilité des modèles de langue pré-entraînés ; on peut néanmoins conclure dès à présent que cette approche permet aux éditeurs d’automatiser plusieurs tâches d’annotation en quelques gestes, et d’économiser, potentiellement, énormément de temps et d’argent.

Édition Efficace |

Dépouiller des bibliographies en masse avec des modèles de langue pré-entraînés

Le problème

La solution

Consigne d’entrée

Résultats

Limites

Conclusion

Automatiser le balisage des éditions savantes numériques

Introduction

Le problème

Quand on aime, on ne compte pas

Une barre placée haut

La solution

Les transformeurs, chemin le plus court vers l’automatisation ?

Codex

Au-delà d’OpenAI

Les expériences

Expérience 1 – Classer les entrées

Conception de la consigne

Test

Résultat

Expérience 2 – Le balisage sémantique

Conception de la consigne

Test

Conclusion

Les transformeurs, chemin le plus court vers l’automatisation ?