Effizientes Edieren |

Bibliographien im großen Stil parsen – mit vortrainierten Sprachmodellen

Thu, 07 Jul 2022 19:04:14 +0200

Wer die Kosten von Projekten der Digital Humanities senken will, kommt an der Automatisierung nicht vorbei. Bis heute werden die eintönigen, mühseligen Arbeiten, die das Edieren im akademischen Betrieb mit sich bringt, entweder von überlasteten Forschenden zu hohen Kosten selbst erledigt oder an Studierende „ausgelagert“. In dieser vertrete ich die Auffassung, dass sich die meisten dieser undankbaren Aufgaben nicht nur automatisieren lassen, sondern dass man sie automatisieren sollte. Das senkt die Gesamtkosten von Projekten in den Digital Humanities – und, was entscheidend ist, es erlaubt Forschenden aus einkommensschwachen Weltregionen, wertvolle Dokumente rasch und erschwinglich zu publizieren.

Im habe ich beispielsweise gezeigt, dass vortrainierte Sprachmodelle den Großteil der XML-Auszeichnung einer digitalen Edition übernehmen können.

Diesmal geht es um ein zweites Beispiel: die Bibliographie.

Das Problem

Aus den Literaturangaben eines einzelnen wissenschaftlichen Aufsatzes eine bibliographische Datenbank zu machen, ist keine Kunst: Man sucht kurz in einem Katalog wie , lädt den Nachweis im gewünschten Format herunter oder importiert ihn gleich aus einer lokalen Datenbank. Bei ein, zwei Aufsätzen geht das gut. Ab einer gewissen Zahl von Nachweisen wird die Sache jedoch spröde und zeitraubend. Abhilfe versprechen Parser wie ; nur lassen sich diese Algorithmen schlecht auf große Mengen übertragen. Als ich anystyle auf die über 150 wissenschaftlichen Essays unserer losließ, häuften sich die Fehler, bis nichts mehr zu bewältigen war. Viele unserer Quellen wurden schlicht nicht erkannt: Die langen Titel frühneuzeitlicher Bücher hielt der Parser für etwas anderes, und mit weniger gängigen Dokumenten – bestimmten Webseiten, Online-Videos und dergleichen – konnte er gar nichts anfangen. Parser leisten gute Arbeit, solange sich die Autorin oder der Autor buchstabengetreu an eine bekannte Konvention wie Chicago, Turabian oder MLA hält; jede Abweichung von der Norm bezahlt man mit Fehlern.

Die Lösung

Genau hier helfen vortrainierte Sprachmodelle , denn sie erfassen im Nu die Muster eines jeden bibliographischen Stils – auch eines selbst ausgedachten – und brauchen nur eine Handvoll Beispiele, um große Mengen formatierter Literaturangaben sauber in eine zu überführen.

Anfang 2021 hatte ich das Glück, früh Zugang zu OpenAIs zu bekommen. Codex übersetzt natürliche Sprache in Code und umgekehrt. Nach Angaben von OpenAI beherrscht es mehr als ein Dutzend Programmiersprachen, und obwohl seine API, während ich dies schreibe, noch im Betastadium ist, treibt es bereits so verbreitete Anwendungen wie GitHubs an.

Nach einigem Herumprobieren mit dieser API wurde mir klar, dass sie auch mit schlichterem Code wie BibTeX bestens zurechtkommt.

Tatsächlich genügten vier Beispiele im Eingabeprompt, damit die Sache zuverlässig lief.

Eingabeprompt

References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009.

Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015.

Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. .

Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994.

@incollection{bayle2009,
 author = {Bayle, Ariane},
 booktitle = {Vulgariser la médecine. Du style médical en France et en Italie},
 title = {Patients exemplaires: la correspondance médicale de Fioravanti},
 editor = {Carlino, Andrea and Michel Jeanneret},
 year = {2009},
 address = {Geneva},
 publisher = {Droz},
 langid = {french}
}
@book{berns2015,
 title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth},
 author = {Berns, Andrew D.},
 address = {Cambridge},
 publisher = {Cambridge University Press},
 langid = {english},
 date = {2015}
}
@article{gabler2010,
 author = {Gabler, Hans Walter},
 title = {Theorizing the Digital Scholarly Edition},
 journal = {Literature Compass},
 volume = {7},
 number = {2},
 pages = {43-56},
 doi = {10.1111/j.1741-4113.2009.00675.x},
 langid = {english},
 year = {2010}
}
@book{findlen1994,
 title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy},
 author = {Findlen, Paula},
 address = {Berkeley},
 publisher = {University of California Press},
 langid = {english},
 date = {1994}
}

Ergebnisse

Die sind verblüffend: Über 2.000 Literaturangaben waren in wenigen Tagen konvertiert. Das Modell hat das Muster meines Prompts nicht bloß getreu nachgebildet, sondern obendrein Eintrags- und Feldtypen korrekt ergänzt, die im Prompt gar nicht vorkamen. GPT-3 spricht, mit anderen Worten, fließend BibTeX. Und was bei einem im Wesentlichen auf Englisch trainierten Modell vielleicht noch mehr überrascht: Es erkannte sämtliche Sprachen (Russisch, Französisch, Italienisch, Latein, Griechisch, Deutsch, Spanisch usw.) und setzte jedes Mal das richtige Feld langid.

Hinweis

Ein- und Ausgabe von GPT-3 sind derzeit begrenzt: Es verarbeitet höchstens 2048 sprachliche Tokens. Fällt diese Beschränkung, dürfte dieselbe Aufgabe in einer Stunde oder weniger erledigt sein.

Einigermaßen unerwartet fügte GPT-3 auch Angaben hinzu, die in den ursprünglichen Nachweisen gar nicht standen.

Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015.

Bei diesem Nachweis etwa ergänzte GPT-3 den permanenten Link zum Open-Access-Repositorium ( ), in dem der Aufsatz zu lesen ist – samt der Felder HAL_ID und HAL_VERSION, die HAL eigens für sich eingeführt hat:

@inproceedings{baillot2015,
 title = {Editing for Man and Machine},
 author = {Baillot, Anne and Busch, Anna},
 year = 2015,
 booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting},
 address = {Leicester},
 series = {Variants (Journal of the European Society for Textual Scholarship)},
 volume = 13,
 editor = {Bruhn, Siglinde and Schreiber, Manfred},
 langid = {english},
 hal_id = {halshs-01233380},
 hal_version = {v1}
}

Solche Ergänzungen zeigen, dass GPT-3 einen Literaturnachweis nicht nur zerlegt, sondern ihn aus dem, was es einst gelernt hat, auch vervollständigt. Spannend wäre in dieser Hinsicht zu sehen, ob es sich bei Titeln, die nach seinem Training erschienen sind, genauso verhält …

Grenzen

Vollkommen ist GPT-3 freilich nicht; ein Mensch muss ihm über die Schulter schauen. Eine seiner bekannten Schwächen ist die : Hin und wieder erfindet es etwas oder stellt unwahrscheinliche Vermutungen an.

In meinem Versuch trat diese Neigung zutage, als GPT-3 den Familiennamen eines Autors kurzerhand von „Ruscelli“ in „Ruscello“ änderte. Streng genommen ist das kein Fehler, denn frühneuzeitliche italienische Familiennamen ließen sich unterschiedslos im Plural wie im Singular gebrauchen. Heute gilt allerdings die Regel, einen Namen so zu belassen, wie er steht, ob Plural oder Singular: Niemand würde Machiavelli heute Machiavello nennen, so wie von uns umgekehrt Rossello statt Rosselli erwartet wird. Hat GPT-3 diese Konvention aus Mangel an historischem Bewusstsein übergangen? Oder hat es sich von den Nachbarnamen leiten lassen, die in diesem Teil der Bibliographie zufällig alle im Singular stehen (Bariletto, Cesano, Rossello)? Wer weiß.

@book{rossello1565,
 title = {Della summa de’ secreti universali},
 author = {Rossello, Timoteo},
 address = {Venice},
 publisher = {Giovanni Bariletto},
 langid = {italian},
 date = {1565}
}
@book{ruscello1559,
 title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese},
 author = {Ruscello, Girolamo},
 address = {Pesaro},
 publisher = {Bartolomeo Cesano},
 langid = {italian},
 date = {1559}
}

Fazit

Die über 150 Essays, die in vier Jahren intensiver Zusammenarbeit entstanden und , liefern nicht nur unentbehrliche Informationen zu der Handschrift, die wir ediert und übersetzt haben; sie bergen auch einen wertvollen bibliographischen Schatz.

Führt man diese Literaturangaben in einer Datenbank zusammen, können die Herausgeber das bibliographische Format im Handumdrehen wechseln und die Angaben darstellen, wie es ihnen beliebt. Zugleich verrät eine solche Datenbank viel über die Edition und das Projekt, aus dem sie hervorgegangen ist, und eröffnet der Forschung neue analytische Zugänge. Und sie lässt sich mit hoher Genauigkeit in Rekordzeit anlegen.

Zugegeben: Der eine oder andere Fehler kann sich einschleichen, vor allem wegen der Neigung von GPT-3 zum Halluzinieren. Doch die nächsten Generationen vortrainierter Sprachmodelle werden dieses Problem entschärfen.

Auszeichnung automatisieren in digitalen wissenschaftlichen Editionen

Mon, 22 Nov 2021 18:15:00 +0000

Einleitung

Wie bringt man eine digitale wissenschaftliche Edition zustande, ohne sich zu ruinieren? Dieser Beitrag eröffnet eine Reihe zum effizienten Edieren; ich prüfe darin, was vortrainierte Sprachmodelle leisten können, wenn es darum geht, editorische Routinearbeiten wie die semantische Auszeichnung zu automatisieren.

Inhaltsverzeichnis

Das Problem

Ein Werk der Liebe

Wo die Liebe hinfällt, fragt niemand nach dem Preis – so jedenfalls will es das alte Sprichwort. Auf digitale wissenschaftliche Editionen trifft das in besonderem Maße zu: Transkription, Übersetzung und Annotation verschlingen Tausende von Arbeitsstunden, die – wie bei – von Hunderten hochqualifizierter Mitarbeiterinnen und Mitarbeiter geleistet werden.

In gewisser Weise ist es ein Segen, dass Vorzeigeprojekte der Digital Humanities die gewaltigen Summen einwerben können, die ihr Betrieb verlangt. Doch wer sich derart auf die Großzügigkeit reicher Stiftungen, Universitäten und Behörden verlässt und über Jahre hinweg viel Personal binden muss, hat kein Wirtschaftsmodell, das die Zukunft trägt.

Wollen wir Forschende in aller Welt ermutigen, historische Dokumente einem breiteren Publikum zu erschließen, dann müssen die Kosten digitaler kritischer Editionen um Größenordnungen sinken .

Eine hohe Schwelle

Paradoxerweise könnte die Lösung ausgerechnet von arbeitsintensiven Unternehmungen wie kommen, denn sie liefern einen wertvollen Trainingsdatensatz , mit dem sich einige der sprödesten und eintönigsten Arbeiten des digitalen Edierens automatisieren lassen – etwa die Auszeichnung.

Nicht, dass die Auszeichnung nebensächlich wäre; im Gegenteil: Markup ist heute der unverzichtbare Bestandteil jedes ernstzunehmenden digitalen Editionsvorhabens. Normiert durch die , erlaubt es, möglichst viele Eigenschaften des Dokuments und des Textes, den es überliefert, festzuhalten – Struktur, Marginalien, Streichungen, Varianten, Papiersorte, Flecken, Schriftbild … ganz nach Belieben.

Das folgende Beispiel aus zeigt, wie die Auszeichnung den Text mit Zusatzinformation anreichert (Kategorie, Struktur, semantische Felder, Streichungen usw.) – und der digitalen Edition damit einen handfesten Vorsprung vor ihren gedruckten Vorfahren verschafft.

Reiner Text XML-Markup

Reiner Text	XML-Markup
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

Wertvoll ist diese Information für die Archivierung, aber ebenso – wie ich andernorts gezeigt habe – für Synthese und Analyse. Nur ist eine solche Annotation eben ungeheuer zeitraubend, zumal derselbe Text häufig in mehreren Gestalten vorliegen muss: als Übersetzung, als Transkription, als modernisierte Fassung und so fort.

Die Lösung

Transformer: der kürzeste Weg zur Automatisierung?

2020 stellte mit großem Getöse seine neueste Familie universell einsetzbarer großer Sprachmodelle vor: GPT-3, ausgeschrieben „Generative Pre-trained Transformer 3“. Transformer sind ein noch recht junger Durchbruch der Künstlichen Intelligenz. Sie lernen neue Aufgaben verblüffend schnell – es genügt, ihnen eine Anweisung (den Prompt) und eine Handvoll Beispiele vorzulegen. Zudem lassen sie sich mit einem eigens zusammengestellten Datensatz nachtrainieren (Fine-Tuning), was Antwortzeit und Treffsicherheit verbessert. Deshalb spricht man bei GPT-3 und verwandten Transformern von .

Nach Angaben von OpenAI umfasst GPT-3 die Rekordzahl von 175 Milliarden Parametern und wurde mit über 570 GB Text trainiert, überwiegend englischsprachigen Dokumenten, die vermutlich aus stammen. Allein kraft seiner Größe hat GPT-3 in diesem Feld neue Maßstäbe gesetzt: Es erledigt ohne jede Anpassung die verschiedensten Aufgaben mit einem Realismus, der einen beunruhigen kann. Es schreibt glaubwürdige , in Chatrooms, , , übersetzt Dokumente, erklärt Fachjargon und dergleichen mehr.

Seit Mai 2021 habe ich frühen Zugang zur API von OpenAI und konnte seither ausprobieren, wie das Modell mit Aufgaben zurechtkommt, die als notorisch schwierig gelten: französische Lyrik und neulateinische Texte ins Englische übersetzen, Analogien erläutern, ja sogar den vierten Abschnitt von Kants Grundlegung zur Metaphysik der Sitten für ein siebenjähriges Kind herunterbrechen (wenn auch wenig überzeugend).

Codex

Eine der jüngsten Ausprägungen von GPT-3 hat es auf Programmiersprachen abgesehen. Das Modell heißt Codex und übersetzt natürliche Sprache in Programmcode und umgekehrt. Suche ich etwa einen regulären Ausdruck, der „nur Wörter findet, die mit einem Großbuchstaben beginnen“, so liefert GPT-3 prompt einen funktionierenden: [A-Z]+\w+.

Laut OpenAI beherrscht Codex ein Dutzend Programmiersprachen, darunter Python, JavaScript, Go, Perl, PHP, Ruby und Swift. Weil es Pseudocode reibungslos in Code verwandelt, kann man sich statt auf die pedantische Syntax einer Programmiersprache auf das konzentrieren, worauf es ankommt: die logischen Schritte und Strategien, mit denen ein Programm ein Problem löst.

Jenseits von OpenAI

OpenAI ist freilich nicht der einzige Mitspieler. Wie erwähnt, kündigte die Beijing Academy of Artificial Intelligence 2021 mit Wu Dao 2 ein noch größeres und leistungsfähigeres Modell an. Nvidia und Microsoft taten sich für das treffend benannte Megatron-Turing NLG 530B zusammen. Kleinere Start-ups wie und bieten der Öffentlichkeit ebenfalls APIs an, und auch Open-Source-Initiativen wie verdienen Erwähnung. Die KI-Szene ist natürlich in rasender Bewegung; wer auf dem Laufenden bleiben will, sollte einen Blick auf werfen.

Die Experimente

Hinweis

Ziel dieser Experimente ist es, den sparsamsten Weg zu einer verlässlichen Automatisierung editorischer Aufgaben zu finden. Man könnte einwenden, dass sich manche davon auch mit Verfahren des überwachten Lernens automatisieren ließen. Dieser Hypothese gehen wir in einem späteren Beitrag nach.

Kann ein Transformer wie GPT-3 lernen, etwa eine technisch-naturwissenschaftliche Handschrift des 16. Jahrhunderts zu annotieren?

Experiment 1 – Textkategorisierung

Beginnen wir mit etwas vergleichsweise Einfachem. Als „Few-Shot-Learner“ sollte GPT-3 rasch durchschauen, nach welchem Schema unser Herausgeberteam die Einträge von Ms. Fr. 640 klassifiziert hat.

Prompt-Engineering

Zum Anlernen begnügte ich mich mit einem denkbar knappen Prompt und vier kurzen Einträgen im Reintext als Beispielen, darunter je einer zu „Medizin“, „Waffen und Rüstungen“ und „Malerei“.

Test

Anschließend kopierte ich eine weitere Passage hinein, die in der ursprünglichen Folge nicht enthalten war:

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

Die Ausgabe passt vollkommen zum Inhalt:

<categories="painting">

Nimmt man einen Eintrag aus einer Kategorie, die in der Auswahl der Trainingstexte gar nicht vorkam, überrascht das Ergebnis.

<categories="jewelry">

Ergebnis

Eine Kategorie „jewelry“ (Schmuck) gibt es in unserer Edition von Ms. Fr. 640 nicht; das Herausgeberteam die weiter gefasste Rubrik „Stones“ (Steine). Der Instinkt von GPT-3 ist gleichwohl richtig, und das lässt erwarten, dass es mit ein wenig mehr Training jeden Eintrag von Ms. Fr. 640 einordnen könnte – womöglich sogar Einträge vergleichbarer technischer Texte des 16. Jahrhunderts.

Experiment 2 – Semantische Auszeichnung

Legen wir die Latte etwas höher. Wenn Transformer wie GPT-3 lernen können, Texte nach bestimmten editorischen Kriterien zu klassifizieren – erkennen sie dann auch einen Teil der Auszeichnung im Text?

Hinweis

Secrets of Craft and Nature verwendet eine aus semantischen und strukturellen Labels. Leider verarbeitet GPT-3 keine Bilder, anders als etwa . Künftige Versionen von GPT werden diese Fähigkeit wahrscheinlich mitbringen; ohne sie lassen sich die meisten strukturellen und materiellen Merkmale eines Dokuments nicht erkennen. Wir übergehen diese Tags daher und wenden uns der Auszeichnung zu, die ohne Bilderkennung auskommt.

Prompt-Engineering

Semantische Tags erfassen unter anderem Tiere, Pflanzen, Ortsnamen und Sinneseindrücke. Für den Trainingsprompt griff ich einige Beispiele aus der Edition heraus:

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

Test

Versuchen wir es mit dem Modell Davinci-codex und ein paar leichten Wörtern: Apothecary (Apotheker), smoke (Rauch), glassmakers (Glasmacher), latten (Messingblech) und snake (Schlange). Die Antwort kommt sofort, und sie ist fehlerfrei:

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

Schwieriger wird es mit zusammengesetzten Ausdrücken wie copper plates (Kupferplatten), walnut oil (Walnussöl) und wood block (Holzblock). Hier soll sich zeigen, ob GPT-3 mit verschachtelten Tags zurechtkommt.

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

Das Ergebnis ist durchwachsen: Davinci-codex hat nur walnut oil korrekt ausgezeichnet und die verschachtelten Tags tl und m in copper plates und wood block übersehen. Wie der nächste Test zeigt, lassen sich solche Fehler indes mit einem besseren Trainingsprompt eindämmen. Nachdem ich fünf weitere Beispiele für verschachtelte Tags ergänzt hatte, lieferte Davinci-codex ein nahezu makelloses Ergebnis mit einem einzigen Fehler (oil paintbrushes):

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

Fazit

Vergessen wir nicht, dass diese Tests mit kleinen Textstücken gemacht wurden. Ich vermute, dass GPT-3-Modelle noch besser abschneiden, wenn Beispiele und Prompt mehr Kontext bieten; und ein Fine-Tuning mit eigens angelegten Trainingsdaten würde die Treffsicherheit der Auszeichnung zweifellos weiter erhöhen.
Gewiss müssten diese Versuche in größerem Maßstab wiederholt werden, um die Verlässlichkeit vortrainierter Sprachmodelle nachzuweisen. Festhalten lässt sich aber schon jetzt, dass dieser Ansatz Editorinnen und Editoren erlaubt, mehrere Annotationsaufgaben in wenigen einfachen Schritten zu automatisieren – und dabei womöglich enorm viel Zeit und Geld zu sparen.