Digital Humanities |

tei-mcp v0.3: TEI kodieren, ohne die Quelle anzutasten

Tue, 05 May 2026 00:00:00 +0000

Als ich , ging es darum, KI-Assistenten das Halluzinieren von TEI-Markup abzugewöhnen. Die Verankerung im Schema (Schema Grounding) hat einen Teil des Problems gelöst: Mit direktem, werkzeuggestütztem Zugriff auf die P5-Spezifikation muss das Modell nicht mehr raten, was ein Element bedeutet oder welche Attribute es zulässt. Die Ausgabe validiert.

Nur hat die Halluzination beim TEI-Kodieren zwei Gesichter, und das Schema erkennt bloß eines davon. Die Validierung gegen die Spezifikation verrät, dass das Markup in Ordnung ist; über den Text, den dieses Markup umschließt, sagt sie nichts. Und genau dort – im Text selbst – hausen die gefährlicheren Halluzinationen. Span-locked Composition, das Herzstück von v0.3, ist eigens dafür gebaut, sie zu unterbinden.

Inhaltsverzeichnis

Die Halluzination, die dem Schema entgeht

Lassen Sie ein Modell einen französischen Brief aus dem 16. Jahrhundert kodieren, und Sie bekommen nicht selten ein TEI-Dokument zurück, das tadellos aussieht. Der Header ist ausgefüllt, die <persName>-Tags sitzen, die <dateline> ist wohlgeformt. Durch validate_document geschickt, besteht es die Prüfung.

Dann vergleichen Sie den Textkörper mit der Quelle.

Aus mesme ist même geworden. Ein Komma ist gewandert. luy wurde stillschweigend zu lui modernisiert. Ein in der Handschrift schwer lesbarer Satzteil ist zu etwas Glatterem „berichtigt“ worden. Nichts davon war verlangt, nichts davon wird gemeldet. Das Dokument ist schemavalide – und in aller Stille falsch.

In einem archivischen Arbeitsablauf, in dem der kodierte Text zur dauerhaften Aufzeichnung wird, auf die sich spätere Leser, Suchindizes und Zitate verlassen, ist das der Fehler, der wirklich zählt. Ein missratenes Tag ist ärgerlich. Eine modernisierte Schreibung, die fünf Jahre lang niemand bemerkt, ist eine Textverderbnis.

Span-locked Composition

Die neue Version (v0.3) bringt einen Schutzmechanismus mit, der genau auf diesen Fehler zielt. Der Anspruch: Halluzinationen im Textkörper sollen nicht bloß unwahrscheinlich, sondern schon durch die Konstruktion unmöglich sein.

Die Idee ist einfach: Das Modell tippt nie Textkörper.

Der Ablauf sieht stattdessen so aus:

Das Modell ruft get_source("letter_001") auf und erhält den Quelltext als unveränderliche Zeichenkette.
Für jedes Tag, das es setzen möchte, ruft es tag_span("letter_001", start, end, element_path, attrs) auf und registriert damit ein TEI-Element an einem Zeichenbereich über der Quelle.
Ist es fertig, ruft es compose("letter_001") auf. Der Server verschränkt die registrierten Tags mit dem ursprünglichen Klartext, rendert das endgültige TEI und prüft dann Byte für Byte, ob der reine Textinhalt des gerenderten Dokuments der Quelle gleicht.

Stimmen die Bytes überein, kommt das Dokument zurück. Wenn nicht – wenn die Tags des Modells auf irgendeinem Weg einen Textkörper ergeben, der auch nur um ein einziges Zeichen von der Quelle abweicht –, wirft compose() einen Fehler, statt ein verdorbenes Dokument auszuliefern.

Es gibt in diesem Ablauf keinen Pfad, auf dem das Modell ein TEI-Dokument erzeugen könnte, dessen Textkörper von der Quelle abweicht. Die Invariante ist mechanisch, nicht eine Frage des Wohlverhaltens. Sie müssen nicht darauf vertrauen, dass das Modell nicht halluziniert – nur darauf, dass ein ==-Vergleich zweier Byte-Strings tut, was er soll.

Was das ist – und was nicht

Span-locked Composition ergänzt das Schema Grounding; sie ersetzt es nicht. Die Schema-Grounding-Tools (validate_document, lookup_element, valid_children und die übrigen der ursprünglichen sechzehn) helfen dem Modell, valides TEI zu erzeugen. Span-locked Composition garantiert, dass der Textkörper in diesem TEI der Quelle treu bleibt. Ein einsatzreifer Kodierungsablauf muss auf beiden Achsen bestehen – und beide deckt nun ein einziger Server ab.

Ein Allheilmittel ist es freilich nicht. compose() prüft noch nicht, ob die registrierten Tags nach einer geladenen ODD-Anpassung zulässig sind; das ist der nächste Schritt. Registrierte Tags leben im Arbeitsspeicher des Prozesses und überleben keinen Neustart. Und die Quelldateien müssen von dort aus lesbar sein, wo der Server läuft. All das lässt sich lösen; nichts davon rührt an der Kerninvariante.

Warum das über TEI hinausweist

Das Muster lässt sich verallgemeinern. Wann immer ein Modell einen Text annotieren, umformen oder umschließen soll – und wann immer die Unversehrtheit dieses Textes wichtiger ist als die Gabe des Modells, ihn zu „verbessern“ –, taugt dieselbe Lösung. Lassen Sie das Modell den Text nicht neu tippen. Lassen Sie es Anweisungen über dem Text erzeugen, und überlassen Sie es einem deterministischen Composer, sie unter einer Gleichheitsinvariante anzuwenden.

Für digitale Editionen im Besonderen verschiebt das die Grenze dessen, was man einem Modell guten Gewissens überlassen kann. Das Kodieren wird mit einem Mal zu einer Aufgabe, die sich delegieren lässt, ohne dass man jede Ausgabe von Hand mit der Quelle abgleichen müsste. Die Maschine übernimmt den öden Teil; die Editorin prüft das Markup, nicht die Rechtschreibung.

Das Update beziehen

Wenn tei-mcp bereits installiert ist:

uvx tei-mcp@latest

Oder frisch:

pip install tei-mcp

Für Span-locked Composition zeigen Sie dem Server ein Verzeichnis mit Klartext-Quelldateien:

export TEI_MCP_SPAN_SOURCE_ROOT=/path/to/sources
uvx tei-mcp

Der Dateiname ohne Endung wird zur Dokument-ID (letter_001.txt → letter_001).

Quellcode, vollständige Dokumentation und die Entwurfsnotizen zur Invariante:

Eine digitale Edition anderer Art

Tue, 24 Mar 2026 00:00:00 +0000

Die meisten Primärquellen werden nie veröffentlicht. Und das Modell, mit dem wir dem abhelfen wollen – die drittmittelfinanzierte digitale Edition –, ist zu teuer, zu zentralisiert und zu zerbrechlich, als dass es in der Breite funktionieren könnte. In lege ich dar, warum ich die kritische Edition von Cavrianas Briefen anders anlege: als digitalisierte Primärquellen, die organisch wachsen, mit minimaler Infrastruktur auskommen, sich selbsttätig warten, offen für Mitarbeit sind und so wenig kosten, dass es gar keiner Förderung bedarf. Es ist ein Plädoyer für Digital Humanities, die auch ohne institutionellen Rückhalt funktionieren.

tei-mcp

Sun, 15 Mar 2026 00:00:00 +0000

tei-mcp: TEI P5 für KI-Agenten

tei-mcp ist ein quelloffener -Server, der KI-Programmierassistenten unmittelbaren Zugriff auf die -Spezifikation verschafft. Statt sich auf angelerntes Trainingswissen zu verlassen – das oft plausibel aussehendes, aber falsches Markup hervorbringt –, kann die KI die Spezifikation in Echtzeit befragen.

Funktionen

Der Server liest das ODD von TEI P5 ein und stellt 16 Tools bereit:

Nachschlagen von Elementen, Klassen, Makros und Modulen nach Namen, ohne Rücksicht auf Groß- und Kleinschreibung und mit Vorschlägen bei Tippfehlern
Attribute auflösen über die gesamte TEI-Klassenhierarchie (lokal + geerbt)
Inhaltsmodelle entfalten zu strukturierten Bäumen, mit Auflösung von Klassen und Makros
Verschachtelung prüfen – direkte Eltern-Kind-Beziehung oder rekursive Erreichbarkeit mit Pfadverfolgung
Dokumente validieren gegen TEI P5: Inhaltsmodelle, Attribute, geschlossene Wertelisten, Integrität der Verweise und Warnungen vor veralteten Konstrukten
Einzelne Elemente validieren für schrittweises Bearbeiten
ODD-Anpassungen laden, um das Schema auf die projektspezifische Teilmenge einzuschränken
Suchen über alle Entitätstypen hinweg mit regulären Ausdrücken

Installation

pip install tei-mcp

Oder direkt starten mit:

uvx tei-mcp

Verwendung

In einen beliebigen MCP-kompatiblen Client eintragen (Claude, Cursor, Windsurf usw.):

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

Quellcode und Dokumentation finden Sie im .

tei-mcp: TEI P5 für KI-Agenten

Sun, 15 Mar 2026 00:00:00 +0000

Wer schon einmal einen KI-Programmierassistenten TEI-XML hat schreiben lassen, weiß, dass dabei Fehler passieren. Elemente stehen, wo sie nicht hingehören; Attribute werden frei erfunden; Verschachtelungsregeln bleiben unbeachtet. Das Modell hat eine ungefähre Vorstellung davon, wie TEI aussieht – von der Spezifikation selbst weiß es nichts Verlässliches.

tei-mcp schafft hier Abhilfe: Es gibt KI-Agenten direkten, werkzeuggestützten Zugriff auf die TEI-P5-Guidelines.

Inhaltsverzeichnis

Was ist MCP?

Das (MCP) ist ein offener Standard, über den sich KI-Anwendungen mit externen Datenquellen und Werkzeugen verbinden. Man kann es sich als USB-Anschluss für KI vorstellen: ein einziges Protokoll, mit dem sich jeder kompatible Client – Claude, Cursor, Windsurf und andere – an spezialisierte Dienste anstöpseln lässt.

Ein MCP-Server stellt Tools bereit, die die KI im Laufe eines Gesprächs aufrufen kann. Statt auf angelerntes Trainingswissen zu vertrauen, kann das Modell eine aktuelle, maßgebliche Quelle befragen.

Was tei-mcp leistet

tei-mcp liest die ODD-Spezifikation von TEI P5 ein und stellt 16 Tools bereit, die die häufigsten Fragen beantworten, die sich beim Edieren und Kodieren stellen:

Was ist dieses Element? Nachschlagen von Elementen, Klassen, Makros und Modulen nach Namen, ohne Rücksicht auf Groß- und Kleinschreibung und mit Vorschlägen bei Tippfehlern.
Welche Attribute nimmt es? Auflösen der Attribute über die gesamte Klassenhierarchie – zuerst die lokalen, dann der Reihe nach die geerbten.
Was darf hinein? Entfalten von Inhaltsmodellen zu strukturierten Bäumen oder eine flache Liste der zulässigen Kindelemente.
Darf dieses Element hierhin? Prüfen der Eltern-Kind-Verschachtelung oder Nachverfolgen der Erreichbarkeit durch die gesamte Elementhierarchie.
Ist mein Dokument valide? Validieren einer TEI-XML-Datei gegen die Spezifikation: Inhaltsmodelle, Attributwerte, geschlossene Wertelisten, Integrität der Verweise und Warnungen vor veralteten Konstrukten.
Und mein Projektschema? Laden einer ODD-Anpassung, um all das auf die projektspezifische Teilmenge von TEI einzuschränken.

Warum das zählt

Wer in TEI kodiert, schlägt ständig in den Guidelines nach. Erfahrene Encoder haben die gängigen Muster verinnerlicht, aber selbst sie müssen bei selteneren Elementen oder verwickelten Inhaltsmodellen in die Spezifikation schauen. Für KI-Assistenten, denen jedes verinnerlichte Wissen fehlt, ist das Problem gravierender: Sie halluzinieren Markup, das plausibel aussieht und falsch ist.

Mit tei-mcp muss die KI nicht raten. Sie kann die Antwort in der Spezifikation nachschlagen, ehe sie auch nur eine spitze Klammer schreibt. Heraus kommt Markup, das TEI P5 entspricht – oder der ODD-Anpassung Ihres Projekts.

Erste Schritte

Installation von PyPI:

pip install tei-mcp

Anschließend in die Konfiguration Ihres MCP-Clients eintragen:

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

Beim ersten Start lädt der Server die TEI-Spezifikation herunter; er arbeitet mit jedem MCP-kompatiblen Client zusammen.

Quellcode und vollständige Dokumentation:

Multi-Saxon

Fri, 28 Mar 2025 00:00:00 +0000

Multi-Saxon: Parallele XSLT-Verarbeitung für große TEI-Korpora

Multi-Saxon schließt eine empfindliche Lücke im Werkzeugkasten der XML-Verarbeitung: Es führt XSLT-2.0- und -3.0-Transformationen parallel aus, an denen LXML (die verbreitete Python-Bibliothek für XML) scheitert. Eigens für große Sammlungen von XML-TEI-Dokumenten gebaut, verkürzt Multi-Saxon die Verarbeitungszeit durch effiziente Parallelisierung beträchtlich.

Hauptmerkmale

Erweiterte XSLT-Unterstützung: Verarbeitet XSLT-2.0- und -3.0-Transformationen, die LXML nicht beherrscht
Parallele Verarbeitung: Verkürzt die Transformationszeit großer Dokumentsammlungen durch Parallelisierung drastisch
TEI-optimiert: Eigens für XML-Dokumente der Text Encoding Initiative (TEI) ausgelegt
Skalierbare Leistung: Verarbeitet Korpora von Hunderten bis Tausenden von Dokumenten effizient
Plattformübergreifend: Läuft unter verschiedenen Betriebssystemen und in verschiedenen Umgebungen

Das Problem, das Multi-Saxon löst

Wer in den Digital Humanities mit TEI arbeitet, stößt regelmäßig auf zwei Hindernisse:

LXML (die gängige Python-Bibliothek zur XML-Verarbeitung) unterstützt nur XSLT 1.0; die weiterentwickelten Möglichkeiten von XSLT 2.0/3.0 bleiben damit außer Reichweite
Große TEI-Korpora Dokument für Dokument zu verarbeiten kann unzumutbar lange dauern

Multi-Saxon räumt beide Hindernisse aus dem Weg: Es nutzt die fortgeschrittenen XSLT-Fähigkeiten von Saxon und verteilt die Arbeit auf mehrere Prozessorkerne, was erhebliche Geschwindigkeitsgewinne bringt.

Implementierung

Multi-Saxon verbindet Python mit dem Java-Prozessor Saxon zu einer leistungsfähigen Transformations-Pipeline:

Nutzt die Java-Bibliothek Saxon für robuste XSLT-2.0/3.0-Verarbeitung
Verteilt die Transformationen per Multiprocessing auf die verfügbaren CPU-Kerne
Verwaltet die Prozessor-Pools so, dass der Durchsatz maximal wird
Bietet eine schlichte Schnittstelle für die Stapelverarbeitung von TEI-Dokumenten

Anwendungsbeispiel

from multi_saxon import MultiSaxon

# Initialize with your XSLT stylesheet
transformer = MultiSaxon("transform.xsl")

# Transform a single document
transformer.transform("input.xml", "output.xml")

# Transform an entire directory in parallel
transformer.transform_directory("input_dir", "output_dir")

Was das für die Digital Humanities bedeutet

Projekten der Digital Humanities mit großen TEI-Dokumentsammlungen eröffnet Multi-Saxon:

Komplexe korpusweite Transformationen, die mit LXML unmöglich wären
Drastisch kürzere Verarbeitungszeiten (auf Mehrkernsystemen oft um den Faktor 5–10)
Anspruchsvollere Analysen dank der fortgeschrittenen Funktionen von XSLT 2.0/3.0
Einfachere Arbeitsabläufe bei der Verarbeitung ganzer Dokumentsammlungen

Quellcode und Dokumentation finden Sie im .

persNamer

Fri, 28 Mar 2025 00:00:00 +0000

persNamer: TEI mit dem Virtual International Authority File verknüpfen

persNamer ist ein spezialisiertes Python-Werkzeug, das Personen-Normdaten aus VIAF (Virtual International Authority File) ohne Umwege in TEI-XML-Dokumente holt. Weil es VIAF-Identifikatoren in fertiges TEI-Markup übersetzt, erspart persNamer einen Großteil der Handarbeit, die strukturierte Personeneinträge in digitalen wissenschaftlichen Editionen sonst verlangen.

Die Mühen der Normdatenpflege in TEI

Digitale wissenschaftliche Editionen müssen historische Personen häufig exakt identifizieren, samt normiertem Namen und Lebensdaten. Wer die Normdaten über ein ganzes Projekt hinweg konsistent halten will, muss:

Personen in historischen Texten erkennen
verlässliche Normdaten zu ihnen finden
korrekt formatierte TEI-Einträge anlegen
dafür sorgen, dass die Verweise im ganzen Projekt einheitlich bleiben

All das geschieht in der Regel von Hand, kostet Zeit und lädt zu Inkonsistenzen ein.

Wie persNamer arbeitet

persNamer automatisiert diesen Ablauf, indem es:

VIAF-Daten abruft: Zu einem gegebenen VIAF-Identifikator holt das Werkzeug per HTTP Content Negotiation die RDF-Daten
die Kerninformationen ausliest: Aus dem RDF zieht es den bevorzugten Namen sowie Geburts- und Sterbedatum
TEI-Markup erzeugt: Es liefert zwei unentbehrliche XML-Schnipsel:
- einen Eintrag für die Normdatei (<person>-Element mit generierter xml:id, <persName>, <birth>, <death> und <idno type="VIAF">)
- ein eigenes Annotations-Tag (<persName> mit einem ref-Attribut, das auf den Normdateneintrag verweist)

Diese zweifache Ausgabe erlaubt es Editorinnen und Editoren, eine zentrale Normdatei zu führen und die Annotations-Tags zugleich bequem in ihre TEI-Texte einzusetzen.

Hauptmerkmale

Einheitliche ID-Vergabe: Erzeugt konsistente XML-IDs nach dem Muster pers-[familyname]-[givenname initial] (z. B. pers-deteligny-c)
RDF-Parsing: Liest mit rdflib Informationen aus verschiedenen RDF-Eigenschaften aus (z. B. rdfs:label, schema:name, viaf:mainHead)
Kommandozeile: Ein Aufruf mit der VIAF-Nummer als einzigem Pflichtargument genügt
Ausführliche Ausgabe: Liefert neben dem fertigen XML detaillierte Angaben zur Verarbeitung

Anwendungsbeispiel

python persNamer.py 314802260

Dieser Befehl erzeugt:

<person xml:id="pers-deteligny-c">
 <persName>Charles deTéligny</persName>
 <birth>1535</birth>
 <death>1572-08-24</death>
 <idno type="VIAF">314802260</idno>
</person>

<persName ref="#pers-deteligny-c">Charles deTéligny</persName>

Einsatz in den Digital Humanities

persNamer ist besonders nützlich für:

digitale wissenschaftliche Editionen, die Normdatenpflege verlangen
TEI-Kodierungsprojekte, in denen historische Persönlichkeiten vorkommen
Linked-Data-Vorhaben, die Dokumente mit Normdatensätzen verknüpfen
die Wahrung der Konsistenz in großen TEI-Korpora
die Vermittlung der Normdatenpflege in Lehrveranstaltungen der Digital Humanities

Implementierung

persNamer ist in Python geschrieben und stützt sich auf:

requests für HTTP-Anfragen
rdflib für das RDF-Parsing
lxml für die XML-Verarbeitung

Quellcode und Dokumentation finden Sie im .

Bibliographien im großen Stil parsen – mit vortrainierten Sprachmodellen

Thu, 07 Jul 2022 19:04:14 +0200

Wer die Kosten von Projekten der Digital Humanities senken will, kommt an der Automatisierung nicht vorbei. Bis heute werden die eintönigen, mühseligen Arbeiten, die das Edieren im akademischen Betrieb mit sich bringt, entweder von überlasteten Forschenden zu hohen Kosten selbst erledigt oder an Studierende „ausgelagert“. In dieser vertrete ich die Auffassung, dass sich die meisten dieser undankbaren Aufgaben nicht nur automatisieren lassen, sondern dass man sie automatisieren sollte. Das senkt die Gesamtkosten von Projekten in den Digital Humanities – und, was entscheidend ist, es erlaubt Forschenden aus einkommensschwachen Weltregionen, wertvolle Dokumente rasch und erschwinglich zu publizieren.

Im habe ich beispielsweise gezeigt, dass vortrainierte Sprachmodelle den Großteil der XML-Auszeichnung einer digitalen Edition übernehmen können.

Diesmal geht es um ein zweites Beispiel: die Bibliographie.

Das Problem

Aus den Literaturangaben eines einzelnen wissenschaftlichen Aufsatzes eine bibliographische Datenbank zu machen, ist keine Kunst: Man sucht kurz in einem Katalog wie , lädt den Nachweis im gewünschten Format herunter oder importiert ihn gleich aus einer lokalen Datenbank. Bei ein, zwei Aufsätzen geht das gut. Ab einer gewissen Zahl von Nachweisen wird die Sache jedoch spröde und zeitraubend. Abhilfe versprechen Parser wie ; nur lassen sich diese Algorithmen schlecht auf große Mengen übertragen. Als ich anystyle auf die über 150 wissenschaftlichen Essays unserer losließ, häuften sich die Fehler, bis nichts mehr zu bewältigen war. Viele unserer Quellen wurden schlicht nicht erkannt: Die langen Titel frühneuzeitlicher Bücher hielt der Parser für etwas anderes, und mit weniger gängigen Dokumenten – bestimmten Webseiten, Online-Videos und dergleichen – konnte er gar nichts anfangen. Parser leisten gute Arbeit, solange sich die Autorin oder der Autor buchstabengetreu an eine bekannte Konvention wie Chicago, Turabian oder MLA hält; jede Abweichung von der Norm bezahlt man mit Fehlern.

Die Lösung

Genau hier helfen vortrainierte Sprachmodelle , denn sie erfassen im Nu die Muster eines jeden bibliographischen Stils – auch eines selbst ausgedachten – und brauchen nur eine Handvoll Beispiele, um große Mengen formatierter Literaturangaben sauber in eine zu überführen.

Anfang 2021 hatte ich das Glück, früh Zugang zu OpenAIs zu bekommen. Codex übersetzt natürliche Sprache in Code und umgekehrt. Nach Angaben von OpenAI beherrscht es mehr als ein Dutzend Programmiersprachen, und obwohl seine API, während ich dies schreibe, noch im Betastadium ist, treibt es bereits so verbreitete Anwendungen wie GitHubs an.

Nach einigem Herumprobieren mit dieser API wurde mir klar, dass sie auch mit schlichterem Code wie BibTeX bestens zurechtkommt.

Tatsächlich genügten vier Beispiele im Eingabeprompt, damit die Sache zuverlässig lief.

Eingabeprompt

References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009.

Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015.

Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. .

Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994.

@incollection{bayle2009,
 author = {Bayle, Ariane},
 booktitle = {Vulgariser la médecine. Du style médical en France et en Italie},
 title = {Patients exemplaires: la correspondance médicale de Fioravanti},
 editor = {Carlino, Andrea and Michel Jeanneret},
 year = {2009},
 address = {Geneva},
 publisher = {Droz},
 langid = {french}
}
@book{berns2015,
 title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth},
 author = {Berns, Andrew D.},
 address = {Cambridge},
 publisher = {Cambridge University Press},
 langid = {english},
 date = {2015}
}
@article{gabler2010,
 author = {Gabler, Hans Walter},
 title = {Theorizing the Digital Scholarly Edition},
 journal = {Literature Compass},
 volume = {7},
 number = {2},
 pages = {43-56},
 doi = {10.1111/j.1741-4113.2009.00675.x},
 langid = {english},
 year = {2010}
}
@book{findlen1994,
 title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy},
 author = {Findlen, Paula},
 address = {Berkeley},
 publisher = {University of California Press},
 langid = {english},
 date = {1994}
}

Ergebnisse

Die sind verblüffend: Über 2.000 Literaturangaben waren in wenigen Tagen konvertiert. Das Modell hat das Muster meines Prompts nicht bloß getreu nachgebildet, sondern obendrein Eintrags- und Feldtypen korrekt ergänzt, die im Prompt gar nicht vorkamen. GPT-3 spricht, mit anderen Worten, fließend BibTeX. Und was bei einem im Wesentlichen auf Englisch trainierten Modell vielleicht noch mehr überrascht: Es erkannte sämtliche Sprachen (Russisch, Französisch, Italienisch, Latein, Griechisch, Deutsch, Spanisch usw.) und setzte jedes Mal das richtige Feld langid.

Hinweis

Ein- und Ausgabe von GPT-3 sind derzeit begrenzt: Es verarbeitet höchstens 2048 sprachliche Tokens. Fällt diese Beschränkung, dürfte dieselbe Aufgabe in einer Stunde oder weniger erledigt sein.

Einigermaßen unerwartet fügte GPT-3 auch Angaben hinzu, die in den ursprünglichen Nachweisen gar nicht standen.

Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015.

Bei diesem Nachweis etwa ergänzte GPT-3 den permanenten Link zum Open-Access-Repositorium ( ), in dem der Aufsatz zu lesen ist – samt der Felder HAL_ID und HAL_VERSION, die HAL eigens für sich eingeführt hat:

@inproceedings{baillot2015,
 title = {Editing for Man and Machine},
 author = {Baillot, Anne and Busch, Anna},
 year = 2015,
 booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting},
 address = {Leicester},
 series = {Variants (Journal of the European Society for Textual Scholarship)},
 volume = 13,
 editor = {Bruhn, Siglinde and Schreiber, Manfred},
 langid = {english},
 hal_id = {halshs-01233380},
 hal_version = {v1}
}

Solche Ergänzungen zeigen, dass GPT-3 einen Literaturnachweis nicht nur zerlegt, sondern ihn aus dem, was es einst gelernt hat, auch vervollständigt. Spannend wäre in dieser Hinsicht zu sehen, ob es sich bei Titeln, die nach seinem Training erschienen sind, genauso verhält …

Grenzen

Vollkommen ist GPT-3 freilich nicht; ein Mensch muss ihm über die Schulter schauen. Eine seiner bekannten Schwächen ist die : Hin und wieder erfindet es etwas oder stellt unwahrscheinliche Vermutungen an.

In meinem Versuch trat diese Neigung zutage, als GPT-3 den Familiennamen eines Autors kurzerhand von „Ruscelli“ in „Ruscello“ änderte. Streng genommen ist das kein Fehler, denn frühneuzeitliche italienische Familiennamen ließen sich unterschiedslos im Plural wie im Singular gebrauchen. Heute gilt allerdings die Regel, einen Namen so zu belassen, wie er steht, ob Plural oder Singular: Niemand würde Machiavelli heute Machiavello nennen, so wie von uns umgekehrt Rossello statt Rosselli erwartet wird. Hat GPT-3 diese Konvention aus Mangel an historischem Bewusstsein übergangen? Oder hat es sich von den Nachbarnamen leiten lassen, die in diesem Teil der Bibliographie zufällig alle im Singular stehen (Bariletto, Cesano, Rossello)? Wer weiß.

@book{rossello1565,
 title = {Della summa de’ secreti universali},
 author = {Rossello, Timoteo},
 address = {Venice},
 publisher = {Giovanni Bariletto},
 langid = {italian},
 date = {1565}
}
@book{ruscello1559,
 title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese},
 author = {Ruscello, Girolamo},
 address = {Pesaro},
 publisher = {Bartolomeo Cesano},
 langid = {italian},
 date = {1559}
}

Fazit

Die über 150 Essays, die in vier Jahren intensiver Zusammenarbeit entstanden und , liefern nicht nur unentbehrliche Informationen zu der Handschrift, die wir ediert und übersetzt haben; sie bergen auch einen wertvollen bibliographischen Schatz.

Führt man diese Literaturangaben in einer Datenbank zusammen, können die Herausgeber das bibliographische Format im Handumdrehen wechseln und die Angaben darstellen, wie es ihnen beliebt. Zugleich verrät eine solche Datenbank viel über die Edition und das Projekt, aus dem sie hervorgegangen ist, und eröffnet der Forschung neue analytische Zugänge. Und sie lässt sich mit hoher Genauigkeit in Rekordzeit anlegen.

Zugegeben: Der eine oder andere Fehler kann sich einschleichen, vor allem wegen der Neigung von GPT-3 zum Halluzinieren. Doch die nächsten Generationen vortrainierter Sprachmodelle werden dieses Problem entschärfen.

Avviso | Die Nachrichten edieren, die uns modern gemacht haben (1537–1743)

Sun, 12 Dec 2021 00:00:00 +0000

Das Avviso-Projekt hat sich zum Ziel gesetzt, die 35.000 frühneuzeitlichen handschriftlichen Nachrichtenbriefe – die sogenannten avvisi –, die einst zur Sammlung der Medici gehörten und heute im Staatsarchiv Florenz liegen, zu digitalisieren, zu sichern, zu katalogisieren, zu edieren, in ihren Zusammenhang zu stellen und zugänglich zu machen. Katalogisierung, Digitalisierung und Verbreitung von rund 35.000 avvisi, den handschriftlichen Nachrichtenbriefen der Frühen Neuzeit, über die Plattform Medici Interactive Archive des Medici Archive Project.

Effizientes Edieren

Sun, 12 Dec 2021 00:00:00 +0000

Digitale kritische Editionen sind ein kostspieliges Geschäft. Transkription, Übersetzung und Annotation, die nur hochqualifizierte Fachleute leisten können, verschlingen Tausende von Arbeitsstunden und verlangen erhebliche Fördermittel – dazu institutionellen Rückhalt auf lange Sicht.

In gewisser Weise ist es ein Segen, dass Vorzeigeprojekte der Digital Humanities die gewaltigen Summen einwerben können, die ihr Betrieb erfordert.

Doch wer sich derart auf die Großzügigkeit reicher Stiftungen, Universitäten und Behörden verlässt und über Jahre hinweg viel Personal binden muss, hat kein Wirtschaftsmodell, das die Zukunft trägt. Mögen sich auch immer mehr Forschende ehrgeizige digitale Quelleneditionen leisten können – diese Praxis bleibt das Privileg einiger weniger wohlhabender Länder und befestigt damit deren kulturelle Vormacht.

Sollen historische Dokumente aus aller Welt einem breiteren Publikum zugänglich werden, dann müssen die Kosten digitaler kritischer Editionen um Größenordnungen sinken .

In dieser Reihe von Blogbeiträgen prüfe ich die Ansätze und technischen Bausteine, mit denen Forschende überall auf der Welt Primärquellen schneller und mit minimalem Aufwand publizieren können.

Im Blick habe ich dabei vor allem Technologien wie maschinelles Lernen, Blockchain und dezentrale Speicherung.

Auszeichnung automatisieren in digitalen wissenschaftlichen Editionen

Mon, 22 Nov 2021 18:15:00 +0000

Einleitung

Wie bringt man eine digitale wissenschaftliche Edition zustande, ohne sich zu ruinieren? Dieser Beitrag eröffnet eine Reihe zum effizienten Edieren; ich prüfe darin, was vortrainierte Sprachmodelle leisten können, wenn es darum geht, editorische Routinearbeiten wie die semantische Auszeichnung zu automatisieren.

Inhaltsverzeichnis

Das Problem

Ein Werk der Liebe

Wo die Liebe hinfällt, fragt niemand nach dem Preis – so jedenfalls will es das alte Sprichwort. Auf digitale wissenschaftliche Editionen trifft das in besonderem Maße zu: Transkription, Übersetzung und Annotation verschlingen Tausende von Arbeitsstunden, die – wie bei – von Hunderten hochqualifizierter Mitarbeiterinnen und Mitarbeiter geleistet werden.

In gewisser Weise ist es ein Segen, dass Vorzeigeprojekte der Digital Humanities die gewaltigen Summen einwerben können, die ihr Betrieb verlangt. Doch wer sich derart auf die Großzügigkeit reicher Stiftungen, Universitäten und Behörden verlässt und über Jahre hinweg viel Personal binden muss, hat kein Wirtschaftsmodell, das die Zukunft trägt.

Wollen wir Forschende in aller Welt ermutigen, historische Dokumente einem breiteren Publikum zu erschließen, dann müssen die Kosten digitaler kritischer Editionen um Größenordnungen sinken .

Eine hohe Schwelle

Paradoxerweise könnte die Lösung ausgerechnet von arbeitsintensiven Unternehmungen wie kommen, denn sie liefern einen wertvollen Trainingsdatensatz , mit dem sich einige der sprödesten und eintönigsten Arbeiten des digitalen Edierens automatisieren lassen – etwa die Auszeichnung.

Nicht, dass die Auszeichnung nebensächlich wäre; im Gegenteil: Markup ist heute der unverzichtbare Bestandteil jedes ernstzunehmenden digitalen Editionsvorhabens. Normiert durch die , erlaubt es, möglichst viele Eigenschaften des Dokuments und des Textes, den es überliefert, festzuhalten – Struktur, Marginalien, Streichungen, Varianten, Papiersorte, Flecken, Schriftbild … ganz nach Belieben.

Das folgende Beispiel aus zeigt, wie die Auszeichnung den Text mit Zusatzinformation anreichert (Kategorie, Struktur, semantische Felder, Streichungen usw.) – und der digitalen Edition damit einen handfesten Vorsprung vor ihren gedruckten Vorfahren verschafft.

Reiner Text XML-Markup

Reiner Text	XML-Markup
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

Wertvoll ist diese Information für die Archivierung, aber ebenso – wie ich andernorts gezeigt habe – für Synthese und Analyse. Nur ist eine solche Annotation eben ungeheuer zeitraubend, zumal derselbe Text häufig in mehreren Gestalten vorliegen muss: als Übersetzung, als Transkription, als modernisierte Fassung und so fort.

Die Lösung

Transformer: der kürzeste Weg zur Automatisierung?

2020 stellte mit großem Getöse seine neueste Familie universell einsetzbarer großer Sprachmodelle vor: GPT-3, ausgeschrieben „Generative Pre-trained Transformer 3“. Transformer sind ein noch recht junger Durchbruch der Künstlichen Intelligenz. Sie lernen neue Aufgaben verblüffend schnell – es genügt, ihnen eine Anweisung (den Prompt) und eine Handvoll Beispiele vorzulegen. Zudem lassen sie sich mit einem eigens zusammengestellten Datensatz nachtrainieren (Fine-Tuning), was Antwortzeit und Treffsicherheit verbessert. Deshalb spricht man bei GPT-3 und verwandten Transformern von .

Nach Angaben von OpenAI umfasst GPT-3 die Rekordzahl von 175 Milliarden Parametern und wurde mit über 570 GB Text trainiert, überwiegend englischsprachigen Dokumenten, die vermutlich aus stammen. Allein kraft seiner Größe hat GPT-3 in diesem Feld neue Maßstäbe gesetzt: Es erledigt ohne jede Anpassung die verschiedensten Aufgaben mit einem Realismus, der einen beunruhigen kann. Es schreibt glaubwürdige , in Chatrooms, , , übersetzt Dokumente, erklärt Fachjargon und dergleichen mehr.

Seit Mai 2021 habe ich frühen Zugang zur API von OpenAI und konnte seither ausprobieren, wie das Modell mit Aufgaben zurechtkommt, die als notorisch schwierig gelten: französische Lyrik und neulateinische Texte ins Englische übersetzen, Analogien erläutern, ja sogar den vierten Abschnitt von Kants Grundlegung zur Metaphysik der Sitten für ein siebenjähriges Kind herunterbrechen (wenn auch wenig überzeugend).

Codex

Eine der jüngsten Ausprägungen von GPT-3 hat es auf Programmiersprachen abgesehen. Das Modell heißt Codex und übersetzt natürliche Sprache in Programmcode und umgekehrt. Suche ich etwa einen regulären Ausdruck, der „nur Wörter findet, die mit einem Großbuchstaben beginnen“, so liefert GPT-3 prompt einen funktionierenden: [A-Z]+\w+.

Laut OpenAI beherrscht Codex ein Dutzend Programmiersprachen, darunter Python, JavaScript, Go, Perl, PHP, Ruby und Swift. Weil es Pseudocode reibungslos in Code verwandelt, kann man sich statt auf die pedantische Syntax einer Programmiersprache auf das konzentrieren, worauf es ankommt: die logischen Schritte und Strategien, mit denen ein Programm ein Problem löst.

Jenseits von OpenAI

OpenAI ist freilich nicht der einzige Mitspieler. Wie erwähnt, kündigte die Beijing Academy of Artificial Intelligence 2021 mit Wu Dao 2 ein noch größeres und leistungsfähigeres Modell an. Nvidia und Microsoft taten sich für das treffend benannte Megatron-Turing NLG 530B zusammen. Kleinere Start-ups wie und bieten der Öffentlichkeit ebenfalls APIs an, und auch Open-Source-Initiativen wie verdienen Erwähnung. Die KI-Szene ist natürlich in rasender Bewegung; wer auf dem Laufenden bleiben will, sollte einen Blick auf werfen.

Die Experimente

Hinweis

Ziel dieser Experimente ist es, den sparsamsten Weg zu einer verlässlichen Automatisierung editorischer Aufgaben zu finden. Man könnte einwenden, dass sich manche davon auch mit Verfahren des überwachten Lernens automatisieren ließen. Dieser Hypothese gehen wir in einem späteren Beitrag nach.

Kann ein Transformer wie GPT-3 lernen, etwa eine technisch-naturwissenschaftliche Handschrift des 16. Jahrhunderts zu annotieren?

Experiment 1 – Textkategorisierung

Beginnen wir mit etwas vergleichsweise Einfachem. Als „Few-Shot-Learner“ sollte GPT-3 rasch durchschauen, nach welchem Schema unser Herausgeberteam die Einträge von Ms. Fr. 640 klassifiziert hat.

Prompt-Engineering

Zum Anlernen begnügte ich mich mit einem denkbar knappen Prompt und vier kurzen Einträgen im Reintext als Beispielen, darunter je einer zu „Medizin“, „Waffen und Rüstungen“ und „Malerei“.

Test

Anschließend kopierte ich eine weitere Passage hinein, die in der ursprünglichen Folge nicht enthalten war:

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

Die Ausgabe passt vollkommen zum Inhalt:

<categories="painting">

Nimmt man einen Eintrag aus einer Kategorie, die in der Auswahl der Trainingstexte gar nicht vorkam, überrascht das Ergebnis.

<categories="jewelry">

Ergebnis

Eine Kategorie „jewelry“ (Schmuck) gibt es in unserer Edition von Ms. Fr. 640 nicht; das Herausgeberteam die weiter gefasste Rubrik „Stones“ (Steine). Der Instinkt von GPT-3 ist gleichwohl richtig, und das lässt erwarten, dass es mit ein wenig mehr Training jeden Eintrag von Ms. Fr. 640 einordnen könnte – womöglich sogar Einträge vergleichbarer technischer Texte des 16. Jahrhunderts.

Experiment 2 – Semantische Auszeichnung

Legen wir die Latte etwas höher. Wenn Transformer wie GPT-3 lernen können, Texte nach bestimmten editorischen Kriterien zu klassifizieren – erkennen sie dann auch einen Teil der Auszeichnung im Text?

Hinweis

Secrets of Craft and Nature verwendet eine aus semantischen und strukturellen Labels. Leider verarbeitet GPT-3 keine Bilder, anders als etwa . Künftige Versionen von GPT werden diese Fähigkeit wahrscheinlich mitbringen; ohne sie lassen sich die meisten strukturellen und materiellen Merkmale eines Dokuments nicht erkennen. Wir übergehen diese Tags daher und wenden uns der Auszeichnung zu, die ohne Bilderkennung auskommt.

Prompt-Engineering

Semantische Tags erfassen unter anderem Tiere, Pflanzen, Ortsnamen und Sinneseindrücke. Für den Trainingsprompt griff ich einige Beispiele aus der Edition heraus:

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

Test

Versuchen wir es mit dem Modell Davinci-codex und ein paar leichten Wörtern: Apothecary (Apotheker), smoke (Rauch), glassmakers (Glasmacher), latten (Messingblech) und snake (Schlange). Die Antwort kommt sofort, und sie ist fehlerfrei:

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

Schwieriger wird es mit zusammengesetzten Ausdrücken wie copper plates (Kupferplatten), walnut oil (Walnussöl) und wood block (Holzblock). Hier soll sich zeigen, ob GPT-3 mit verschachtelten Tags zurechtkommt.

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

Das Ergebnis ist durchwachsen: Davinci-codex hat nur walnut oil korrekt ausgezeichnet und die verschachtelten Tags tl und m in copper plates und wood block übersehen. Wie der nächste Test zeigt, lassen sich solche Fehler indes mit einem besseren Trainingsprompt eindämmen. Nachdem ich fünf weitere Beispiele für verschachtelte Tags ergänzt hatte, lieferte Davinci-codex ein nahezu makelloses Ergebnis mit einem einzigen Fehler (oil paintbrushes):

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

Fazit

Vergessen wir nicht, dass diese Tests mit kleinen Textstücken gemacht wurden. Ich vermute, dass GPT-3-Modelle noch besser abschneiden, wenn Beispiele und Prompt mehr Kontext bieten; und ein Fine-Tuning mit eigens angelegten Trainingsdaten würde die Treffsicherheit der Auszeichnung zweifellos weiter erhöhen.
Gewiss müssten diese Versuche in größerem Maßstab wiederholt werden, um die Verlässlichkeit vortrainierter Sprachmodelle nachzuweisen. Festhalten lässt sich aber schon jetzt, dass dieser Ansatz Editorinnen und Editoren erlaubt, mehrere Annotationsaufgaben in wenigen einfachen Schritten zu automatisieren – und dabei womöglich enorm viel Zeit und Geld zu sparen.

Handschriften visualisieren 2 (Update)

Sat, 20 Nov 2021 16:00:00 +0000

Wie versprochen: eine neue Fassung der interaktiven Treemap aus einem , diesmal mit zwei Ansichten.

Hinweis

Am besten wirkt die Darstellung im hellen Modus der Webseite (Mondsymbol oben rechts anklicken).

Group folios by category

Ein visueller Browser für das Archiv

Sun, 20 Jun 2021 16:00:00 +0000

Das Problem

Digitale Editionen leiden an einem Paradox: Sie machen entlegene Dokumente einem breiteren Publikum zugänglich – doch mit der Entmaterialisierung geht der sinnliche Halt verloren, und das verwirrt die Leserinnen und Leser oder schreckt sie gar davon ab, sich auf den Inhalt einzulassen. Sich durch riesige Dokumentbestände zu bewegen wird so umständlich und einschüchternd. Das gilt nicht nur für Nutzende, denen die Archivarbeit fremd ist, sondern auch für Leserinnen und Leser mit kognitiven Beeinträchtigungen.

Die Lösung

An dieser Stelle helfen die Metadaten des Archivs weiter. Aus ihnen lassen sich interaktive visuelle Abstraktionen bauen, die den Lesenden einen anderen sinnlichen Zugang eröffnen und damit Ergonomie wie Zugänglichkeit zugleich verbessern. Um das Archiv visuell begehbar zu machen, genügt eine Treemap – oder irgendein Diagramm, das hierarchische Daten übersichtlich aufgliedert.

Das Experiment

Mein erster Versuch passt den Code der für D3.js an und ergänzt ihn um Hyperlinks. Dargestellt wird die Handschrift BnF Ms. Fr. 640 mit ihren Folios und den Einträgen auf jedem Folio; die Farben zeigen die jeweils vorherrschende Kategorie an. Fährt man mit der Maus über einen Eintrag, erscheinen weitere Angaben, darunter der Link zur Handschrift.
So wird die Treemap zu einem interaktiven visuellen Register, das den Lesenden auf einen Blick und ohne Verzögerung Überblick verschafft – nicht nur über den Inhalt der Handschrift, sondern auch über den Umfang jedes Folios und jedes Eintrags.
~~In den kommenden Monaten werde ich diese Idee weiterverfolgen und andere Diagramme und andere Hierarchien ausprobieren … Bleiben Sie dran!~~ Eine neue Version der Treemap finden Sie .

Hinweis

Am besten wirkt die Darstellung im hellen Modus der Webseite (Mondsymbol oben rechts anklicken).

Click any cell to zoom in, or the top to zoom out.

Das Archiv auf einen Blick

Mon, 24 May 2021 16:00:00 +0000

Das Problem

Historische Archive können von entmutigender Unordnung sein. Das Mediceo del Principato im ist dafür ein Musterfall: Nur ein kleiner Teil des Bestands ist erschlossen, und viele Dokumente liegen ohne erkennbaren Grund über mehr als 6.500 Bände verstreut. Hinzu kommt, dass das Archiv nur eine begrenzte Zahl von Bänden – filze, wie man sie dort nennt – zur Einsicht ausgibt: in normalen Zeiten 4 filze am Tag, in Pandemiezeiten indes 4 alle zwei Wochen. Wo ausführliche Findmittel fehlen, zwingt schon die schiere Größe des Archivs die Forschenden, sich Strategien zurechtzulegen, um die gesuchten Dokumente rasch aufzuspüren.

Die Lösung

Die einen vertrauen auf den Zufall, die anderen versuchen es zusätzlich mit begründeten Vermutungen – nach Chronologie, Empfängern, Verfassern, Herkunft des Bestands, Sprache und dergleichen. Wer all diese Variablen aber gleichzeitig vor Augen hat, entdeckt in der Struktur des Archivs womöglich Muster, mit denen niemand gerechnet hatte, und kann seine Vermutungen entsprechend schärfen. Meine Erfahrung ist: Die Metadaten, die Forschende ohnehin in einer Tabelle sammeln, verschaffen, einmal grafisch aufbereitet, im Archiv einen ganz anderen Überblick.

Das Experiment

Ich arbeite derzeit über die Korrespondenz eines Spions des 16. Jahrhunderts. Seine Briefe verteilen sich auf Hunderte von filze; er schrieb sie unter wechselnden Identitäten, an wechselnde und mitunter überraschende Adressaten, von wechselnden Orten aus. Um jene filze zu finden, in denen die erhofften Briefe mit einiger Wahrscheinlichkeit liegen, habe ich mir ein Dashboard gebaut – eine interaktive Webanwendung zur Datenvisualisierung ( ), die Daten aller Art, darunter geografische und chronologische Angaben, mit einem hierarchischen Diagramm ( ) des Bestands verknüpft. Das Dashboard zeigt mir auf einen Blick, was schon gefunden ist, wie viel das ausmacht, und gibt mir eine ungefähre Ahnung, wo weitere Briefe zu vermuten wären. Klicke ich zudem einzelne Variablen an, richten sich alle Diagramme neu aus und lassen bestimmte Zusammenhänge hervortreten.

Wie es weitergeht

Vielleicht wichtiger noch: Dieses Dashboard lässt sich in ein visuelles Register umwidmen. Sobald die kritische Edition dieser Briefe online erscheint, wird es als zweiter Zugang dienen, von dem aus die Leserinnen und Leser die Daten durchstöbern können. Aus Gründen der Vertraulichkeit kann ich vorerst nur einen geschwärzten Screenshot zeigen; das vollständige Dashboard gebe ich im kommenden Jahr frei. Ein Prototyp wird schon bald verfügbar sein. Bleiben Sie dran!

Making & Knowing Project

Sun, 27 Dec 2020 00:00:00 +0000

Das , 2014 von Pamela H. Smith gegründet und von Hunderten Mitarbeiterinnen und Mitarbeitern getragen, ist eine Forschungs- und Lehrinitiative am der Columbia University.

Als Postdoktorand habe ich in diesem Projekt unter anderem an der von BnF Ms. Fr. 640 mitgearbeitet. Diese einzigartige französische Handschrift aus dem 16. Jahrhundert gewährt Einblick aus erster Hand in Herstellungsverfahren und Werkstoffe einer Zeit, in der Künstler noch Naturforscher waren.

Die digitale Edition stellt in ihrem eine Fülle von Daten frei zur Verfügung. Im kommenden Jahr will ich in einer Reihe von Blogbeiträgen über die Edition und ihre Daten schreiben und zeigen, wie leicht sich der Text mit Python oder R herunterladen und auswerten lässt. Bleiben Sie dran!

Semantische Auszeichnung in BnF Ms. Fr. 640 sichtbar machen

Sun, 20 Dec 2020 18:15:00 +0000

Überblick

Datenreiche wissenschaftliche Editionen stecken voller editorischer Annotationen, die sich für die verschiedensten Forschungszwecke auslesen, analysieren und visualisieren lassen. So auch , erschienen 2020, deren Metadaten als Datei im GitHub-Repository der Edition zum Herunterladen bereitliegen. In diesem Beitrag zeige ich, wie man all diese Variablen in einer Korrelationsmatrix zusammenführt und auf verschiedene Weise sichtbar macht.

Die Daten

Das Making and Knowing Project erzeugt eine Tabelle mit laufend aktualisierten Angaben zum Inhalt der Handschrift: entry_metadata.csv. Die Datei liegt im des Making & Knowing Project. Wer mag, kann sich auch eigene .csv-Dateien mit zusätzlicher Auszeichnung erzeugen – dank Matthew Kumars vorzüglichem , einer Python-Fassung von BnF Ms. Fr. 640.

Python einrichten

Wir nehmen Pandas für die Datenaufbereitung, Matplotlib und seaborn für die Heatmaps und schließlich NetworkX, um aus den Korrelationen Netzwerke zu bauen.
Für Variablen dieser Art meiden wir die Pearson-Korrelation und greifen stattdessen zur 𝜙𝐾-Methode. Lesen Sie unbedingt , was es mit diesem Korrelationsmaß und der zugehörigen Bibliothek PhiK auf sich hat.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

Die Daten vorbereiten

Zunächst laden wir die aktuelle Metadatendatei der Edition aus dem Ordner „metadata“ ihres herunter. Wir behalten nur die Spalten, die wir brauchen. Für diese Demonstration nehme ich sämtliche semantischen Tags aus der englischen Übersetzung tl; ebenso gut könnten Sie die Tags der französischen Transkription tc oder der normalisierten Fassung tcn wählen. Die Werte sind durch Semikolons getrennt, und Python soll sie für uns zählen. Dazu dient die Stack-Unstack-Methode mit dem regulären Ausdruck [^;\s][^\;]*[^;\s]*. Damit die Matrix lesbarer wird, benennen wir die Spalten um. Wer es eilig hat, kann diesen Schritt überspringen – nur sollte man im Kopf behalten, dass unser Dataframe an dieser Stelle tagsrn heißt.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

Korrelieren

Ist der Dataframe bereinigt, können wir die Korrelationskoeffizienten zwischen den Variablen berechnen. An dieser Stelle sollte man seine Daten wirklich verstehen und sich vergewissern, dass man das passende Korrelationsmaß verwendet; das Paket pandas-profiling leistet dabei gute Dienste.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag ist unsere Korrelationsmatrix. Nun können wir verschiedene Darstellungen ausprobieren.

Visualisieren

Am nächsten liegt eine farbkodierte Matrix, erzeugt mit dem von seaborn.

Korrelations-Heatmap

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

Wer den Text gut kennt, sieht sofort, dass die Heatmap sehr wohl Sinn ergibt. Personennamen etwa korrelieren stark mit Latein – kein Wunder, war es doch gerade unter den Humanisten des 16. Jahrhunderts üblich, sie zu latinisieren.

Manche werden einwenden, die Heatmap renne offene Türen ein. Ganz unrecht haben sie nicht; auf den ersten Blick scheinen die medizinischen Tags das zu bestätigen, korrelieren sie doch erwartungsgemäß mit Körperteilen, Maßangaben und Pflanzen.

Liest man die Heatmap aber genauer, Zeile für Zeile, stößt man auf durchaus interessante und unerwartete Zusammenhänge. Dass medizinische Tags mit italienischen und lateinischen Wörtern korrelieren, gibt etwa Hinweise auf die Herkunft der medizinischen Rezepte in Ms. Fr. 640. Und die Korrelation von Berufen, Definitionen und Maßangaben zeigt, wie stark die berufliche Identität den technischen Diskurs des 16. Jahrhunderts strukturiert.

Korrelations-Clustermap

Heatmaps sind fürs „Explorieren“ nützlich, wirken auf ein Publikum aber leicht unübersichtlich – zumal, wenn man bestimmte semantische Cluster in der Handschrift erörtern (oder noch suchen) will. Hier kann das Modul clustermap von Seaborn interessante Ergebnisse liefern.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

Abgesehen davon, dass sie wie ein verpixeltes Insekt aussieht (ja, „pixelated“ steht im OED), trennt die Clustermap sauber die isolierten Tags (oben und links) von den stärker vernetzten. Auch abgelegene Cluster wie Musik und Poitevin (wer hätte das gedacht!) heben sich von zentraleren ab – Maßangaben, Material, Definitionen, Waffen. Die Berufe sind zwar besser vernetzt, gehören aber, jedenfalls in dieser Matrix, keinem bestimmten Cluster an.

Korrelationsnetzwerk

Will man die Korrelationen der Matrix noch stärker verdichten, bieten Netzwerkgraphen eine elegante Lösung – besonders dort, wo es darum geht, den Inhalt der Handschrift zu vermitteln.
Dafür müssen wir die Matrix in eine Liste von Kanten und Knoten verwandeln und einen Schwellenwert festlegen, der die schwächeren Korrelationen aus dem Graphen verbannt.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

Sind es zu viele Kanten und Knoten, lässt sich der Schwellenwert anpassen, bis das Bild aufgeräumter wird. Oder Sie exportieren den Graphen mit .write_gexf() und spielen in Gephi damit weiter.

nx.write_gexf(G, 'graph.gexf')

Das Ergebnis sehen Sie am Anfang dieses Beitrags.

Update: Kreisförmiges gewichtetes Netzwerk

Auf der Suche nach Wegen, Korrelationsmatrizen als gewichtete Netzwerke darzustellen, bin ich auf einen interessanten Ansatz gestoßen, den und den ich hier auf unseren Datensatz übertrage.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

Sind einige Kanten entfernt, legen wir Farbe und Stärke der übrigen fest.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

Außerdem bekommen die Knoten eine Größe, die ihrer Zahl an Verbindungen entspricht.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

Heraus kommt ein gewichteter Graph, der mehr Knoten und erheblich mehr Kanten verträgt und dabei lesbar und aussagekräftig bleibt.

Filippo Cavrianas geheime Korrespondenz, 1568–1589.

Fri, 27 Dec 2019 00:00:00 +0000

Filippo Cavrianas geheime Briefe sind ein Zeugnis der Hugenottenkriege, wie es kein zweites gibt: Über mehr als 20 Jahre hinweg begleiten sie die Intrigen, Schlachten, Verhandlungen und Verschwörungen, die dem Leben am französischen Hof und weit darüber hinaus den Takt vorgaben.

Die Briefe liegen im , größtenteils verstreut über Hunderte unerschlossener Bündel – filze, wie man in Florenz sagt. Zwar habe ich in den vergangenen Jahren Dutzende neuer Briefe ans Licht gebracht, doch diese Art von Archivarbeit wird immer beschwerlicher: Die Entfernung von Florenz, der Verfall mancher öffentlicher Dienste in Italien und die Covid-19-Pandemie machen aus solchen Editionsvorhaben ein langwieriges und ungewisses Unterfangen.

Allen Widrigkeiten zum Trotz sollte das Edieren von Primärquellen weiterhin zum Handwerk des Historikers gehören. Die Form freilich, die solche Editionen annehmen, wird sich wohl wandeln müssen. Quelleneditionen sollten sich nicht nur auf die geschilderte Lage einstellen, sondern auch dem schrittweisen Charakter dieser Forschung besser gerecht werden – und es anderen erlauben, die Arbeit fortzusetzen.

Daher die Idee, eine neue Art von digitalem Editionsprojekt zu entwickeln: skalierbar, nachhaltig, vertrauenswürdig, plattformunabhängig und nach Möglichkeit kollaborativ.

Die Edition ist inzwischen online: . Sie versammelt die bislang transkribierten Briefe aus den Staatsarchiven von Florenz und Mantua sowie der BnF und wächst, sobald neue auftauchen. Die Überlegungen hinter ihrer Anlage habe ich in dargelegt.