Clement |

Der Zaun, nicht das Feuer

Sun, 06 Sep 2026 00:00:00 +0000

In einer Lagerhalle in North Las Vegas betreibt Amazon eine Maschine, die gebrauchten Büchern den Rücken abschneidet. Die losen Blätter wandern durch einen Scanner, das Papier danach in die Altpapierpresse. Die sah darin eine Bücherverbrennung unserer Tage und ließ kein Klischee aus: Anspielungen auf Savonarola, Symbolfotos vermeintlich seltener Bücher und, versteht sich, der Scheiterhaufen auf dem Berliner Opernplatz. Die seriösen Blätter blieben erwartungsgemäß kühler, ließen denselben Vergleich aber im Raum stehen. Bei aller Entrüstung gehen diese Artikel mit der KI-Industrie erstaunlich schonend um. Wer soll über das Wissen verfügen, das da gescannt wird? Diese Frage muss warten, bis wir den Unfug von der Bücherverbrennung abgeräumt haben.

Ein Scanner ist kein Scheiterhaufen

Dass ein physisches Exemplar zerstört wird, macht destruktives Scannen noch lange nicht zum modernen Gegenstück von Savonarolas Scheiterhaufen oder der Bücherverbrennung der Nazis. Jene Akte bezogen ihren Sinn daraus, was verdammt wurde und weshalb. Der arme Mönch Savonarola, der in jede Debatte über Bücherverbrennungen hineingezerrt wird, forderte die Leute auf, einen Teil ihres Besitzes als öffentlichen Bußakt zu verbrennen. Die Scheiterhaufen der Nazis inszenierten eine Verstoßung anderer Art: Wer die Bücher öffentlich verbrannte, erklärte damit, dass ihre Verfasser im deutschen Kulturleben nichts mehr zu suchen hätten. In beiden Fällen war die Zerstörung eine Geste. Destruktives Scannen, in der Digitalisierung ein gängiges Verfahren, dient einem anderen Zweck: Das Exemplar wird geopfert, damit sein Inhalt bleibt. Das Buch wird vernichtet, der Text entmaterialisiert. Wer nach Fahrenheit 451 greift, möge sich erinnern, dass Bradburys Feuerwehrleute den Text nicht für später aufhoben.

schürte die Aufregung, indem es „seltene Bücher“ in die Schlagzeile hob – eine Formel, die andere Medien brav nachbeteten. Dabei sagte ein Buchhändler, den die Recherche selbst zitiert, diese Großbestellungen hätten ; es geht also überwiegend um Ausgaben, die seit Einführung der ISBN um 1970 erschienen sind. Das ist die Ware der Flohmärkte und Wohltätigkeitsläden, die oft schon beim nächsten Ausmisten im Altpapier landet. Bevor man die Kulturkatastrophe ausruft, könnte man in den Bibliothekskatalog schauen: Genau für solche Publikationen gibt es Pflichtexemplarbibliotheken. Zugegeben, eine ISBN bürgt nicht für ein erhaltenes Pflichtexemplar – aber Knappheit auf dem Gebrauchtmarkt beweist auch nicht, dass ein Text verschwunden ist.

Beim Einstampfen geht das physische Exemplar verloren, mit allen Widmungen und Marginalien. Exemplare mit historisch bedeutsamen Anmerkungen oder Provenienzen sollten erkannt und bewahrt werden, am besten, bevor sie auf dem Gebrauchtmarkt landen. Man darf sich auch sorgen, dass die gedruckten Exemplare vergriffener Titel knapper werden. Dann aber müsste man ebenso fragen, warum die Rechteinhaber sie weder nachdrucken noch den Zugang zu bereits vorhandenen digitalen Faksimiles freigeben. Forschende kennen den Ärger: Google Books findet die gesuchte Stelle und zeigt dann einen Schnipsel aus einem Buch, das man weder neu kaufen noch online lesen kann. Hier gibt es Verluste, über die sich streiten lässt. Aus einem Scanner machen sie keinen Nazi-Scheiterhaufen.

Der Buchhandel wiederum stampft unverkaufte Bücher seit jeher routinemäßig ein. Allein in Frankreich wurden , rund 60 Prozent dessen, was als Remittenden an die Auslieferungen zurückging. Das nennt man Lagerbereinigung. Überschüssige Exemplare und rare Gebrauchttitel werfen je eigene Fragen des Zugangs auf; Papier zu vernichten ist aber für sich genommen weder Zensur noch Tyrannei.

Mehr Bücher, bessere KI?

Dass KI-Unternehmen Bücher kaufen und scannen, ist in Wahrheit eine gute Nachricht. Eine Technologie, der man ständig ihr flaches Verständnis menschlicher Kultur vorhält, eignet sich mehr davon an – man hätte erwarten dürfen, dass die Wissenschaft das begrüßt.

Das Web ist ein dürftiger Ersatz für das aufgehäufte Schriftgut einer Sprache. Ein großer Teil ihres aufgezeichneten Lebens, von Romanen und Memoiren bis zu populären Liedern und transkribierten Gesprächen, hat den Weg vom Druck ins Netz nie gefunden. Viele dieser Bücher haben ihre Verlage überlebt. Sie in Trainingsdaten aufzunehmen zählt dort am meisten, wo sonst wenig vorhanden ist. Ein paar englische Bücher mehr bringen vielleicht geringfügige Verbesserungen; in einer schwach vertretenen Sprache können dieselben Bücher den Unterschied zwischen einem brauchbaren und einem unbrauchbaren System ausmachen. Ob diese Werkzeuge in unsere öffentlichen Dienste oder in unseren Alltag gehören, ist eine Frage der öffentlichen Debatte. Wo immer wir uns aber für sie entscheiden, sollten wir sie in unserer eigenen Sprache benutzen können.

Was sprachlich auf dem Spiel steht, zeigen die aus Spanien und den Niederlanden gemeldeten Bestellungen. Im Mai berichtete von einem Buchhändler in Badalona, der wiederholt Bestellungen erhielt, vor allem für katalanische Sachbücher: Geschichtswerke, technische Handbücher, alte Tagungsbände. Im August meldeten niederländische Medien eine Anfrage an De Slegte über . Die Sprache dieser Bücher verdient mindestens so viel Aufmerksamkeit wie das Schicksal ihrer Einbände. Von der Daily Mail mag das zu viel verlangt sein; aber auch die nüchterneren Blätter hatten zu den betroffenen Sprachen wenig zu sagen.

Auch Lizenzverträge mit großen Verlagen können wertvolles Material liefern, doch deren digitale Kataloge decken nur einen Bruchteil dessen ab, was je gedruckt wurde. Bücher, die nie digitalisiert wurden oder deren Rechte der Verlag nicht mehr hält, gehören nicht zum Angebot. Selbst der großzügigste Lizenzvertrag kann nicht für die Geschichte des Verlagswesens einstehen, geschweige denn für die Geschichte einer Kultur. Gebrauchte Exemplare zu kaufen ist ein Weg, über diese kommerziellen Grenzen hinauszureichen.

„Diebstahl“ ist kein Argument

Von „Diebstahl“ zu reden hilft ebenso wenig. Im Juni 2025 befanden zwei US-Bezirksgerichte, dass die Nutzung von Büchern zum Training von Sprachmodellen in den ihnen vorliegenden Fällen unter Fair Use fällt. In hob das Gericht den transformativen Charakter des Trainings hervor: Die Bücher dienten dazu, ein System zu bauen, das neuen Ausdruck hervorbringen kann. Modelle können sich Passagen merken, doch ein Buch zum Training zu verwenden macht nicht den ganzen Text auf Abruf verfügbar. Umgekehrt erledigt das Fehlen wörtlicher Wiedergabe nicht jeden Einwand. In warnte der Richter, KI-generierte Werke könnten den Markt überschwemmen, und Belege für einen solchen Schaden könnten eine Fair-Use-Verteidigung zu Fall bringen; nur hatten diese Kläger für einen solchen Schaden an ihren eigenen Werken keine belastbaren Belege beigebracht. Keines der beiden Urteile stellt den KI-Unternehmen einen Freibrief aus oder entscheidet den ethischen Streit. Beide verlangen von uns zu unterscheiden, wie Bücher beschafft, wie Kopien aufbewahrt werden und was das Training mit ihnen anstellt. Wer das alles „Diebstahl“ nennt, lässt diese Fragen offen.

Nebenbei liefert das Anthropic-Urteil auch die Begründung für die Guillotine. Das Gericht billigte die Digitalisierung gekaufter Exemplare und verwarf die Anhäufung raubkopierter Bücher in einer dauerhaften Bibliothek, für die das Unternehmen später . Die Digitalisierung ging unter anderem deshalb durch, weil jedes gedruckte Exemplar bei der Umwandlung zerstört wurde: Die digitale Kopie trat an seine Stelle und blieb im Haus. Eben jene Zerstörung, die manche so empört, half Anthropic zu belegen, dass sein Digitalisierungsprogramm Fair Use war. Kaufen, scannen, entsorgen – das war in diesem Fall ein rechtmäßiger Weg. Die Guillotine ist hier ein Werkzeug der Rechtstreue. Exemplare zu kaufen löst das Problem der Beschaffung; das Recht, das entstandene Korpus weiterzugeben, verschafft es für sich genommen niemandem.

Es gibt gute Gründe, sich eine KI zu wünschen, die aus mehr Sprachen, mehr Forschung und mehr von jener Welt schöpft, die es vor dem Internet gab. Diese Gründe verschwinden nicht, nur weil ein Unternehmen, das wir nicht mögen, darin ein Geschäft entdeckt hat.

Geliehene Empörung

Zurück also zur Daily Mail. Ihr Artikel gehört zu , einer Kampagne von Zeitungseigentümern und Verlagen, die für KI anstreben. Zwei bequeme Gleichsetzungen leisten die Arbeit: Big Tech steht für KI, die Rechteinhaber stehen für die britische Kreativität. Die Leser sollen die Kultur verteidigen, während die Verlage die Konditionen ihres Verkaufs aushandeln. Forschende, die die Geschichte weiterreichen, dürfen sich fragen, wessen Sache ihre Empörung dient.

Big Tech und die streiten um die Pacht, aber gegen den Zaun hat keiner von beiden etwas. Die Geschichte vom einsamen Autor, den ein Technologieriese ausplündert, verdeckt, was teure Lizenzverträge beiden Lagern bescheren: Die Verlage werden bezahlt, und Big Tech bekommt einen Markt, auf dem sich seine kleineren Konkurrenten den Wettbewerb nicht leisten können. Peter Thiel hat die Vorliebe des Silicon Valley unverblümter formuliert: .

Lizenzierung muss nicht darauf hinauslaufen. Erschwinglicher, nicht-exklusiver Zugang könnte kleineren Entwicklern helfen. Ein System aber, das jeden Neuling zwingt, mit den großen Rechteinhabern kostspielige Verträge auszuhandeln, macht die Kaufkraft zur Eintrittskarte. Eine Zahlung, die als Zugeständnis an die Kulturwirtschaft daherkommt, erkauft am Ende den Schutz vor künftigen Konkurrenten.

KI gehört nicht Big Tech

Dahinter steckt ein tieferes Problem. Zu viel KI-Kritik hält die größten kommerziellen Anbieter für das ganze Feld. Die Produkte beherrschen die Schlagzeilen; Forschung und Entwicklung jenseits dieser Konzerne geraten aus dem Blick. Ein nützlicheres Missverständnis könnte sich Big Tech kaum wünschen: Sein Anspruch, das Feld zu besitzen, wird zur Prämisse der Kritik, die sich gegen ihn richtet. Das Monopol ist noch nicht unter Dach und Fach. Wer so tut, als wäre es das, erweist diesen Unternehmen einen gewaltigen Gefallen.

Open-Source-KI erlaubt es, Systeme zu bauen und anzupassen, die der Vielfalt von Sprachen, Kulturen und Ausdrucksformen besser gerecht werden. Für die Länder Europas, Afrikas und Lateinamerikas ebenso wie für Südkorea, Japan und Indien ist das eine handfeste Grundlage technologischer und kultureller Souveränität: selbst zu bestimmen, wie Systeme arbeiten, welchen Sprachen sie dienen und wo sie zum Einsatz kommen. Ob man KI nutzt und wozu, sollte eine öffentliche Entscheidung bleiben – keine, die die Abhängigkeit von einem ausländischen Lieferanten diktiert.

Doch die Freiheit, ein System zu verändern, ist wenig wert ohne die Mittel dazu. Unabhängige Arbeit braucht Fachwissen, Rechenkapazität und Zugang zu Trainingsmaterial. Womit wir wieder bei den Büchern wären. Muss jedes Forschungsteam und jede öffentliche Einrichtung eigene Verlagsverträge aushandeln oder eine eigene Privatbibliothek zusammentragen, bleibt Unabhängigkeit ein Privileg derer, die sie sich leisten können.

Die Bücher sind längst da

Bibliotheken und Archive haben über Generationen genau das Material gesammelt, das diese Systeme brauchen. Ihre Bestände gibt es, weil der Zugang zum Wissen das kommerzielle Interesse an seinem Verkauf überdauern soll. Vieles ist längst gescannt: hält rund neunzehn Millionen digitalisierte Bände aus Forschungsbibliotheken, viele davon noch urheberrechtlich geschützt. Eine Bibliothek scannt ein Buch und behält es; eine Guillotine braucht dort niemand. HathiTrust , hat aber zugleich angekündigt, ein Projekt, das nichtkommerzieller KI-Forschung und -Entwicklung Zugang zum Korpus verschaffen soll. Auch zu diesen Bedingungen blieben manche unabhängigen Entwickler außen vor.

Nur: Wer die Bücher besitzt, darf ihren geschützten Inhalt deshalb noch nicht als Trainingskorpus verbreiten. Das erlaubt Forschungseinrichtungen und Bibliotheken das Text- und Data-Mining rechtmäßig zugänglicher Werke zu wissenschaftlichen Zwecken und gestattet ein weiter gefasstes Mining dort, wo sich die Rechteinhaber ihre Rechte nicht vorbehalten haben. : Seine Mining-Ausnahme gilt für nichtkommerzielle Forschung und beschränkt die Weitergabe von Kopien. Keiner der beiden Rechtsrahmen gibt Bibliotheken ein allgemeines Recht, ihre geschützten Bestände zu teilen, damit andere darauf aufbauen.

Man könnte auch neu überdenken, wie lange Rechteinhaber die maschinelle Nutzung von Büchern kontrollieren sollten. Arzneimittelpatente bieten einen Vergleichsmaßstab: Ihre übliche Laufzeit von zwanzig Jahren ist weit kürzer als der Urheberrechtsschutz, der die Lebenszeit des Autors und siebzig Jahre darüber hinaus währt. Könnten Bücher, sagen wir, zwanzig Jahre nach ihrem Erscheinen ohne Lizenzgebühren für Text- und Data-Mining freigegeben werden, während die Rechte an Neuauflage und Verkauf geschützt bleiben? Das Recht eines Autors zu schützen, sein Buch zu verkaufen, muss nicht heißen, über Generationen hinweg jede Verwendung seines Inhalts zu kontrollieren.

Vor zwei Jahren habe ich in dafür plädiert, Kulturerbedaten als öffentliches Gut zu behandeln. Der Staat sollte Bibliotheken und Archive dafür ausstatten, ihre Bestände zu digitalisieren, zu transkribieren und zu dokumentieren, und ihnen die rechtliche Befugnis geben, die entstehenden Korpora anderen zur Verfügung zu stellen. Big Tech könnte sich über eine eigens eingerichtete Abgabe an der Rechnung beteiligen.

Öffentliche Förderung sollte mit veröffentlichten Sammlungsrichtlinien und Zugangsregeln einhergehen, die akademische wie kommerzielle Arbeit abdecken – ohne Exklusivverträge, ohne Vorzugszugang für Geldgeber. Zugang zu Trainingszwecken muss nicht die uneingeschränkte Weiterverbreitung geschützter Bücher bedeuten. Die Autorinnen und Autoren sollten die öffentliche Regelung mitgestalten, auch was Einwilligung, Vergütung und die Konkurrenz zu ihren eigenen Werken angeht. Freier Zugang für die Nutzer schließt eine öffentlich finanzierte Vergütung der Autoren nicht aus; die , die Autoren aus öffentlichen Mitteln bezahlt, wenn ihre Bücher ausgeliehen werden, ist dafür ein Präzedenzfall. Um das Feuer ging es nie. Um den Zaun geht es.

Liebe Herausgeber: Wenn Sie meine Stimme wollen, geben Sie mir meine Sprache zurück

Thu, 27 Aug 2026 00:00:00 +0000

Kein Tag ohne eine Zeitschrift, die ihre KI-Richtlinie in die Welt posaunt. Diesmal ist es Progress in Human Geography: Deren Herausgeber haben veröffentlicht, in der sie warnen, KI als Ersatz für das eigene Lesen, Denken und Schreiben zu benutzen sei „ein Verstoß gegen die wissenschaftliche Ethik, einem Plagiat vergleichbar“. Aufsätze, bei denen ein solcher Verstoß festgestellt wird, „können zurückgezogen werden“; im günstigsten Fall werden sie korrigiert, mit einer in der Zeitschrift abgedruckten Notiz. Die Autorinnen und Autoren, so fügen die Herausgeber hinzu, mögen „sorgfältig erwägen, ob sie ihren Namen mit Widerrufen und Korrekturnotizen in Verbindung gebracht sehen wollen“.

Bei diesem Satz lohnt es sich zu verweilen. Der Widerruf (die Retraction) ist die schärfste Sanktion, die das wissenschaftliche Publizieren kennt – die Strafe, die sonst Fälschung und Betrug vorbehalten bleibt. Hier wird sie an ein Vergehen geknüpft, das derselbe Leitartikel nicht zu definieren vermag. Es gebe, räumen die Herausgeber ein, „echte Grauzonen“ und „keine klaren Linien, die die Zone der ‚Unverantwortlichkeit‘ abgrenzen“. Durchgesetzt werde die Richtlinie durch „Ermessensentscheidungen, die manche Autoren verärgern könnten, welche ihrerseits beteuern werden, KI nicht über Gebühr genutzt zu haben“ – die eigene Erklärung kann also überstimmt werden. Es folgt der Rat, „sicher in der Zone der ‚Verantwortlichkeit‘“ zu bleiben; und zur Sicherheit rät man nur, wo Gefahr droht. Menschen dafür zu bestrafen, dass sie eine Linie überschreiten, die man eingestandenermaßen nicht ziehen kann, ergibt nur dann Sinn, wenn Furcht das Regierungsmittel sein soll. Merken Sie sich das für später.

Der Vorwand der Stimme

Wie sieht verantwortungsvolle Nutzung aus? Den Autorinnen und Autoren wird eingeschärft, „große Sorgfalt darauf zu verwenden … die eigene Stimme zu bewahren“. Missbrauch sei es, mit KI „in einer Sprache zu schreiben, die die Autoren selbst normalerweise nie verwenden würden“. Für Muttersprachler leuchtet das ein: Gib dich nicht als etwas aus, was du nicht bist. Für Ausländer aber, die in einer fremden Sprache schreiben müssen, widerspricht sich die Vorschrift selbst. Die Stimme, die die Richtlinie schützen will, ist genau das, was die Regeln der Zeitschrift uns verwehren.

Nehmen Sie mich als Probe aufs Exempel. Englisch ist meine vierte Sprache – ganz genau die, die ich „normalerweise“ nie verwenden würde. Anglophone Universitäten haben mich darauf gedrillt, es kurz, mit Wegmarken versehen, beinahe mechanisch zu schreiben: den Kernsatz an den Anfang, die Vorbehalte an die vorgesehenen Stellen, die Überleitungen aus der genehmigten Liste. Der Drill hat gewirkt: In meinem Englisch gab es nie eine Stimme, die zu schützen gewesen wäre; sie war das Erste, was weichen musste. Nach der Definition der Herausgeber wäre alles, was ich je auf Englisch geschrieben habe, unzulässiger Gebrauch – mit oder ohne Maschine.

Die Zwickmühle

Die Herausgeber versichern, sie hätten an uns gedacht: Die Richtlinie erkennt an, dass Nichtmuttersprachler davon profitieren, wenn KI ihr Englisch prüft, ja sogar von deren „Übersetzungs-, Schreib- und Lektoratsdiensten“. Zugleich aber solle sich der Anteil der KI am Schreiben „höchstens auf Lektorat und Korrekturhilfe beschränken“ und dürfe nicht in „große Blöcke KI-geschriebenen Textes“ münden. Ein maschinell übersetzter Aufsatz ist vom ersten bis zum letzten Wort KI-geschrieben; er besteht aus nichts als solchen Blöcken. Das Zugeständnis trägt also nur, wenn Übersetzen kein Schreiben ist. Wo verläuft diese Linie? Sie haben es uns schon gesagt: „keine klaren Linien“.

Es kommt schlimmer, denn der Verdacht ist nicht nur unfalsifizierbar, er ist auch einseitig geladen. 2023 prüfte ein Team aus Stanford sieben gängige KI-Detektoren an Aufsätzen, die Menschen geschrieben hatten: Im Schnitt stuften die Detektoren 61 % der TOEFL-Aufsätze von Nichtmuttersprachlern als maschinell erzeugt ein, während sie die Aufsätze von Muttersprachlern nahezu fehlerfrei erkannten; ein Detektor markierte 97,8 % des TOEFL-Korpus ( ). Der Grund ist lehrreich. Detektoren messen Vorhersagbarkeit, und Englisch als Zweitsprache, auf den Durchschnitt hin geschult, ist per Konstruktion vorhersagbar: das wahrscheinlichste Wort in der wahrscheinlichsten Reihenfolge. Dieselbe Studie fand das Signal auch in echter Forschungsliteratur, nämlich eine geringere sprachliche Variabilität in Konferenzbeiträgen von Erstautoren, die keine Muttersprachler sind. Die Stilmerkmale, die als „KI“ gelesen werden, sind die Merkmale eines kompetenten Zweitsprachen-Englisch – und ein menschliches Ermessensurteil liest dieselben Merkmale wie die Maschine. Die Zwickmühle ist perfekt: Schreibe ich mein eigenes Englisch, sehe ich aus wie eine Maschine; nehme ich die Maschine, verstoße ich gegen ihre Regel.

Die Sprachsteuer

Das Paradox wäre harmlos, kämen nicht die Drohungen hinzu. Doch die Drohungen legen ein tieferes, älteres Problem frei, das die Richtlinie nirgends beim Namen nennt: die Einsprachigkeit. Die verlangen „die größtmögliche internationale Reichweite“ – und auf derselben Seite heißt es: „Die Sprache der Zeitschrift ist Englisch.“

Was diese Regelung kostet, ist keine Hypothese. In einer Befragung von 908 Umweltwissenschaftlern fanden Amano und Kollegen, dass Nichtmuttersprachler des Englischen bis zu 51 % mehr Zeit für das Schreiben eines Aufsatzes brauchen, dass ihre Manuskripte 2,5-mal so oft abgelehnt und 12,5-mal so oft zur Überarbeitung zurückgeschickt werden – allein aus sprachlichen Gründen ( ). Diese Steuer wird erhoben, bevor irgendeine KI-Richtlinie ins Spiel kommt; das Erklärungsformular samt seinen Drohungen ist die Steuerprüfung, die obendrauf kommt.

Fin d’empire

Die Einsprachigkeit ist das Axiom, über das niemand spricht. Sie ist ein imperiales Erbe, dem mit der Zeit eine praktische Rechtfertigung zuwuchs: Übersetzen war langsam und teuer, und kein Gremium konnte beurteilen, was es nicht lesen konnte. Nichts davon hält den Fortschritten der maschinellen Übersetzung stand. Auf dem heutigen Stand der Technik kann sie als verlässliche Zwischenschicht zwischen Autoren und Herausgebern dienen.

Der ideale Ausweg wäre ein menschlicher: Forschende sollten mehr als eine Sprache lesen. Stattdessen ziehen es die anglophonen Universitäten vor, ihre Institute für moderne Fremdsprachen zu schließen. Wohlgemerkt: Diese Schließungen sind ein angloamerikanisches Phänomen; Forschende anderswo konnten sich den Luxus der Einsprachigkeit nie leisten. Und man beachte den Zeitpunkt. Wer ein Sprachinstitut schließt, geht eine Wette ein – darauf, dass Englisch endgültig gewonnen hat und nie wieder etwas Lesenswertes in einer anderen Sprache geschrieben wird. Diese Wette wird zur denkbar falschen Zeit abgeschlossen, und das gleich doppelt. Erstens, weil die maschinelle Übersetzung es zum ersten Mal erlaubt, ganz ohne Lingua franca auszukommen; zweitens, weil die Ordnung, die Englisch zur Selbstverständlichkeit gemacht hat, im Rückzug begriffen ist: Die Anglosphäre kehrt sich nach innen, die Globalisierung ebbt ab, der Freihandel wird in seinen eigenen Mutterländern angefochten, und eine multipolare Welt nimmt Gestalt an, in der sich die lesenswerten Sprachen vervielfachen werden. Die Universitäten bilden Forschende heran, die nur Englisch lesen – für eine Welt, in der Englisch nicht mehr reichen wird. Die Herausgebergremien werden diesen Verlust als Erste zu spüren bekommen.

Ein Test für die Herausgeber

Wenn ein Gremium klagt, es könne die eigene Stimme seiner Autoren nicht lesen, liegt ein Teil des Problems vielleicht beim Gremium selbst.

Das ist ein schwerer Vorwurf, und er kommt mit einer ernsthaften Probe. Würde Progress in Human Geography eine Einreichung auf Französisch, Italienisch oder Japanisch begutachten lassen, der eine maschinell übersetzte englische Fassung beiliegt? Die Richtlinien der Zeitschrift erkennen die „Übersetzungs“-Dienste, die das möglich machen, ja selbst an. Ein Ja erledigt das Problem. Ein Nein verriete uns, was die Richtlinie in Wahrheit schützt.

So oder so: Die Entscheidung liegt bei den Herausgebern. Zählt die Stimme, wie sie behaupten, dann sollte die Zeitschrift Aufsätze in den Sprachen annehmen, in denen ihre Autoren denken. Zählt sie nicht, dann sollte das Erklärungsformular verschwinden – und die Drohungen mit ihm.

tei-mcp v0.3: TEI kodieren, ohne die Quelle anzutasten

Tue, 05 May 2026 00:00:00 +0000

Als ich , ging es darum, KI-Assistenten das Halluzinieren von TEI-Markup abzugewöhnen. Die Verankerung im Schema (Schema Grounding) hat einen Teil des Problems gelöst: Mit direktem, werkzeuggestütztem Zugriff auf die P5-Spezifikation muss das Modell nicht mehr raten, was ein Element bedeutet oder welche Attribute es zulässt. Die Ausgabe validiert.

Nur hat die Halluzination beim TEI-Kodieren zwei Gesichter, und das Schema erkennt bloß eines davon. Die Validierung gegen die Spezifikation verrät, dass das Markup in Ordnung ist; über den Text, den dieses Markup umschließt, sagt sie nichts. Und genau dort – im Text selbst – hausen die gefährlicheren Halluzinationen. Span-locked Composition, das Herzstück von v0.3, ist eigens dafür gebaut, sie zu unterbinden.

Inhaltsverzeichnis

Die Halluzination, die dem Schema entgeht

Lassen Sie ein Modell einen französischen Brief aus dem 16. Jahrhundert kodieren, und Sie bekommen nicht selten ein TEI-Dokument zurück, das tadellos aussieht. Der Header ist ausgefüllt, die <persName>-Tags sitzen, die <dateline> ist wohlgeformt. Durch validate_document geschickt, besteht es die Prüfung.

Dann vergleichen Sie den Textkörper mit der Quelle.

Aus mesme ist même geworden. Ein Komma ist gewandert. luy wurde stillschweigend zu lui modernisiert. Ein in der Handschrift schwer lesbarer Satzteil ist zu etwas Glatterem „berichtigt“ worden. Nichts davon war verlangt, nichts davon wird gemeldet. Das Dokument ist schemavalide – und in aller Stille falsch.

In einem archivischen Arbeitsablauf, in dem der kodierte Text zur dauerhaften Aufzeichnung wird, auf die sich spätere Leser, Suchindizes und Zitate verlassen, ist das der Fehler, der wirklich zählt. Ein missratenes Tag ist ärgerlich. Eine modernisierte Schreibung, die fünf Jahre lang niemand bemerkt, ist eine Textverderbnis.

Span-locked Composition

Die neue Version (v0.3) bringt einen Schutzmechanismus mit, der genau auf diesen Fehler zielt. Der Anspruch: Halluzinationen im Textkörper sollen nicht bloß unwahrscheinlich, sondern schon durch die Konstruktion unmöglich sein.

Die Idee ist einfach: Das Modell tippt nie Textkörper.

Der Ablauf sieht stattdessen so aus:

Das Modell ruft get_source("letter_001") auf und erhält den Quelltext als unveränderliche Zeichenkette.
Für jedes Tag, das es setzen möchte, ruft es tag_span("letter_001", start, end, element_path, attrs) auf und registriert damit ein TEI-Element an einem Zeichenbereich über der Quelle.
Ist es fertig, ruft es compose("letter_001") auf. Der Server verschränkt die registrierten Tags mit dem ursprünglichen Klartext, rendert das endgültige TEI und prüft dann Byte für Byte, ob der reine Textinhalt des gerenderten Dokuments der Quelle gleicht.

Stimmen die Bytes überein, kommt das Dokument zurück. Wenn nicht – wenn die Tags des Modells auf irgendeinem Weg einen Textkörper ergeben, der auch nur um ein einziges Zeichen von der Quelle abweicht –, wirft compose() einen Fehler, statt ein verdorbenes Dokument auszuliefern.

Es gibt in diesem Ablauf keinen Pfad, auf dem das Modell ein TEI-Dokument erzeugen könnte, dessen Textkörper von der Quelle abweicht. Die Invariante ist mechanisch, nicht eine Frage des Wohlverhaltens. Sie müssen nicht darauf vertrauen, dass das Modell nicht halluziniert – nur darauf, dass ein ==-Vergleich zweier Byte-Strings tut, was er soll.

Was das ist – und was nicht

Span-locked Composition ergänzt das Schema Grounding; sie ersetzt es nicht. Die Schema-Grounding-Tools (validate_document, lookup_element, valid_children und die übrigen der ursprünglichen sechzehn) helfen dem Modell, valides TEI zu erzeugen. Span-locked Composition garantiert, dass der Textkörper in diesem TEI der Quelle treu bleibt. Ein einsatzreifer Kodierungsablauf muss auf beiden Achsen bestehen – und beide deckt nun ein einziger Server ab.

Ein Allheilmittel ist es freilich nicht. compose() prüft noch nicht, ob die registrierten Tags nach einer geladenen ODD-Anpassung zulässig sind; das ist der nächste Schritt. Registrierte Tags leben im Arbeitsspeicher des Prozesses und überleben keinen Neustart. Und die Quelldateien müssen von dort aus lesbar sein, wo der Server läuft. All das lässt sich lösen; nichts davon rührt an der Kerninvariante.

Warum das über TEI hinausweist

Das Muster lässt sich verallgemeinern. Wann immer ein Modell einen Text annotieren, umformen oder umschließen soll – und wann immer die Unversehrtheit dieses Textes wichtiger ist als die Gabe des Modells, ihn zu „verbessern“ –, taugt dieselbe Lösung. Lassen Sie das Modell den Text nicht neu tippen. Lassen Sie es Anweisungen über dem Text erzeugen, und überlassen Sie es einem deterministischen Composer, sie unter einer Gleichheitsinvariante anzuwenden.

Für digitale Editionen im Besonderen verschiebt das die Grenze dessen, was man einem Modell guten Gewissens überlassen kann. Das Kodieren wird mit einem Mal zu einer Aufgabe, die sich delegieren lässt, ohne dass man jede Ausgabe von Hand mit der Quelle abgleichen müsste. Die Maschine übernimmt den öden Teil; die Editorin prüft das Markup, nicht die Rechtschreibung.

Das Update beziehen

Wenn tei-mcp bereits installiert ist:

uvx tei-mcp@latest

Oder frisch:

pip install tei-mcp

Für Span-locked Composition zeigen Sie dem Server ein Verzeichnis mit Klartext-Quelldateien:

export TEI_MCP_SPAN_SOURCE_ROOT=/path/to/sources
uvx tei-mcp

Der Dateiname ohne Endung wird zur Dokument-ID (letter_001.txt → letter_001).

Quellcode, vollständige Dokumentation und die Entwurfsnotizen zur Invariante:

Eine digitale Edition anderer Art

Tue, 24 Mar 2026 00:00:00 +0000

Die meisten Primärquellen werden nie veröffentlicht. Und das Modell, mit dem wir dem abhelfen wollen – die drittmittelfinanzierte digitale Edition –, ist zu teuer, zu zentralisiert und zu zerbrechlich, als dass es in der Breite funktionieren könnte. In lege ich dar, warum ich die kritische Edition von Cavrianas Briefen anders anlege: als digitalisierte Primärquellen, die organisch wachsen, mit minimaler Infrastruktur auskommen, sich selbsttätig warten, offen für Mitarbeit sind und so wenig kosten, dass es gar keiner Förderung bedarf. Es ist ein Plädoyer für Digital Humanities, die auch ohne institutionellen Rückhalt funktionieren.

tei-mcp: TEI P5 für KI-Agenten

Sun, 15 Mar 2026 00:00:00 +0000

Wer schon einmal einen KI-Programmierassistenten TEI-XML hat schreiben lassen, weiß, dass dabei Fehler passieren. Elemente stehen, wo sie nicht hingehören; Attribute werden frei erfunden; Verschachtelungsregeln bleiben unbeachtet. Das Modell hat eine ungefähre Vorstellung davon, wie TEI aussieht – von der Spezifikation selbst weiß es nichts Verlässliches.

tei-mcp schafft hier Abhilfe: Es gibt KI-Agenten direkten, werkzeuggestützten Zugriff auf die TEI-P5-Guidelines.

Inhaltsverzeichnis

Was ist MCP?

Das (MCP) ist ein offener Standard, über den sich KI-Anwendungen mit externen Datenquellen und Werkzeugen verbinden. Man kann es sich als USB-Anschluss für KI vorstellen: ein einziges Protokoll, mit dem sich jeder kompatible Client – Claude, Cursor, Windsurf und andere – an spezialisierte Dienste anstöpseln lässt.

Ein MCP-Server stellt Tools bereit, die die KI im Laufe eines Gesprächs aufrufen kann. Statt auf angelerntes Trainingswissen zu vertrauen, kann das Modell eine aktuelle, maßgebliche Quelle befragen.

Was tei-mcp leistet

tei-mcp liest die ODD-Spezifikation von TEI P5 ein und stellt 16 Tools bereit, die die häufigsten Fragen beantworten, die sich beim Edieren und Kodieren stellen:

Was ist dieses Element? Nachschlagen von Elementen, Klassen, Makros und Modulen nach Namen, ohne Rücksicht auf Groß- und Kleinschreibung und mit Vorschlägen bei Tippfehlern.
Welche Attribute nimmt es? Auflösen der Attribute über die gesamte Klassenhierarchie – zuerst die lokalen, dann der Reihe nach die geerbten.
Was darf hinein? Entfalten von Inhaltsmodellen zu strukturierten Bäumen oder eine flache Liste der zulässigen Kindelemente.
Darf dieses Element hierhin? Prüfen der Eltern-Kind-Verschachtelung oder Nachverfolgen der Erreichbarkeit durch die gesamte Elementhierarchie.
Ist mein Dokument valide? Validieren einer TEI-XML-Datei gegen die Spezifikation: Inhaltsmodelle, Attributwerte, geschlossene Wertelisten, Integrität der Verweise und Warnungen vor veralteten Konstrukten.
Und mein Projektschema? Laden einer ODD-Anpassung, um all das auf die projektspezifische Teilmenge von TEI einzuschränken.

Warum das zählt

Wer in TEI kodiert, schlägt ständig in den Guidelines nach. Erfahrene Encoder haben die gängigen Muster verinnerlicht, aber selbst sie müssen bei selteneren Elementen oder verwickelten Inhaltsmodellen in die Spezifikation schauen. Für KI-Assistenten, denen jedes verinnerlichte Wissen fehlt, ist das Problem gravierender: Sie halluzinieren Markup, das plausibel aussieht und falsch ist.

Mit tei-mcp muss die KI nicht raten. Sie kann die Antwort in der Spezifikation nachschlagen, ehe sie auch nur eine spitze Klammer schreibt. Heraus kommt Markup, das TEI P5 entspricht – oder der ODD-Anpassung Ihres Projekts.

Erste Schritte

Installation von PyPI:

pip install tei-mcp

Anschließend in die Konfiguration Ihres MCP-Clients eintragen:

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

Beim ersten Start lädt der Server die TEI-Spezifikation herunter; er arbeitet mit jedem MCP-kompatiblen Client zusammen.

Quellcode und vollständige Dokumentation:

Eine Wahrnehmungsgeographie der Levante

Sat, 29 Oct 2022 10:02:52 -0500

Einleitung

Die Levante ist ein Ort, der sich entzieht. Gewöhnlich im Verhältnis zu – oder in Abgrenzung von – einem anderen Gebiet bestimmt, hat der Begriff selten eine feste Bedeutung gehabt; je nachdem, wo und wann man ihn gebrauchte, rief er eine andere Geographie auf. Doch wenn sich eine objektive, exakte Definition schon kaum formulieren lässt, so darf man doch hoffen, eine subjektive Karte dieser Region zu zeichnen – auf der Grundlage der Zusammenhänge, die sich innerhalb eines bestimmten Textkorpus zeigen. Anders gefragt: Welchen Raum konnte die Levante einer bestimmten Gruppe von Lesern vor Augen stellen?
In diesem Beitrag zeige ich Ihnen, wie Sie mit Daten aus der des Medici Archive Project sichtbar machen, mit welchen konkreten Orten dieses Toponym verbunden war.

Die MIA-Datenbank

MIA ist eine kollaborative Plattform, auf der Forschende ihre eigenen Aufnahmen von Archivalien aus dem hochladen und miteinander teilen. Im vergangenen Jahr hat unser Team mit Unterstützung des Tausende von Dokumenten aus der avvisi-Serie des Mediceo del Principato in Florenz fotografiert, transkribiert, regestiert und klassifiziert. Für statistische Auswertungen war die Datenbank zwar nicht in erster Linie gedacht; die Metadaten, die wir bereitstellen, lassen sich aber gleichwohl herunterladen und als Datensätze nutzen.

Der Datensatz

Der Datensatz, den ich hier angelegt habe, umfasst sämtliche Nachrichten aus der Levante von 1543 bis 1566 – vom ersten im Archiv verzeichneten Avviso bis zum Todesjahr Sultan . Hier ein Ausschnitt dessen, was ich vom Server geholt habe: drei Spalten mit einer eindeutigen Dokumentnummer, einem Ortsnamen und einem Datum.

57386 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57386 Modon / Messinias, Nomos / Peloponnisos / Ellas 1565-1-3
57386 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57386 Evvoia / Evvoias, Nomos / Sterea Ellas-Evvoia / Ellas 1565-1-3
57386 Venetian Republic / Italia / Europe / World 1565-1-3
57386 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57386 Black Sea / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Otranto / Lecce / Puglia / Italia 1565-1-3
57389 Nisoi Aiyaiou / Ellas / Europe / World 1565-1-3
57389 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57389 Buda / Budapest / Budapest / Magyarorszag 1565-1-3
57389 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57389 Kipros / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Rodhos / Rodos, Nisos / Sporadhes / Nisoi Aiyaiou 1565-1-3
57389 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57389 Çorlu / Thraki / Ellas / Europe 1565-1-3

Die Daten bereinigen

Bevor sich diese Daten visualisieren lassen, müssen sie als CSV-Datensatz (comma separated values) lesbar sein; außerdem wollen die geografischen Angaben in ein „maschinenfreundlicheres“ Format gebracht werden, nämlich in GPS-Koordinaten. Bei Hunderten von Einträgen macht man das lieber nicht von Hand. Vortrainierte Sprachmodelle wie , oder , um nur einige zu nennen, erledigen es ziemlich schnell und ziemlich genau – allerdings nur unter strenger Aufsicht, denn zum Halluzinieren neigen sie alle ein wenig.

documentId,latitude,longitude,documentDate
57386,35.899167,14.514167,1565-1-3
57386,37.05,22.116667,1565-1-3
57386,31.200028,29.918719,1565-1-3
57386,38.366667,23.666667,1565-1-3
57386,45.438333,12.331333,1565-1-3
57386,41.018611,28.984444,1565-1-3
57386,42.7,18.8,1565-1-3
57389,40.216667,18.166667,1565-1-3
57389,37.966667,23.716667,1565-1-3
57389,35.899167,14.514167,1565-1-3
57389,47.4925,19.051389,1565-1-3
57389,31.200028,29.918719,1565-1-3
57389,34.916667,33.616667,1565-1-3
57389,36.405419,28.227778,1565-1-3
57389,41.018611,28.984444,1565-1-3
57389,41.133333,27.416667,1565-1-3

Die Dichtekarte

Eine Dichtekarte zeigt, wie oft ein Ort in einem Datensatz genannt wird. Das hilft, nicht nur die geografische Reichweite der Daten zu erfassen, sondern auch ihre Brennpunkte: Welche Orte tauchen immer wieder auf, welche nur gelegentlich? Wo liegen die Zentren, wie weit reicht die Peripherie? Und wohin auf der Karte richtet sich die Aufmerksamkeit eines Lesers am ehesten?

Für dieses Experiment – und weil es schnell gehen musste – habe ich auf eine der APIs von zurückgegriffen. Dieselbe Art von Dichtekarte lässt sich aber mit vielen Visualisierungsbibliotheken und Geoinformationssystemen erzeugen.

Einige Beobachtungen

Herausgekommen ist eher ein impressionistisches Tableau als die exakte Darstellung eines sauber definierbaren Begriffs – und genau das gefällt mir an diesem Versuch. Denn die Datenwissenschaft mag den Geisteswissenschaften eine mächtige Verbündete sein; an ihre Regeln halten müssen wir uns deshalb noch lange nicht.

Bemerkenswert ist außerdem, dass die Karte eine Levante zeigt, die mit dem übrigen Europa und dem Mittelmeerraum aufs Engste verflochten ist. Sie hebt zudem hervor, wie zentral Edirne in der politischen Geographie des Osmanischen Reiches stand. Die wichtigste Stadt Spaniens ist auf dieser Karte überdies weder Madrid noch der Escorial, sondern Neapel. Und nicht zuletzt scheinen Inseln und kleine Stadtstaaten wie Ragusa zwischen den Mächten der Region eine wichtige Mittlerrolle gespielt zu haben.

Wie man Daten bei MIA abfragt

So hervorragend MIA als kollaboratives Werkzeug für die Forschung auch ist – an die Daten auf seinen Servern kommt man nicht ohne Weiteres heran. Das Back-End etwa ist in keinem öffentlichen Repositorium veröffentlicht. Wer sich bei MIA registriert, kann die Daten aber dennoch beziehen, indem er den Server mit Python abfragt.

Anfrage

url = "https://mia.medici.org/Mia/json/de/advancedsearch/advancedSearchResults/0/90/docYear/asc/?isNewsFeedSearch=False"
payload = [{"searchSection":"archivalLocationSearch","type":"archivalLocationAdvancedSearch","isActiveFilter":True,"repository":None,"collection":"Mediceo del Principato","series":None,"volume":"2863","insert":None},{"searchSection":"categoryAndTypologySearch","type":"categoryAndTypologyAdvancedSearch","isActiveFilter":True,"category":"News","typology":None},{"searchSection":"transcriptionSearch","type":"transcriptionAdvancedSearch","isActiveFilter":False,"transcription":""},{"isActiveFilter":False,"searchSection":"synopsisSearch","type":"synopsisAdvancedSearch","synopsis":""},{"searchSection":"placesSearch","type":"placesAdvancedSearch","isActiveFilter":False,"places":[]},{"searchSection":"peopleSearch","type":"peopleAdvancedSearch","isActiveFilter":False,"people":[]},{"searchSection":"topicsSearch","type":"topicsAdvancedSearch","isActiveFilter":True,"topics":[{"topicTitle":"Place Index","topicId":"51","placeAllId":""}]},{"searchSection":"dateSearch","type":"dateAdvancedSearch","isActiveFilter":False,"dateFilterType":"","dateYear":"","dateMonth":"","dateDay":"","dateBYear":"","dateBMonth":"","dateBDay":""},{"searchSection":"documentOwnerSearch","type":"documentOwnerAdvancedSearch","isActiveFilter":False,"editType":"owner","account":""},{"searchSection":"languagesSearch","type":"languagesAdvancedSearch","isActiveFilter":False,"languages":[]}]
headers = {'Content-type': 'application/json', 'Accept': '*/*'}
r = requests.post(url, data=json.dumps(payload), headers=headers, auth=('LOGIN','PASSWORD'))

Ersetzen Sie LOGIN und PASSWORD durch Ihre eigenen Zugangsdaten.

Antwort in eine Datei schreiben

with open('response.json', 'wb') as fd:
 for chunk in r.iter_content(chunk_size=128):
 fd.write(chunk)

JSON öffnen

f = open('response.json', encoding="utf8")

JSON-Objekt als Dictionary zurückgeben

json_complete = json.load(f)

Daten aus dem JSON auswählen und als CSV ausgeben

with open('results.csv', 'w', newline='') as csvfile:
 fieldnames = ['documentId', 'placeCited', 'documentDate']
 writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
 writer.writeheader()
 for i in json_complete['data']:
 if i['topics'] != None:
 for x in i['topics']:
 documentId=x['documentId']
 placeCited=x['topicPlaceName']
 year=i['date']['docYear']
 month=i['date']['docMonth']
 day=i['date']['docDay']
 documentDate=str(year)+ "-" + str(month)+"-" + str(day)
 writer.writerow({'documentId': documentId, 'placeCited': placeCited, 'documentDate': documentDate})

Sobald Sie die Datei results.csv heruntergeladen haben, können Sie die Daten wie oben beschrieben bereinigen.

Bibliographien im großen Stil parsen – mit vortrainierten Sprachmodellen

Thu, 07 Jul 2022 19:04:14 +0200

Wer die Kosten von Projekten der Digital Humanities senken will, kommt an der Automatisierung nicht vorbei. Bis heute werden die eintönigen, mühseligen Arbeiten, die das Edieren im akademischen Betrieb mit sich bringt, entweder von überlasteten Forschenden zu hohen Kosten selbst erledigt oder an Studierende „ausgelagert“. In dieser vertrete ich die Auffassung, dass sich die meisten dieser undankbaren Aufgaben nicht nur automatisieren lassen, sondern dass man sie automatisieren sollte. Das senkt die Gesamtkosten von Projekten in den Digital Humanities – und, was entscheidend ist, es erlaubt Forschenden aus einkommensschwachen Weltregionen, wertvolle Dokumente rasch und erschwinglich zu publizieren.

Im habe ich beispielsweise gezeigt, dass vortrainierte Sprachmodelle den Großteil der XML-Auszeichnung einer digitalen Edition übernehmen können.

Diesmal geht es um ein zweites Beispiel: die Bibliographie.

Das Problem

Aus den Literaturangaben eines einzelnen wissenschaftlichen Aufsatzes eine bibliographische Datenbank zu machen, ist keine Kunst: Man sucht kurz in einem Katalog wie , lädt den Nachweis im gewünschten Format herunter oder importiert ihn gleich aus einer lokalen Datenbank. Bei ein, zwei Aufsätzen geht das gut. Ab einer gewissen Zahl von Nachweisen wird die Sache jedoch spröde und zeitraubend. Abhilfe versprechen Parser wie ; nur lassen sich diese Algorithmen schlecht auf große Mengen übertragen. Als ich anystyle auf die über 150 wissenschaftlichen Essays unserer losließ, häuften sich die Fehler, bis nichts mehr zu bewältigen war. Viele unserer Quellen wurden schlicht nicht erkannt: Die langen Titel frühneuzeitlicher Bücher hielt der Parser für etwas anderes, und mit weniger gängigen Dokumenten – bestimmten Webseiten, Online-Videos und dergleichen – konnte er gar nichts anfangen. Parser leisten gute Arbeit, solange sich die Autorin oder der Autor buchstabengetreu an eine bekannte Konvention wie Chicago, Turabian oder MLA hält; jede Abweichung von der Norm bezahlt man mit Fehlern.

Die Lösung

Genau hier helfen vortrainierte Sprachmodelle , denn sie erfassen im Nu die Muster eines jeden bibliographischen Stils – auch eines selbst ausgedachten – und brauchen nur eine Handvoll Beispiele, um große Mengen formatierter Literaturangaben sauber in eine zu überführen.

Anfang 2021 hatte ich das Glück, früh Zugang zu OpenAIs zu bekommen. Codex übersetzt natürliche Sprache in Code und umgekehrt. Nach Angaben von OpenAI beherrscht es mehr als ein Dutzend Programmiersprachen, und obwohl seine API, während ich dies schreibe, noch im Betastadium ist, treibt es bereits so verbreitete Anwendungen wie GitHubs an.

Nach einigem Herumprobieren mit dieser API wurde mir klar, dass sie auch mit schlichterem Code wie BibTeX bestens zurechtkommt.

Tatsächlich genügten vier Beispiele im Eingabeprompt, damit die Sache zuverlässig lief.

Eingabeprompt

References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009.

Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015.

Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. .

Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994.

@incollection{bayle2009,
 author = {Bayle, Ariane},
 booktitle = {Vulgariser la médecine. Du style médical en France et en Italie},
 title = {Patients exemplaires: la correspondance médicale de Fioravanti},
 editor = {Carlino, Andrea and Michel Jeanneret},
 year = {2009},
 address = {Geneva},
 publisher = {Droz},
 langid = {french}
}
@book{berns2015,
 title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth},
 author = {Berns, Andrew D.},
 address = {Cambridge},
 publisher = {Cambridge University Press},
 langid = {english},
 date = {2015}
}
@article{gabler2010,
 author = {Gabler, Hans Walter},
 title = {Theorizing the Digital Scholarly Edition},
 journal = {Literature Compass},
 volume = {7},
 number = {2},
 pages = {43-56},
 doi = {10.1111/j.1741-4113.2009.00675.x},
 langid = {english},
 year = {2010}
}
@book{findlen1994,
 title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy},
 author = {Findlen, Paula},
 address = {Berkeley},
 publisher = {University of California Press},
 langid = {english},
 date = {1994}
}

Ergebnisse

Die sind verblüffend: Über 2.000 Literaturangaben waren in wenigen Tagen konvertiert. Das Modell hat das Muster meines Prompts nicht bloß getreu nachgebildet, sondern obendrein Eintrags- und Feldtypen korrekt ergänzt, die im Prompt gar nicht vorkamen. GPT-3 spricht, mit anderen Worten, fließend BibTeX. Und was bei einem im Wesentlichen auf Englisch trainierten Modell vielleicht noch mehr überrascht: Es erkannte sämtliche Sprachen (Russisch, Französisch, Italienisch, Latein, Griechisch, Deutsch, Spanisch usw.) und setzte jedes Mal das richtige Feld langid.

Hinweis

Ein- und Ausgabe von GPT-3 sind derzeit begrenzt: Es verarbeitet höchstens 2048 sprachliche Tokens. Fällt diese Beschränkung, dürfte dieselbe Aufgabe in einer Stunde oder weniger erledigt sein.

Einigermaßen unerwartet fügte GPT-3 auch Angaben hinzu, die in den ursprünglichen Nachweisen gar nicht standen.

Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015.

Bei diesem Nachweis etwa ergänzte GPT-3 den permanenten Link zum Open-Access-Repositorium ( ), in dem der Aufsatz zu lesen ist – samt der Felder HAL_ID und HAL_VERSION, die HAL eigens für sich eingeführt hat:

@inproceedings{baillot2015,
 title = {Editing for Man and Machine},
 author = {Baillot, Anne and Busch, Anna},
 year = 2015,
 booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting},
 address = {Leicester},
 series = {Variants (Journal of the European Society for Textual Scholarship)},
 volume = 13,
 editor = {Bruhn, Siglinde and Schreiber, Manfred},
 langid = {english},
 hal_id = {halshs-01233380},
 hal_version = {v1}
}

Solche Ergänzungen zeigen, dass GPT-3 einen Literaturnachweis nicht nur zerlegt, sondern ihn aus dem, was es einst gelernt hat, auch vervollständigt. Spannend wäre in dieser Hinsicht zu sehen, ob es sich bei Titeln, die nach seinem Training erschienen sind, genauso verhält …

Grenzen

Vollkommen ist GPT-3 freilich nicht; ein Mensch muss ihm über die Schulter schauen. Eine seiner bekannten Schwächen ist die : Hin und wieder erfindet es etwas oder stellt unwahrscheinliche Vermutungen an.

In meinem Versuch trat diese Neigung zutage, als GPT-3 den Familiennamen eines Autors kurzerhand von „Ruscelli“ in „Ruscello“ änderte. Streng genommen ist das kein Fehler, denn frühneuzeitliche italienische Familiennamen ließen sich unterschiedslos im Plural wie im Singular gebrauchen. Heute gilt allerdings die Regel, einen Namen so zu belassen, wie er steht, ob Plural oder Singular: Niemand würde Machiavelli heute Machiavello nennen, so wie von uns umgekehrt Rossello statt Rosselli erwartet wird. Hat GPT-3 diese Konvention aus Mangel an historischem Bewusstsein übergangen? Oder hat es sich von den Nachbarnamen leiten lassen, die in diesem Teil der Bibliographie zufällig alle im Singular stehen (Bariletto, Cesano, Rossello)? Wer weiß.

@book{rossello1565,
 title = {Della summa de’ secreti universali},
 author = {Rossello, Timoteo},
 address = {Venice},
 publisher = {Giovanni Bariletto},
 langid = {italian},
 date = {1565}
}
@book{ruscello1559,
 title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese},
 author = {Ruscello, Girolamo},
 address = {Pesaro},
 publisher = {Bartolomeo Cesano},
 langid = {italian},
 date = {1559}
}

Fazit

Die über 150 Essays, die in vier Jahren intensiver Zusammenarbeit entstanden und , liefern nicht nur unentbehrliche Informationen zu der Handschrift, die wir ediert und übersetzt haben; sie bergen auch einen wertvollen bibliographischen Schatz.

Führt man diese Literaturangaben in einer Datenbank zusammen, können die Herausgeber das bibliographische Format im Handumdrehen wechseln und die Angaben darstellen, wie es ihnen beliebt. Zugleich verrät eine solche Datenbank viel über die Edition und das Projekt, aus dem sie hervorgegangen ist, und eröffnet der Forschung neue analytische Zugänge. Und sie lässt sich mit hoher Genauigkeit in Rekordzeit anlegen.

Zugegeben: Der eine oder andere Fehler kann sich einschleichen, vor allem wegen der Neigung von GPT-3 zum Halluzinieren. Doch die nächsten Generationen vortrainierter Sprachmodelle werden dieses Problem entschärfen.

Auszeichnung automatisieren in digitalen wissenschaftlichen Editionen

Mon, 22 Nov 2021 18:15:00 +0000

Einleitung

Wie bringt man eine digitale wissenschaftliche Edition zustande, ohne sich zu ruinieren? Dieser Beitrag eröffnet eine Reihe zum effizienten Edieren; ich prüfe darin, was vortrainierte Sprachmodelle leisten können, wenn es darum geht, editorische Routinearbeiten wie die semantische Auszeichnung zu automatisieren.

Inhaltsverzeichnis

Das Problem

Ein Werk der Liebe

Wo die Liebe hinfällt, fragt niemand nach dem Preis – so jedenfalls will es das alte Sprichwort. Auf digitale wissenschaftliche Editionen trifft das in besonderem Maße zu: Transkription, Übersetzung und Annotation verschlingen Tausende von Arbeitsstunden, die – wie bei – von Hunderten hochqualifizierter Mitarbeiterinnen und Mitarbeiter geleistet werden.

In gewisser Weise ist es ein Segen, dass Vorzeigeprojekte der Digital Humanities die gewaltigen Summen einwerben können, die ihr Betrieb verlangt. Doch wer sich derart auf die Großzügigkeit reicher Stiftungen, Universitäten und Behörden verlässt und über Jahre hinweg viel Personal binden muss, hat kein Wirtschaftsmodell, das die Zukunft trägt.

Wollen wir Forschende in aller Welt ermutigen, historische Dokumente einem breiteren Publikum zu erschließen, dann müssen die Kosten digitaler kritischer Editionen um Größenordnungen sinken .

Eine hohe Schwelle

Paradoxerweise könnte die Lösung ausgerechnet von arbeitsintensiven Unternehmungen wie kommen, denn sie liefern einen wertvollen Trainingsdatensatz , mit dem sich einige der sprödesten und eintönigsten Arbeiten des digitalen Edierens automatisieren lassen – etwa die Auszeichnung.

Nicht, dass die Auszeichnung nebensächlich wäre; im Gegenteil: Markup ist heute der unverzichtbare Bestandteil jedes ernstzunehmenden digitalen Editionsvorhabens. Normiert durch die , erlaubt es, möglichst viele Eigenschaften des Dokuments und des Textes, den es überliefert, festzuhalten – Struktur, Marginalien, Streichungen, Varianten, Papiersorte, Flecken, Schriftbild … ganz nach Belieben.

Das folgende Beispiel aus zeigt, wie die Auszeichnung den Text mit Zusatzinformation anreichert (Kategorie, Struktur, semantische Felder, Streichungen usw.) – und der digitalen Edition damit einen handfesten Vorsprung vor ihren gedruckten Vorfahren verschafft.

Reiner Text XML-Markup

Reiner Text	XML-Markup
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

Wertvoll ist diese Information für die Archivierung, aber ebenso – wie ich andernorts gezeigt habe – für Synthese und Analyse. Nur ist eine solche Annotation eben ungeheuer zeitraubend, zumal derselbe Text häufig in mehreren Gestalten vorliegen muss: als Übersetzung, als Transkription, als modernisierte Fassung und so fort.

Die Lösung

Transformer: der kürzeste Weg zur Automatisierung?

2020 stellte mit großem Getöse seine neueste Familie universell einsetzbarer großer Sprachmodelle vor: GPT-3, ausgeschrieben „Generative Pre-trained Transformer 3“. Transformer sind ein noch recht junger Durchbruch der Künstlichen Intelligenz. Sie lernen neue Aufgaben verblüffend schnell – es genügt, ihnen eine Anweisung (den Prompt) und eine Handvoll Beispiele vorzulegen. Zudem lassen sie sich mit einem eigens zusammengestellten Datensatz nachtrainieren (Fine-Tuning), was Antwortzeit und Treffsicherheit verbessert. Deshalb spricht man bei GPT-3 und verwandten Transformern von .

Nach Angaben von OpenAI umfasst GPT-3 die Rekordzahl von 175 Milliarden Parametern und wurde mit über 570 GB Text trainiert, überwiegend englischsprachigen Dokumenten, die vermutlich aus stammen. Allein kraft seiner Größe hat GPT-3 in diesem Feld neue Maßstäbe gesetzt: Es erledigt ohne jede Anpassung die verschiedensten Aufgaben mit einem Realismus, der einen beunruhigen kann. Es schreibt glaubwürdige , in Chatrooms, , , übersetzt Dokumente, erklärt Fachjargon und dergleichen mehr.

Seit Mai 2021 habe ich frühen Zugang zur API von OpenAI und konnte seither ausprobieren, wie das Modell mit Aufgaben zurechtkommt, die als notorisch schwierig gelten: französische Lyrik und neulateinische Texte ins Englische übersetzen, Analogien erläutern, ja sogar den vierten Abschnitt von Kants Grundlegung zur Metaphysik der Sitten für ein siebenjähriges Kind herunterbrechen (wenn auch wenig überzeugend).

Codex

Eine der jüngsten Ausprägungen von GPT-3 hat es auf Programmiersprachen abgesehen. Das Modell heißt Codex und übersetzt natürliche Sprache in Programmcode und umgekehrt. Suche ich etwa einen regulären Ausdruck, der „nur Wörter findet, die mit einem Großbuchstaben beginnen“, so liefert GPT-3 prompt einen funktionierenden: [A-Z]+\w+.

Laut OpenAI beherrscht Codex ein Dutzend Programmiersprachen, darunter Python, JavaScript, Go, Perl, PHP, Ruby und Swift. Weil es Pseudocode reibungslos in Code verwandelt, kann man sich statt auf die pedantische Syntax einer Programmiersprache auf das konzentrieren, worauf es ankommt: die logischen Schritte und Strategien, mit denen ein Programm ein Problem löst.

Jenseits von OpenAI

OpenAI ist freilich nicht der einzige Mitspieler. Wie erwähnt, kündigte die Beijing Academy of Artificial Intelligence 2021 mit Wu Dao 2 ein noch größeres und leistungsfähigeres Modell an. Nvidia und Microsoft taten sich für das treffend benannte Megatron-Turing NLG 530B zusammen. Kleinere Start-ups wie und bieten der Öffentlichkeit ebenfalls APIs an, und auch Open-Source-Initiativen wie verdienen Erwähnung. Die KI-Szene ist natürlich in rasender Bewegung; wer auf dem Laufenden bleiben will, sollte einen Blick auf werfen.

Die Experimente

Hinweis

Ziel dieser Experimente ist es, den sparsamsten Weg zu einer verlässlichen Automatisierung editorischer Aufgaben zu finden. Man könnte einwenden, dass sich manche davon auch mit Verfahren des überwachten Lernens automatisieren ließen. Dieser Hypothese gehen wir in einem späteren Beitrag nach.

Kann ein Transformer wie GPT-3 lernen, etwa eine technisch-naturwissenschaftliche Handschrift des 16. Jahrhunderts zu annotieren?

Experiment 1 – Textkategorisierung

Beginnen wir mit etwas vergleichsweise Einfachem. Als „Few-Shot-Learner“ sollte GPT-3 rasch durchschauen, nach welchem Schema unser Herausgeberteam die Einträge von Ms. Fr. 640 klassifiziert hat.

Prompt-Engineering

Zum Anlernen begnügte ich mich mit einem denkbar knappen Prompt und vier kurzen Einträgen im Reintext als Beispielen, darunter je einer zu „Medizin“, „Waffen und Rüstungen“ und „Malerei“.

Test

Anschließend kopierte ich eine weitere Passage hinein, die in der ursprünglichen Folge nicht enthalten war:

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

Die Ausgabe passt vollkommen zum Inhalt:

<categories="painting">

Nimmt man einen Eintrag aus einer Kategorie, die in der Auswahl der Trainingstexte gar nicht vorkam, überrascht das Ergebnis.

<categories="jewelry">

Ergebnis

Eine Kategorie „jewelry“ (Schmuck) gibt es in unserer Edition von Ms. Fr. 640 nicht; das Herausgeberteam die weiter gefasste Rubrik „Stones“ (Steine). Der Instinkt von GPT-3 ist gleichwohl richtig, und das lässt erwarten, dass es mit ein wenig mehr Training jeden Eintrag von Ms. Fr. 640 einordnen könnte – womöglich sogar Einträge vergleichbarer technischer Texte des 16. Jahrhunderts.

Experiment 2 – Semantische Auszeichnung

Legen wir die Latte etwas höher. Wenn Transformer wie GPT-3 lernen können, Texte nach bestimmten editorischen Kriterien zu klassifizieren – erkennen sie dann auch einen Teil der Auszeichnung im Text?

Hinweis

Secrets of Craft and Nature verwendet eine aus semantischen und strukturellen Labels. Leider verarbeitet GPT-3 keine Bilder, anders als etwa . Künftige Versionen von GPT werden diese Fähigkeit wahrscheinlich mitbringen; ohne sie lassen sich die meisten strukturellen und materiellen Merkmale eines Dokuments nicht erkennen. Wir übergehen diese Tags daher und wenden uns der Auszeichnung zu, die ohne Bilderkennung auskommt.

Prompt-Engineering

Semantische Tags erfassen unter anderem Tiere, Pflanzen, Ortsnamen und Sinneseindrücke. Für den Trainingsprompt griff ich einige Beispiele aus der Edition heraus:

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

Test

Versuchen wir es mit dem Modell Davinci-codex und ein paar leichten Wörtern: Apothecary (Apotheker), smoke (Rauch), glassmakers (Glasmacher), latten (Messingblech) und snake (Schlange). Die Antwort kommt sofort, und sie ist fehlerfrei:

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

Schwieriger wird es mit zusammengesetzten Ausdrücken wie copper plates (Kupferplatten), walnut oil (Walnussöl) und wood block (Holzblock). Hier soll sich zeigen, ob GPT-3 mit verschachtelten Tags zurechtkommt.

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

Das Ergebnis ist durchwachsen: Davinci-codex hat nur walnut oil korrekt ausgezeichnet und die verschachtelten Tags tl und m in copper plates und wood block übersehen. Wie der nächste Test zeigt, lassen sich solche Fehler indes mit einem besseren Trainingsprompt eindämmen. Nachdem ich fünf weitere Beispiele für verschachtelte Tags ergänzt hatte, lieferte Davinci-codex ein nahezu makelloses Ergebnis mit einem einzigen Fehler (oil paintbrushes):

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

Fazit

Vergessen wir nicht, dass diese Tests mit kleinen Textstücken gemacht wurden. Ich vermute, dass GPT-3-Modelle noch besser abschneiden, wenn Beispiele und Prompt mehr Kontext bieten; und ein Fine-Tuning mit eigens angelegten Trainingsdaten würde die Treffsicherheit der Auszeichnung zweifellos weiter erhöhen.
Gewiss müssten diese Versuche in größerem Maßstab wiederholt werden, um die Verlässlichkeit vortrainierter Sprachmodelle nachzuweisen. Festhalten lässt sich aber schon jetzt, dass dieser Ansatz Editorinnen und Editoren erlaubt, mehrere Annotationsaufgaben in wenigen einfachen Schritten zu automatisieren – und dabei womöglich enorm viel Zeit und Geld zu sparen.

Handschriften visualisieren 2 (Update)

Sat, 20 Nov 2021 16:00:00 +0000

Wie versprochen: eine neue Fassung der interaktiven Treemap aus einem , diesmal mit zwei Ansichten.

Hinweis

Am besten wirkt die Darstellung im hellen Modus der Webseite (Mondsymbol oben rechts anklicken).

Group folios by category

Ein visueller Browser für das Archiv

Sun, 20 Jun 2021 16:00:00 +0000

Das Problem

Digitale Editionen leiden an einem Paradox: Sie machen entlegene Dokumente einem breiteren Publikum zugänglich – doch mit der Entmaterialisierung geht der sinnliche Halt verloren, und das verwirrt die Leserinnen und Leser oder schreckt sie gar davon ab, sich auf den Inhalt einzulassen. Sich durch riesige Dokumentbestände zu bewegen wird so umständlich und einschüchternd. Das gilt nicht nur für Nutzende, denen die Archivarbeit fremd ist, sondern auch für Leserinnen und Leser mit kognitiven Beeinträchtigungen.

Die Lösung

An dieser Stelle helfen die Metadaten des Archivs weiter. Aus ihnen lassen sich interaktive visuelle Abstraktionen bauen, die den Lesenden einen anderen sinnlichen Zugang eröffnen und damit Ergonomie wie Zugänglichkeit zugleich verbessern. Um das Archiv visuell begehbar zu machen, genügt eine Treemap – oder irgendein Diagramm, das hierarchische Daten übersichtlich aufgliedert.

Das Experiment

Mein erster Versuch passt den Code der für D3.js an und ergänzt ihn um Hyperlinks. Dargestellt wird die Handschrift BnF Ms. Fr. 640 mit ihren Folios und den Einträgen auf jedem Folio; die Farben zeigen die jeweils vorherrschende Kategorie an. Fährt man mit der Maus über einen Eintrag, erscheinen weitere Angaben, darunter der Link zur Handschrift.
So wird die Treemap zu einem interaktiven visuellen Register, das den Lesenden auf einen Blick und ohne Verzögerung Überblick verschafft – nicht nur über den Inhalt der Handschrift, sondern auch über den Umfang jedes Folios und jedes Eintrags.
~~In den kommenden Monaten werde ich diese Idee weiterverfolgen und andere Diagramme und andere Hierarchien ausprobieren … Bleiben Sie dran!~~ Eine neue Version der Treemap finden Sie .

Hinweis

Am besten wirkt die Darstellung im hellen Modus der Webseite (Mondsymbol oben rechts anklicken).

Click any cell to zoom in, or the top to zoom out.

Das Archiv auf einen Blick

Mon, 24 May 2021 16:00:00 +0000

Das Problem

Historische Archive können von entmutigender Unordnung sein. Das Mediceo del Principato im ist dafür ein Musterfall: Nur ein kleiner Teil des Bestands ist erschlossen, und viele Dokumente liegen ohne erkennbaren Grund über mehr als 6.500 Bände verstreut. Hinzu kommt, dass das Archiv nur eine begrenzte Zahl von Bänden – filze, wie man sie dort nennt – zur Einsicht ausgibt: in normalen Zeiten 4 filze am Tag, in Pandemiezeiten indes 4 alle zwei Wochen. Wo ausführliche Findmittel fehlen, zwingt schon die schiere Größe des Archivs die Forschenden, sich Strategien zurechtzulegen, um die gesuchten Dokumente rasch aufzuspüren.

Die Lösung

Die einen vertrauen auf den Zufall, die anderen versuchen es zusätzlich mit begründeten Vermutungen – nach Chronologie, Empfängern, Verfassern, Herkunft des Bestands, Sprache und dergleichen. Wer all diese Variablen aber gleichzeitig vor Augen hat, entdeckt in der Struktur des Archivs womöglich Muster, mit denen niemand gerechnet hatte, und kann seine Vermutungen entsprechend schärfen. Meine Erfahrung ist: Die Metadaten, die Forschende ohnehin in einer Tabelle sammeln, verschaffen, einmal grafisch aufbereitet, im Archiv einen ganz anderen Überblick.

Das Experiment

Ich arbeite derzeit über die Korrespondenz eines Spions des 16. Jahrhunderts. Seine Briefe verteilen sich auf Hunderte von filze; er schrieb sie unter wechselnden Identitäten, an wechselnde und mitunter überraschende Adressaten, von wechselnden Orten aus. Um jene filze zu finden, in denen die erhofften Briefe mit einiger Wahrscheinlichkeit liegen, habe ich mir ein Dashboard gebaut – eine interaktive Webanwendung zur Datenvisualisierung ( ), die Daten aller Art, darunter geografische und chronologische Angaben, mit einem hierarchischen Diagramm ( ) des Bestands verknüpft. Das Dashboard zeigt mir auf einen Blick, was schon gefunden ist, wie viel das ausmacht, und gibt mir eine ungefähre Ahnung, wo weitere Briefe zu vermuten wären. Klicke ich zudem einzelne Variablen an, richten sich alle Diagramme neu aus und lassen bestimmte Zusammenhänge hervortreten.

Wie es weitergeht

Vielleicht wichtiger noch: Dieses Dashboard lässt sich in ein visuelles Register umwidmen. Sobald die kritische Edition dieser Briefe online erscheint, wird es als zweiter Zugang dienen, von dem aus die Leserinnen und Leser die Daten durchstöbern können. Aus Gründen der Vertraulichkeit kann ich vorerst nur einen geschwärzten Screenshot zeigen; das vollständige Dashboard gebe ich im kommenden Jahr frei. Ein Prototyp wird schon bald verfügbar sein. Bleiben Sie dran!

Semantische Auszeichnung in BnF Ms. Fr. 640 sichtbar machen

Sun, 20 Dec 2020 18:15:00 +0000

Überblick

Datenreiche wissenschaftliche Editionen stecken voller editorischer Annotationen, die sich für die verschiedensten Forschungszwecke auslesen, analysieren und visualisieren lassen. So auch , erschienen 2020, deren Metadaten als Datei im GitHub-Repository der Edition zum Herunterladen bereitliegen. In diesem Beitrag zeige ich, wie man all diese Variablen in einer Korrelationsmatrix zusammenführt und auf verschiedene Weise sichtbar macht.

Die Daten

Das Making and Knowing Project erzeugt eine Tabelle mit laufend aktualisierten Angaben zum Inhalt der Handschrift: entry_metadata.csv. Die Datei liegt im des Making & Knowing Project. Wer mag, kann sich auch eigene .csv-Dateien mit zusätzlicher Auszeichnung erzeugen – dank Matthew Kumars vorzüglichem , einer Python-Fassung von BnF Ms. Fr. 640.

Python einrichten

Wir nehmen Pandas für die Datenaufbereitung, Matplotlib und seaborn für die Heatmaps und schließlich NetworkX, um aus den Korrelationen Netzwerke zu bauen.
Für Variablen dieser Art meiden wir die Pearson-Korrelation und greifen stattdessen zur 𝜙𝐾-Methode. Lesen Sie unbedingt , was es mit diesem Korrelationsmaß und der zugehörigen Bibliothek PhiK auf sich hat.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

Die Daten vorbereiten

Zunächst laden wir die aktuelle Metadatendatei der Edition aus dem Ordner „metadata“ ihres herunter. Wir behalten nur die Spalten, die wir brauchen. Für diese Demonstration nehme ich sämtliche semantischen Tags aus der englischen Übersetzung tl; ebenso gut könnten Sie die Tags der französischen Transkription tc oder der normalisierten Fassung tcn wählen. Die Werte sind durch Semikolons getrennt, und Python soll sie für uns zählen. Dazu dient die Stack-Unstack-Methode mit dem regulären Ausdruck [^;\s][^\;]*[^;\s]*. Damit die Matrix lesbarer wird, benennen wir die Spalten um. Wer es eilig hat, kann diesen Schritt überspringen – nur sollte man im Kopf behalten, dass unser Dataframe an dieser Stelle tagsrn heißt.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

Korrelieren

Ist der Dataframe bereinigt, können wir die Korrelationskoeffizienten zwischen den Variablen berechnen. An dieser Stelle sollte man seine Daten wirklich verstehen und sich vergewissern, dass man das passende Korrelationsmaß verwendet; das Paket pandas-profiling leistet dabei gute Dienste.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag ist unsere Korrelationsmatrix. Nun können wir verschiedene Darstellungen ausprobieren.

Visualisieren

Am nächsten liegt eine farbkodierte Matrix, erzeugt mit dem von seaborn.

Korrelations-Heatmap

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

Wer den Text gut kennt, sieht sofort, dass die Heatmap sehr wohl Sinn ergibt. Personennamen etwa korrelieren stark mit Latein – kein Wunder, war es doch gerade unter den Humanisten des 16. Jahrhunderts üblich, sie zu latinisieren.

Manche werden einwenden, die Heatmap renne offene Türen ein. Ganz unrecht haben sie nicht; auf den ersten Blick scheinen die medizinischen Tags das zu bestätigen, korrelieren sie doch erwartungsgemäß mit Körperteilen, Maßangaben und Pflanzen.

Liest man die Heatmap aber genauer, Zeile für Zeile, stößt man auf durchaus interessante und unerwartete Zusammenhänge. Dass medizinische Tags mit italienischen und lateinischen Wörtern korrelieren, gibt etwa Hinweise auf die Herkunft der medizinischen Rezepte in Ms. Fr. 640. Und die Korrelation von Berufen, Definitionen und Maßangaben zeigt, wie stark die berufliche Identität den technischen Diskurs des 16. Jahrhunderts strukturiert.

Korrelations-Clustermap

Heatmaps sind fürs „Explorieren“ nützlich, wirken auf ein Publikum aber leicht unübersichtlich – zumal, wenn man bestimmte semantische Cluster in der Handschrift erörtern (oder noch suchen) will. Hier kann das Modul clustermap von Seaborn interessante Ergebnisse liefern.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

Abgesehen davon, dass sie wie ein verpixeltes Insekt aussieht (ja, „pixelated“ steht im OED), trennt die Clustermap sauber die isolierten Tags (oben und links) von den stärker vernetzten. Auch abgelegene Cluster wie Musik und Poitevin (wer hätte das gedacht!) heben sich von zentraleren ab – Maßangaben, Material, Definitionen, Waffen. Die Berufe sind zwar besser vernetzt, gehören aber, jedenfalls in dieser Matrix, keinem bestimmten Cluster an.

Korrelationsnetzwerk

Will man die Korrelationen der Matrix noch stärker verdichten, bieten Netzwerkgraphen eine elegante Lösung – besonders dort, wo es darum geht, den Inhalt der Handschrift zu vermitteln.
Dafür müssen wir die Matrix in eine Liste von Kanten und Knoten verwandeln und einen Schwellenwert festlegen, der die schwächeren Korrelationen aus dem Graphen verbannt.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

Sind es zu viele Kanten und Knoten, lässt sich der Schwellenwert anpassen, bis das Bild aufgeräumter wird. Oder Sie exportieren den Graphen mit .write_gexf() und spielen in Gephi damit weiter.

nx.write_gexf(G, 'graph.gexf')

Das Ergebnis sehen Sie am Anfang dieses Beitrags.

Update: Kreisförmiges gewichtetes Netzwerk

Auf der Suche nach Wegen, Korrelationsmatrizen als gewichtete Netzwerke darzustellen, bin ich auf einen interessanten Ansatz gestoßen, den und den ich hier auf unseren Datensatz übertrage.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

Sind einige Kanten entfernt, legen wir Farbe und Stärke der übrigen fest.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

Außerdem bekommen die Knoten eine Größe, die ihrer Zahl an Verbindungen entspricht.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

Heraus kommt ein gewichteter Graph, der mehr Knoten und erheblich mehr Kanten verträgt und dabei lesbar und aussagekräftig bleibt.