Digital Humanities |

tei-mcp v0.3: TEI coderen zonder de bron te herschrijven

Tue, 05 May 2026 00:00:00 +0000

Toen ik , was het doel te voorkomen dat AI-assistenten TEI-markup hallucineren. Schemaverankering loste een deel van het probleem op: met rechtstreekse, op tools gebaseerde toegang tot de P5-specificatie hoeft het model niet langer te raden wat een element betekent of welke attributen het aanvaardt. De uitvoer valideert.

Maar hallucinatie heeft bij TEI-codering twee gezichten, en het schema vangt er maar één van op. Validatie tegen de specificatie vertelt je dat de markup welgevormd is. Ze zegt niets over de tekst die de markup omsluit. En juist daar – in de tekst zelf – schuilen de schadelijkste hallucinaties. Span-locked composition, het paradepaardje van v0.3, is speciaal ontworpen om die te voorkomen.

Inhoudsopgave

De hallucinatie die het schema niet kan vangen

Vraag een model een zestiende-eeuwse Franse brief te coderen en je krijgt vaak een TEI-document terug dat er onberispelijk uitziet. De header is ingevuld, de <persName>-tags staan op de juiste plaats, de <dateline> is welgevormd. Haal het door validate_document en het slaagt.

Vergelijk dan de lopende tekst met de bron.

mesme is même geworden. Een komma is verhuisd. luy is stilzwijgend gemoderniseerd tot lui. Een zinsdeel dat in het handschrift moeilijk leesbaar was, is “verbeterd” tot iets netters. Om geen van die wijzigingen is gevraagd. Geen ervan wordt gemeld. Het document is schemageldig en in alle stilte fout.

Voor een archivistische workflow – waarin de gecodeerde tekst de blijvende versie wordt waarop latere lezers, zoekindexen en citaties vertrouwen – is dit de faalwijze die er het meest toe doet. Een misvormde tag is vervelend. Een gemoderniseerde spelling die vijf jaar lang niemand opmerkt, is een corruptie.

Span-locked composition

De nieuwe versie (v0.3) bevat een mechanisme tegen hallucinaties dat precies op deze faalwijze mikt. Het ontwerpdoel is hallucinaties in de lopende tekst per constructie onmogelijk te maken, niet alleen onwaarschijnlijk.

Het idee is eenvoudig: het model typt nooit lopende tekst.

De workflow ziet er in plaats daarvan zo uit:

Het model roept get_source("letter_001") aan en ontvangt de platte brontekst als onveranderlijke string.
Voor elke tag die het wil aanbrengen, roept het tag_span("letter_001", start, end, element_path, attrs) aan – het registreert daarmee een TEI-element op een tekenbereik in de bron.
Is het klaar, dan roept het compose("letter_001") aan. De server vlecht de geregistreerde tags door de oorspronkelijke platte tekst, rendert de definitieve TEI en controleert vervolgens byte voor byte of de platte tekstinhoud van het gerenderde document gelijk is aan de bron.

Komen de bytes overeen, dan komt het document terug. Zo niet – als de tags van het model op een of andere manier een lopende tekst impliceren die ook maar één teken van de bron afwijkt – dan werpt compose() een fout op in plaats van een corrupt document terug te geven.

Er is geen route door deze workflow waarlangs het model een TEI-document produceert waarvan de lopende tekst van de bron afwijkt. De invariant is mechanisch, niet gedragsmatig. Je hoeft er niet op te vertrouwen dat het model niet hallucineert; je hoeft alleen te vertrouwen op een ==-vergelijking tussen twee bytestrings.

Wat dit is, en wat het niet is

Span-locked composition is een aanvulling op schemaverankering, geen vervanging ervan. De tools voor schemaverankering (validate_document, lookup_element, valid_children en de rest van de oorspronkelijke zestien) helpen het model geldige TEI te produceren. Span-locked composition garandeert dat de lopende tekst binnen die TEI trouw is aan de bron. Een inzetbare codeerworkflow moet aan beide eisen voldoen, en nu dekt één server ze allebei.

Het is ook geen wondermiddel voor alles. compose() controleert nog niet of de geregistreerde tags toelaatbaar zijn volgens een geladen ODD-customisatie – dat komt later. Geregistreerde tags leven in het procesgeheugen en overleven een herstart niet. En de bronbestanden moeten leesbaar zijn vanaf de plek waar de server draait. Dat valt allemaal op te lossen; niets ervan ondergraaft de kerninvariant.

Waarom dit verder reikt dan TEI

Het patroon laat zich veralgemenen. Telkens wanneer een model wordt gevraagd een stuk tekst te annoteren, te transformeren of te omsluiten – en telkens wanneer de integriteit van de onderliggende tekst zwaarder weegt dan het vermogen van het model om die te “verbeteren” – past dezelfde vorm van oplossing. Vraag het model niet de tekst over te typen. Vraag het instructies over de tekst te produceren, en laat een deterministische composer die toepassen onder een gelijkheidsinvariant.

Voor digitale edities in het bijzonder verandert dit wat je een model verantwoord kunt vragen. Coderen wordt ineens een taak die je kunt delegeren zonder elke uitvoer handmatig met de bron te hoeven vergelijken. De machine neemt de saaie weg; de editeur beoordeelt de markup, niet de spelling.

De update ophalen

Heb je tei-mcp al geïnstalleerd:

uvx tei-mcp@latest

Of bij een nieuwe installatie:

pip install tei-mcp

Om span-locked composition te gebruiken, wijs je de server naar een map met platte bronbestanden:

export TEI_MCP_SPAN_SOURCE_ROOT=/path/to/sources
uvx tei-mcp

De naam van elk bestand (zonder extensie) wordt zijn document-ID (letter_001.txt → letter_001).

Broncode, volledige documentatie en de ontwerpnotities bij de invariant:

Een ander soort digitale editie

Tue, 24 Mar 2026 00:00:00 +0000

De meeste primaire bronnen worden nooit gepubliceerd. Het model waarop we vertrouwen om daar iets aan te doen – de gesubsidieerde digitale editie – is te duur, te gecentraliseerd en te kwetsbaar om op grote schaal te werken. Ik heb zojuist gepubliceerd waarin ik uitleg waarom ik de kritische editie van Cavriana’s brieven anders opbouw: gedigitaliseerde primaire bronnen die organisch groeien, met minimale infrastructuur, geautomatiseerd onderhoud, open voor samenwerking, en zo goedkoop dat er niet eens subsidies voor nodig zijn. Het is een pleidooi voor een soort digital humanities dat werkt, met of zonder institutionele steun.

tei-mcp

Sun, 15 Mar 2026 00:00:00 +0000

tei-mcp: TEI P5 voor AI-agents

tei-mcp is een opensource-server voor die AI-codeerassistenten rechtstreeks toegang geeft tot de -specificatie. In plaats van te vertrouwen op uit het hoofd geleerde trainingsdata – wat vaak plausibele maar foute markup oplevert – kan de AI de specificatie in realtime bevragen.

Functies

De server parseert de ODD van TEI P5 en biedt 16 tools aan:

Opzoeken van elk element, elke klasse, macro of module op naam, hoofdletterongevoelig en met suggesties bij tikfouten
Attributen oplossen over de volledige TEI-klassenhiërarchie (lokaal + geërfd)
Inhoudsmodellen uitklappen tot gestructureerde bomen, met resolutie van klassen en macro’s
Nesting valideren – directe ouder-kindrelatie of recursieve bereikbaarheid, met padregistratie
Documenten valideren tegen TEI P5: inhoudsmodellen, attributen, gesloten waardelijsten, referentie-integriteit en waarschuwingen bij verouderde elementen
Afzonderlijke elementen valideren voor incrementele bewerkingsworkflows
ODD-customisaties laden om het schema te beperken tot een projectspecifieke deelverzameling
Zoeken in alle entiteitstypen met reguliere expressies

Installatie

pip install tei-mcp

Of rechtstreeks uitvoeren met:

uvx tei-mcp

Gebruik

Voeg toe aan elke MCP-compatibele client (Claude, Cursor, Windsurf enz.):

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

De broncode en documentatie vind je in de .

tei-mcp: TEI P5 voor AI-agents

Sun, 15 Mar 2026 00:00:00 +0000

Wie ooit een AI-codeerassistent TEI-XML heeft laten schrijven, heeft het vast gemerkt: het gaat mis. Elementen duiken op waar ze niet horen. Attributen worden verzonnen. Nestingregels worden genegeerd. Het model heeft een ruw idee van hoe TEI eruitziet, maar geen betrouwbare kennis van de specificatie.

tei-mcp lost dat op door AI-agents rechtstreeks, via tools, toegang te geven tot de TEI P5 Guidelines.

Inhoudsopgave

Wat is MCP?

Het (MCP) is een open standaard waarmee AI-toepassingen verbinding kunnen maken met externe gegevensbronnen en tools. Zie het als een USB-poort voor AI: één protocol waarmee elke compatibele client – Claude, Cursor, Windsurf en andere – op gespecialiseerde diensten kan aansluiten.

Een MCP-server stelt tools beschikbaar die de AI tijdens een gesprek kan aanroepen. In plaats van te vertrouwen op uit het hoofd geleerde trainingsdata kan het model een actuele, gezaghebbende bron bevragen.

Wat tei-mcp doet

tei-mcp parseert de ODD-specificatie van TEI P5 en biedt 16 tools aan die de meest voorkomende vragen van een editeur of encoder beantwoorden:

Wat is dit element? Zoek elk element, elke klasse, macro of module op naam op, hoofdletterongevoelig en met suggesties bij tikfouten.
Welke attributen neemt het? Los attributen op over de hele klassenhiërarchie – eerst de lokale, dan de geërfde, in volgorde.
Wat mag erin? Klap inhoudsmodellen uit tot gestructureerde bomen, of vraag een platte lijst van geldige kinderen op.
Mag dit element hier staan? Controleer de nesting van ouder en kind, of volg de bereikbaarheid door de volledige elementenhiërarchie.
Is mijn document geldig? Valideer een TEI-XML-bestand tegen de specificatie: inhoudsmodellen, attribuutwaarden, gesloten waardelijsten, referentie-integriteit en waarschuwingen bij verouderde elementen.
En mijn projectschema? Laad een ODD-customisatiebestand om dit alles te beperken tot de specifieke TEI-deelverzameling van je project.

Waarom het ertoe doet

TEI-codering vereist dat je voortdurend de Guidelines raadpleegt. Ervaren encoders kennen de gangbaarste patronen uit het hoofd, maar zelfs zij moeten de specificatie erbij nemen voor minder vertrouwde elementen of ingewikkelde inhoudsmodellen. Voor AI-assistenten, die zulke verinnerlijkte kennis niet hebben, is het probleem erger: ze hallucineren markup die er plausibel uitziet maar niet klopt.

Met tei-mcp hoeft de AI niet te gokken. Het kan het antwoord in de specificatie opzoeken voordat het één punthaak schrijft. Het resultaat is markup die voldoet aan TEI P5 – of aan de ODD-customisatie van je project.

Aan de slag

Installeer vanaf PyPI:

pip install tei-mcp

Voeg de server daarna toe aan de configuratie van je MCP-client:

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

De server downloadt de TEI-specificatie bij de eerste start en werkt met elke MCP-compatibele client.

Broncode en volledige documentatie:

Multi-Saxon

Fri, 28 Mar 2025 00:00:00 +0000

Multi-Saxon: parallelle XSLT-verwerking voor grote TEI-corpora

Multi-Saxon vult een cruciale leemte in het XML-instrumentarium: het maakt de parallelle uitvoering mogelijk van XSLT 2.0- en 3.0-transformaties die LXML (een populaire Python-bibliotheek voor XML) niet aankan. Speciaal ontworpen voor grote verzamelingen XML-TEI-documenten, versnelt Multi-Saxon de verwerking aanzienlijk dankzij efficiënte parallelle uitvoering.

Belangrijkste functies

Geavanceerde XSLT-ondersteuning: verwerkt XSLT 2.0- en 3.0-transformaties die buiten het bereik van LXML liggen
Parallelle verwerking: verkort de transformatietijd voor grote documentverzamelingen drastisch door parallellisatie
Geoptimaliseerd voor TEI: speciaal ontworpen voor XML-documenten van het Text Encoding Initiative (TEI)
Schaalbare prestaties: verwerkt efficiënt corpora van honderden tot duizenden documenten
Platformonafhankelijk: werkt op verschillende besturingssystemen en in verschillende omgevingen

Het probleem dat Multi-Saxon oplost

Onderzoekers in de digital humanities die met TEI werken, stuiten vaak op twee grote hindernissen:

LXML (een gangbare Python-bibliotheek voor XML-verwerking) ondersteunt alleen XSLT 1.0, waardoor de geavanceerdere functies van XSLT 2.0/3.0 onbereikbaar blijven
Grote corpora TEI-documenten sequentieel verwerken kan onbetaalbaar veel tijd kosten

Multi-Saxon pakt beide problemen aan door de geavanceerde XSLT-mogelijkheden van Saxon te benutten en de verwerking over meerdere kernen te verdelen, met aanzienlijke prestatiewinst als gevolg.

Implementatie

Multi-Saxon combineert Python met de Java-processor Saxon tot een krachtige transformatiepijplijn:

Gebruikt de Java-bibliotheek Saxon voor robuuste XSLT 2.0/3.0-verwerking
Zet multiprocessing in om transformaties over de beschikbare CPU-kernen te verdelen
Beheert processorpools efficiënt om de doorvoer te maximaliseren
Biedt een eenvoudige interface voor batchverwerking van TEI-documenten

Gebruiksvoorbeeld

from multi_saxon import MultiSaxon

# Initialize with your XSLT stylesheet
transformer = MultiSaxon("transform.xsl")

# Transform a single document
transformer.transform("input.xml", "output.xml")

# Transform an entire directory in parallel
transformer.transform_directory("input_dir", "output_dir")

Betekenis voor de digital humanities

Voor projecten in de digital humanities die met grote TEI-collecties werken, maakt Multi-Saxon het volgende mogelijk:

Complexe transformaties over het hele corpus die met LXML onmogelijk zouden zijn
Drastisch kortere verwerkingstijden (vaak een factor 5 tot 10 op systemen met meerdere kernen)
Verfijndere analyses dankzij de geavanceerde functies van XSLT 2.0/3.0
Een eenvoudiger workflow voor het verwerken van volledige documentverzamelingen

De broncode en documentatie vind je in de .

persNamer

Fri, 28 Mar 2025 00:00:00 +0000

persNamer: TEI koppelen aan het Virtual International Authority File

persNamer is een gespecialiseerde Python-tool die de integratie van gezaghebbende persoonsgegevens uit VIAF (Virtual International Authority File) in TEI-XML-documenten stroomlijnt. Door VIAF-identificatoren om te zetten in kant-en-klare TEI-markup vermindert persNamer aanzienlijk het handwerk dat komt kijken bij het aanmaken van gestructureerde persoonsvermeldingen voor digitale wetenschappelijke edities.

De uitdaging van autoriteitscontrole in TEI

Digitale wetenschappelijke edities vereisen vaak een precieze identificatie van historische personen, met hun gestandaardiseerde namen en levensdata. Wie in een project consequent autoriteitsdata wil bijhouden, moet:

personen in historische teksten identificeren
gezaghebbende gegevens over hen opzoeken
correct opgemaakte TEI-vermeldingen aanmaken
zorgen voor consistente verwijzingen in het hele project

Deze stappen gebeuren doorgaans handmatig, kosten veel tijd en leiden gemakkelijk tot inconsistenties.

Hoe persNamer werkt

persNamer automatiseert deze workflow door:

VIAF-gegevens op te halen: op basis van een VIAF-identificator haalt de tool RDF-gegevens op via HTTP content negotiation
De kerninformatie te extraheren: de RDF wordt geparseerd om de voorkeursnaam, de geboortedatum en de sterfdatum eruit te halen
TEI-markup te genereren: er worden twee essentiële XML-fragmenten aangemaakt:
- een vermelding voor het autoriteitsbestand (een <person>-element met een gegenereerd xml:id, <persName>, <birth>, <death> en <idno type="VIAF">)
- een afzonderlijke annotatietag (een <persName> met een ref-attribuut dat naar de autoriteitsvermelding verwijst)

Dankzij deze dubbele uitvoer kunnen editeurs een centraal autoriteitsbestand bijhouden en tegelijk moeiteloos annotatietags in hun TEI-teksten invoegen.

Belangrijkste functies

Gestandaardiseerde ID-generatie: maakt consistente XML-ID’s aan in het formaat pers-[familyname]-[givenname initial] (bv. pers-deteligny-c)
RDF-parsing: gebruikt rdflib om informatie uit uiteenlopende RDF-eigenschappen te halen (bv. rdfs:label, schema:name, viaf:mainHead)
Opdrachtregelinterface: eenvoudig uit te voeren met een VIAF-nummer als enige verplichte argument
Uitgebreide uitvoer: geeft gedetailleerde informatie over de verwerking naast de uiteindelijke XML-uitvoer

Voorbeeld van gebruik

python persNamer.py 314802260

Deze opdracht levert het volgende op:

<person xml:id="pers-deteligny-c">
 <persName>Charles deTéligny</persName>
 <birth>1535</birth>
 <death>1572-08-24</death>
 <idno type="VIAF">314802260</idno>
</person>

<persName ref="#pers-deteligny-c">Charles deTéligny</persName>

Toepassing in de digital humanities

persNamer is vooral waardevol voor:

digitale wetenschappelijke edities die autoriteitscontrole vereisen
TEI-codeerprojecten rond historische figuren
linked-data-initiatieven die documenten aan autoriteitsrecords koppelen
het bewaken van de consistentie in grote TEI-corpora
het onderwijzen van autoriteitscontrole in cursussen digital humanities

Implementatie

persNamer is geschreven in Python en steunt op:

requests voor HTTP-verzoeken
rdflib voor het parseren van RDF
lxml voor de verwerking van XML

De broncode en documentatie vind je in de .

Grootschalig bibliografisch parsen met voorgetrainde taalmodellen

Thu, 07 Jul 2022 19:04:14 +0200

Automatisering is de sleutel om de kosten van projecten in de digital humanities te drukken. Tot op heden werden de repetitieve en saaie klussen die bij editoriaal werk in academische kringen komen kijken, ofwel tegen hoge kosten verricht door overbelaste onderzoekers, ofwel “uitbesteed” aan studenten. In deze betoog ik dat de meeste van die ondankbare taken niet alleen kunnen, maar ook moeten worden geautomatiseerd. Automatisering van editoriale taken drukt de totale kosten van projecten in de digital humanities. En wat vooral telt: ze stelt onderzoekers uit armere regio’s in staat om waardevolle documenten snel en betaalbaar te publiceren.

In heb ik bijvoorbeeld laten zien hoe voorgetrainde taalmodellen het grootste deel van het XML-labelwerk van een digitale editie voor hun rekening kunnen nemen.

In dit bericht geef ik een tweede voorbeeld, ditmaal met bibliografie.

Het probleem

Een bibliografische database aanleggen op basis van de verwijzingen in een wetenschappelijk artikel is vrij eenvoudig. Je zoekt even in een catalogus als , downloadt de verwijzing in een bepaald formaat, of importeert ze automatisch uit een lokale database. Met een of twee artikelen werkt dat prima. Boven een bepaald aantal verwijzingen wordt de klus echter afstompend en tijdrovend. Om daar iets aan te doen kun je parsingalgoritmen als gebruiken. Maar zulke algoritmes laten zich moeilijk opschalen. Toen ik anystyle inzette om de meer dan 150 wetenschappelijke essays van onze om te zetten, stapelden de fouten zich op tot een onbeheersbare berg. Het herkende veel van onze bronnen niet goed – zo zag het de lange titels van vroegmoderne boeken voor iets anders aan – en het struikelde over minder gangbare documenten, zoals specifieke webpagina’s, onlinevideo’s enzovoort. Parsers werken goed, mits de auteur zich strikt houdt aan de regels van een bekende conventie als Chicago, Turabian of MLA. Elke afwijking van de norm levert fouten op.

De oplossing

Hier kunnen voorgetrainde taalmodellen uitkomst bieden: ze doorgronden razendsnel de patronen van welke bibliografische stijl dan ook , zelfs een die je zelf hebt bedacht, en hebben maar een handvol voorbeelden nodig om grote hoeveelheden opgemaakte bibliografie correct om te zetten in een .

Begin 2021 had ik het geluk vroegtijdig toegang te krijgen tot van OpenAI. Codex is een model waarmee je natuurlijke taal naar code vertaalt en omgekeerd. Volgens OpenAI beheerst het meer dan een dozijn programmeertalen, en hoewel de API op het moment dat ik dit schrijf nog als bètaversie beschikbaar is, draait er al populaire software op, zoals GitHubs .

Na wat experimenteren met deze API merkte ik dat ze ook uitstekend overweg kan met eenvoudiger code zoals BibTeX.

Sterker nog: vier voorbeelden in de invoerprompt volstonden om het betrouwbaar te laten werken.

Invoerprompt

References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009.

Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015.

Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. .

Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994.

@incollection{bayle2009,
 author = {Bayle, Ariane},
 booktitle = {Vulgariser la médecine. Du style médical en France et en Italie},
 title = {Patients exemplaires: la correspondance médicale de Fioravanti},
 editor = {Carlino, Andrea and Michel Jeanneret},
 year = {2009},
 address = {Geneva},
 publisher = {Droz},
 langid = {french}
}
@book{berns2015,
 title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth},
 author = {Berns, Andrew D.},
 address = {Cambridge},
 publisher = {Cambridge University Press},
 langid = {english},
 date = {2015}
}
@article{gabler2010,
 author = {Gabler, Hans Walter},
 title = {Theorizing the Digital Scholarly Edition},
 journal = {Literature Compass},
 volume = {7},
 number = {2},
 pages = {43-56},
 doi = {10.1111/j.1741-4113.2009.00675.x},
 langid = {english},
 year = {2010}
}
@book{findlen1994,
 title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy},
 author = {Findlen, Paula},
 address = {Berkeley},
 publisher = {University of California Press},
 langid = {english},
 date = {1994}
}

Resultaten

De zijn opzienbarend: meer dan 2.000 literatuurverwijzingen werden in een paar dagen omgezet. Deze aanpak reproduceerde niet alleen getrouw het patroon uit mijn invoerprompt, maar voegde ook correct entry- en veldtypes toe die daar niet in voorkwamen. GPT-3 spreekt met andere woorden vloeiend BibTeX. Verrassender nog voor een model dat hoofdzakelijk in het Engels is getraind: het herkende alle talen (Russisch, Frans, Italiaans, Latijn, Grieks, Duits, Spaans enzovoort) en voegde telkens het juiste langid-veld toe.

Let op

GPT-3 kent momenteel beperkingen op de omvang van invoer en uitvoer: het verwerkt maximaal 2048 taaltokens. Zodra die beperking wegvalt, zou dezelfde klus waarschijnlijk een uur of minder vergen.

Enigszins onverwacht voegde GPT-3 ook informatie toe die niet in de oorspronkelijke verwijzingen stond.

Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015.

In deze verwijzing bijvoorbeeld voegde GPT-3 de permanente link toe naar het open-accessarchief ( ) waar het artikel te lezen is, inclusief de speciale velden HAL_ID en HAL_VERSION die HAL zelf heeft bedacht:

@inproceedings{baillot2015,
 title = {Editing for Man and Machine},
 author = {Baillot, Anne and Busch, Anna},
 year = 2015,
 booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting},
 address = {Leicester},
 series = {Variants (Journal of the European Society for Textual Scholarship)},
 volume = 13,
 editor = {Bruhn, Siglinde and Schreiber, Manfred},
 langid = {english},
 hal_id = {halshs-01233380},
 hal_version = {v1}
}

Uit die toevoegingen blijkt dat GPT-3 een literatuurverwijzing niet alleen parseert, maar ze ook aanvult op grond van wat het eerder heeft geleerd. Het zou in dat opzicht interessant zijn om te zien of het zich net zo gedraagt bij verwijzingen van na zijn trainingsperiode…

Beperkingen

GPT-3 is echter niet volmaakt. Het heeft menselijk toezicht nodig. Een van zijn bekende zwakke plekken is : soms verzint het dingen en doet het onwaarschijnlijke aannames.

In mijn experiment kwam de warrigheid van GPT-3 aan het licht toen het uit eigen beweging de familienaam van een auteur veranderde van “Ruscelli” in “Ruscello”. Strikt genomen is dat geen fout: vroegmoderne Italiaanse familienamen konden zonder onderscheid in het meervoud of het enkelvoud worden gebruikt. Tegenwoordig is de conventie echter dat je een naam laat zoals hij is, of hij nu in het meervoud of in het enkelvoud staat. Niemand zou Machiavelli vandaag nog Machiavello noemen, net zoals we geacht worden Rossello te schrijven en niet Rosselli. Heeft GPT-3 die conventie genegeerd bij gebrek aan chronologisch besef? Of heeft het een aanname gedaan op grond van de omringende namen, die in dit deel van de bibliografie toevallig allemaal in het enkelvoud staan (Bariletto, Cesano, Rossello)? Wie zal het zeggen.

@book{rossello1565,
 title = {Della summa de’ secreti universali},
 author = {Rossello, Timoteo},
 address = {Venice},
 publisher = {Giovanni Bariletto},
 langid = {italian},
 date = {1565}
}
@book{ruscello1559,
 title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese},
 author = {Ruscello, Girolamo},
 address = {Pesaro},
 publisher = {Bartolomeo Cesano},
 langid = {italian},
 date = {1559}
}

Conclusie

De ruim 150 essays , geschreven tijdens vier jaar van intensieve samenwerking, bevatten niet alleen cruciale informatie over het handschrift dat we hebben geëditeerd en vertaald, maar ook waardevolle bibliografische gegevens.

Door die literatuurverwijzingen in een database samen te brengen, kunnen editeurs de bibliografische opmaak in een oogwenk veranderen en hebben ze meer vrijheid om die informatie naar eigen inzicht te tonen. Zo’n database vertelt bovendien veel over de editie en het project dat haar mogelijk maakte, en opent nieuwe analytische perspectieven voor onderzoekers. En ze kan met grote nauwkeurigheid en in recordtijd worden aangelegd.

Er kunnen weliswaar fouten insluipen, met name door de neiging van GPT-3 om te hallucineren. Maar toekomstige generaties voorgetrainde taalmodellen zullen dat probleem verkleinen.

Avviso | Het nieuws uitgeven dat ons modern maakte (1537—1743)

Sun, 12 Dec 2021 00:00:00 +0000

Het hoofddoel van het Avviso-project is de 35.000 vroegmoderne handgeschreven nieuwsbrieven, de zogenoemde avvisi, die deel uitmaakten van de Medici-collectie en nu in het Staatsarchief van Florence worden bewaard, te digitaliseren, te bewaren, te catalogiseren, te editeren, te contextualiseren en te verspreiden. De catalogisering, digitalisering en verspreiding van circa 35.000 avvisi, vroegmoderne handgeschreven nieuwsbrieven, via het platform Medici Interactive Archive van het Medici Archive Project.

Efficiënt editeren

Sun, 12 Dec 2021 00:00:00 +0000

Digitale kritische edities zijn kostbaar. Het transcriptie-, vertaal- en annotatiewerk dat hooggekwalificeerde medewerkers moeten verrichten, vergt duizenden uren en substantiële financiering, boven op langdurige institutionele steun.

In zekere zin is het een zegen dat prestigieuze projecten in de digital humanities de enorme bedragen kunnen binnenhalen die ze nodig hebben om te draaien.

Toch is een model dat zo zwaar leunt op de vrijgevigheid van rijke stichtingen, universiteiten en overheidsinstanties, en dat jarenlang veel menskracht vergt, economisch niet houdbaar op de lange termijn. Steeds meer onderzoekers kunnen zich weliswaar ambitieuze digitale edities van primaire bronnen veroorloven, maar de praktijk blijft het voorrecht van een handvol rijke landen, waardoor hun culturele hegemonie alleen maar wordt versterkt.

Om historische documenten van over de hele wereld voor een breder publiek toegankelijk te maken, moeten de kosten van digitale kritische edities met enkele ordes van grootte omlaag .

In deze reeks blogberichten onderzoek ik de verschillende benaderingen en technologische bouwstenen waarmee onderzoekers van over de hele wereld primaire bronnen sneller en tegen minimale kosten kunnen publiceren.

Ik zal in het bijzonder technologieën als machine learning, blockchain en gedecentraliseerde opslag onder de loep nemen.

Markup automatiseren in digitale wetenschappelijke edities

Mon, 22 Nov 2021 18:15:00 +0000

Inleiding

Hoe maak je digitale wetenschappelijke edities zonder je te ruïneren? In dit bericht, het eerste van een reeks over efficiënt editeren, ga ik na welke rol voorgetrainde taalmodellen kunnen spelen bij het automatiseren van editoriale taken zoals semantische markup.

Inhoudsopgave

Het probleem

Een werk van liefde

Op liefde staat geen prijs… zo luidt althans het spreekwoord. Voor digitale wetenschappelijke edities gaat dat zeker op: de transcriptie, vertaling en annotatie die bij hun totstandkoming komen kijken, vergen duizenden uren werk, verricht – zoals in het geval van – door honderden hooggekwalificeerde medewerkers.

In zekere zin is het een zegen dat prestigieuze projecten in de digital humanities de enorme bedragen kunnen binnenhalen die ze nodig hebben om te draaien. Toch is een model dat zo zwaar leunt op de vrijgevigheid van rijke stichtingen, universiteiten en overheidsinstanties, en dat jarenlang veel menskracht vergt, economisch niet houdbaar op de lange termijn.

Sterker nog: willen we onderzoekers van over de hele wereld aanmoedigen om historische documenten voor een breder publiek toegankelijk te maken, dan moeten de kosten van digitale kritische edities met enkele ordes van grootte omlaag .

Een hoge drempel

Paradoxaal genoeg komt de oplossing misschien juist van arbeidsintensieve projecten als : ze vormen een waardevolle trainingsset waarmee enkele van de meest afstompende en repetitieve taken van het digitaal editeren, zoals markup, kunnen worden geautomatiseerd.

Niet dat markup onbelangrijk zou zijn. Integendeel: markup is het onmisbare bestanddeel van elk serieus digitaal wetenschappelijk project geworden. Gestandaardiseerd door het stelt het ons in staat zoveel mogelijk aspecten van het document en van de tekst die het overlevert vast te leggen: structuur, kanttekeningen, doorhalingen, varianten, papiersoort, vlekken, handschrift… noem maar op.

Het volgende voorbeeld, ontleend aan , laat zien hoe markup de tekst verrijkt met extra informatie (categorie, structuur, semantische velden, doorhalingen enzovoort), waardoor digitale edities uiteindelijk een flinke voorsprong nemen op hun papieren voorouders.

Plain Text XML Markup

Plain Text	XML Markup
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

Deze informatie is niet alleen waardevol voor archivering, maar ook – zoals ik bij eerdere gelegenheden heb laten zien – voor synthese en analyse. Dit soort annotatie kan echter buitengewoon tijdrovend zijn, omdat dezelfde tekst vaak in verschillende gedaanten beschikbaar moet zijn: als vertaling, als transcriptie, als gemoderniseerde versie enzovoort.

De oplossing

Transformers: de kortste weg naar automatisering?

In 2020 bracht met veel tamtam zijn nieuwste familie van grootschalige, algemeen inzetbare taalmodellen uit: GPT-3, wat staat voor “Generative Pre-trained Transformer 3”. Transformers zijn een vrij recente doorbraak in de kunstmatige intelligentie. Ze leren nieuwe taken verbluffend snel, gewoon door een prompt te lezen en naar een zeer beperkt aantal voorbeelden te kijken. Ze kunnen ook worden bijgetraind met een dataset op maat (fine-tuning), wat de responstijd en de nauwkeurigheid verbetert. Daarom noemt men GPT-3 en vergelijkbare transformers .

Volgens OpenAI telt GPT-3 een recordaantal van 175 miljard parameters en is het getraind op meer dan 570 GB tekst, grotendeels Engelstalige documenten die vermoedelijk van zijn geplukt. Door zijn enorme omvang heeft GPT-3 een nieuwe maatstaf gezet: zonder verdere voorbereiding voert het de meest uiteenlopende taken uit met een realisme dat verontrust. Het schrijft geloofwaardige , het in chatrooms, , , vertaalt documenten, legt jargon uit, enzovoort.

Sinds mei 2021 heb ik vroegtijdig toegang tot de API van OpenAI, en zo heb ik kunnen uitproberen hoe het model een aantal notoir lastige taken aanpakt: Franse poëzie en Neolatijnse teksten in het Engels vertalen, analogieën uitleggen, en zelfs boek 4 van Kants Fundering voor de metafysica van de zeden uitleggen aan een kind van zeven (al was dat weinig overtuigend).

Codex

Een van de jongste loten aan de GPT-3-stam richt zich op programmeertalen. Dit model, Codex gedoopt, vertaalt natuurlijke taal naar computertaal en omgekeerd. Zoek ik bijvoorbeeld een reguliere expressie om “alleen woorden te vinden die met een hoofdletter beginnen”, dan vertaalt GPT-3 dat meteen in een werkende reguliere expressie: [A-Z]+\w+.

Volgens OpenAI kan Codex overweg met een dozijn programmeertalen, waaronder Python, JavaScript, Go, Perl, PHP, Ruby en Swift. Doordat het pseudocode naadloos in code omzet, hoeft men zich niet langer te bekommeren om de pietluttige syntaxis van een programmeertaal, maar kan men zich concentreren op de logische stappen en strategieën waarmee een toepassing problemen oplost.

Voorbij OpenAI

OpenAI is natuurlijk niet de enige speler op het veld. Zoals gezegd kondigde de Beijing Academy for Artificial Intelligence in 2021 een nog groter en krachtiger model aan, Wu Dao 2. Nvidia en Microsoft bundelden hun krachten voor het toepasselijk genaamde Megatron-Turing NLG 530B. Kleinere start-ups als en bieden het publiek eveneens API’s aan. Ook opensource-initiatieven zoals verdienen vermelding. De AI-wereld verandert uiteraard razendsnel; wie de nieuwe initiatieven in het veld wil volgen, kijkt bij .

De experimenten

Let op

Het doel van deze experimenten is de zuinigste weg naar een betrouwbare automatisering van editoriale taken te vinden. Men kan tegenwerpen dat sommige van die taken ook met algoritmen voor supervised learning te automatiseren zijn. Die hypothese onderzoeken we in een volgend bericht.

Kan een transformer als GPT-3 leren om bijvoorbeeld een technisch en wetenschappelijk handschrift uit de zestiende eeuw te annoteren?

Experiment 1 – Tekstcategorisering.

Laten we beginnen met iets betrekkelijk eenvoudigs. Als “few-shot learner” zou GPT-3 snel moeten doorhebben hoe onze redactie de items in Ms Fr 640 heeft ingedeeld.

Prompt engineering

Om het te trainen gebruikte ik een zeer minimale prompt en koos ik vier korte items in platte tekst als voorbeeld, waaronder één over “geneeskunde”, één over “wapens en wapenrustingen” en één over “schilderkunst”.

Test

Daarna plakte ik een andere passage die niet in de oorspronkelijke reeks zat:

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

De uitvoer sluit perfect aan bij de inhoud:

<categories="painting">

Proberen we het met een item uit een categorie die niet eens voorkwam in de teksten waarmee GPT-3 was getraind, dan is het resultaat verrassend.

<categories="jewelry">

Resultaat

De categorie “jewelry” bestaat niet in onze editie van Ms. Fr. 640. De redactie aan de bredere categorie “Stones”. De intuïtie van GPT-3 is echter goed en wijst erop dat het met wat extra training elk item van Ms. Fr. 640 kan leren indelen, en misschien zelfs dat van vergelijkbare technische teksten uit de zestiende eeuw.

Experiment 2 – Semantische markup

Leggen we de lat wat hoger. Als transformers als GPT-3 kunnen leren teksten volgens specifieke editoriale criteria in te delen, kunnen ze dan ook een deel van de markup van de tekst herkennen?

Let op

Secrets of Craft and Nature biedt een van semantische en structurele labels. Helaas verwerkt GPT-3 geen afbeeldingen, in tegenstelling tot andere projecten zoals . Waarschijnlijk krijgen toekomstige versies van GPT die mogelijkheid wel; ze is nodig om de meeste structurele en materiële aspecten van een document te herkennen. Die tags slaan we hier over; we richten ons op markup waarvoor geen beeldherkenning nodig is.

Prompt engineering

Semantische tags verwijzen onder meer naar dieren, planten, plaatsnamen, zintuiglijke waarnemingen enzovoort. Voor de trainingsprompt koos ik een paar voorbeelden uit de editie:

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

Test

Laten we een paar makkelijke woorden proberen met het model Davinci-codex: Apothecary, smoke, glassmakers, latten en snake. De resultaten komen meteen en zijn foutloos:

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

Een pittiger test werkt met samengestelde woorden als copper plates, walnut oil en wood block. Daarmee willen we nagaan of GPT-3 geneste tags correct verwerkt.

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

De resultaten zijn echter gemengd: Davinci-codex labelde alleen walnut oil correct en zag de geneste tags tl en m in copper plates en wood block over het hoofd. Zoals de volgende test laat zien, zijn die fouten wel te ondervangen met een betere trainingsprompt. Na toevoeging van vijf extra voorbeelden van geneste tags gaf Davinci-codex een vrijwel foutloos resultaat terug, met één enkele misser (oil paintbrushes):

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

Conclusie

Vergeet niet dat deze tests met korte tekstfragmenten zijn uitgevoerd. Ik vermoed dat GPT-3-modellen nog betere resultaten zouden geven als de voorbeelden en de prompt meer context boden. Bovendien zou fine-tuning van het model met datasets op maat de nauwkeurigheid van de labels ongetwijfeld verder verbeteren.
Deze experimenten moeten weliswaar nog op grotere schaal worden herhaald om de betrouwbaarheid van voorgetrainde taalmodellen aan te tonen, maar we kunnen nu al concluderen dat editeurs met deze aanpak verschillende annotatietaken in een paar eenvoudige stappen kunnen automatiseren, wat potentieel enorm veel tijd en geld bespaart.

Handschriften visualiseren 2 (update)

Sat, 20 Nov 2021 16:00:00 +0000

Zoals beloofd: een nieuwe versie van de interactieve treemap uit een , ditmaal met twee weergavemodi.

Let op

Voor een betere weergave zorg je ervoor dat de webpagina in de lichte modus staat (klik op het maanpictogram rechtsboven).

Group folios by category

Een visuele browser voor het archief

Sun, 20 Jun 2021 16:00:00 +0000

Het probleem

Digitale edities lijden aan een paradox: ze maken obscure documenten weliswaar voor een breder publiek beschikbaar, maar het verlies aan zintuiglijke prikkels dat met hun dematerialisering gepaard gaat, werkt desoriënterend en schrikt lezers zelfs af om zich in de inhoud te verdiepen. Ze maken het navigeren door omvangrijke documentverzamelingen nogal omslachtig en intimiderend. Dat geldt niet alleen voor gebruikers zonder ervaring met archiefonderzoek, maar ook voor lezers met een cognitieve beperking.

De oplossing

Hier kunnen archiefmetadata ons helpen. Met zulke gegevens kunnen we namelijk interactieve visuele abstracties maken die lezers een alternatieve zintuiglijke ingang bieden, en zo zowel de ergonomie als de toegankelijkheid vergroten. Om het archief visueel navigeerbaar te maken, volstaat een treemap, of om het even welk diagram dat hiërarchische gegevens efficiënt ontleedt.

Het experiment

Mijn eerste experiment bewerkt de voor D3.js en voegt er hyperlinks aan toe. De treemap stelt het handschrift BnF Ms Fr 640 voor, met zijn folio’s en de items op elk folio. De kleuren geven de overheersende categorie aan. Wie met de muis over een item gaat, krijgt meer gegevens te zien, waaronder de hyperlink naar het handschrift.
Zo wordt de treemap een interactieve visuele index die lezers een razendsnel en responsief overzicht geeft, niet alleen van de inhoud van het handschrift, maar ook van de omvang van elk folio en elk item.
~~De komende maanden experimenteer ik verder met dit idee en probeer ik andere diagrammen en andere hiërarchieën uit… Wordt vervolgd!~~ Voor een nieuwe versie van de treemap klik je .

Let op

Voor een betere weergave zorg je ervoor dat de webpagina in de lichte modus staat (klik op het maanpictogram rechtsboven).

Click any cell to zoom in, or the top to zoom out.

Het archief in één oogopslag

Mon, 24 May 2021 16:00:00 +0000

Het probleem

Historische archieven kunnen ontmoedigend rommelig zijn. Het Mediceo del Principato in het is daar een schoolvoorbeeld van. Slechts een klein deel ervan is geïnventariseerd, en veel documenten liggen zonder aanwijsbare reden verspreid over meer dan 6.500 delen. Om het nog ingewikkelder te maken, mag je in het archief maar een beperkt aantal delen (of filze, bundels, zoals ze daar heten) raadplegen. In normale tijden ligt de grens op 4 filze per dag. In tijden van pandemie is dat aantal echter gezakt tot 4 per twee weken. Bij gebrek aan gedetailleerde inventarissen dwingt de enorme omvang van het archief onderzoekers om strategieën te bedenken waarmee ze de gezochte documenten snel kunnen vinden.

De oplossing

Sommigen vertrouwen liever op het toeval, anderen proberen daarnaast onderbouwde gissingen te doen op basis van chronologie, geadresseerden, auteurs, herkomst van het archieffonds, taal enzovoort. Wie al die variabelen tegelijk bekijkt, kan echter onverwachte patronen in de structuur van het archief ontdekken en zijn vermoedens aanscherpen. Mijn ervaring leert dat de metadata die onderzoekers doorgaans in een spreadsheet verzamelen, eenmaal in grafiekvorm, het overzicht in het archief aanzienlijk vergroten.

Het experiment

Mijn huidige onderzoek richt zich op de correspondentie van een zestiende-eeuwse spion. Zijn brieven liggen verspreid over honderden filze. Ze zijn geschreven onder verschillende identiteiten, aan verschillende en soms onverwachte geadresseerden, vanuit verschillende plaatsen, enzovoort. Om de filze op te sporen waarin de gezochte brieven het waarschijnlijkst zitten, heb ik een dashboard opgezet: een interactieve webapplicatie voor datavisualisatie ( ) die allerlei gegevens, waaronder geografische en chronologische informatie, koppelt aan een hiërarchisch diagram ( ) van het archieffonds. Het dashboard toont me in één oogopslag wat er al gevonden is, hoeveel dat voorstelt, en geeft me een ruw idee van waar ik nog nieuwe brieven zou kunnen zoeken. Klik ik bovendien op specifieke variabelen, dan worden alle diagrammen bijgewerkt en tonen ze specifieke correlaties.

Volgende stappen

Belangrijker misschien nog: dit dashboard kan worden omgebouwd tot een visuele index. Wanneer de kritische editie van deze brieven online verschijnt, zal het dashboard dienen als alternatieve ingang, van waaruit lezers door de gegevens kunnen bladeren. Om redenen van vertrouwelijkheid kan ik op dit moment alleen een schermafbeelding tonen waarop delen zijn weggelakt, maar volgend jaar geef ik het volledige dashboard vrij. Intussen komt er binnenkort een prototype beschikbaar. Wordt vervolgd!

Making & Knowing Project

Sun, 27 Dec 2020 00:00:00 +0000

Het , in 2014 opgericht door Pamela H. Smith en gedragen door honderden medewerkers, is een onderzoeks- en onderwijsinitiatief van het aan Columbia University.

Als postdoctoraal onderzoeker werkte ik in het project onder meer mee aan de van BnF Ms. Fr. 640. Dit unieke Franse handschrift uit de zestiende eeuw biedt een blik uit de eerste hand op het maken en op materialen, uit een tijd waarin kunstenaars wetenschappers waren.

De digitale editie stelt een overvloed aan gegevens vrij beschikbaar op haar . Het komende jaar ben ik van plan een reeks blogberichten te publiceren over de editie en haar gegevens. Ik zal laten zien hoe gemakkelijk je de tekst met Python of R kunt downloaden en analyseren. Wordt vervolgd!

Semantische markup visualiseren in BnF Ms. Fr. 640

Sun, 20 Dec 2020 18:15:00 +0000

Overzicht

Datarijke wetenschappelijke edities bevatten waardevolle editoriale annotaties die je voor allerlei wetenschappelijke doeleinden kunt extraheren, analyseren en visualiseren. Dat geldt voor , verschenen in 2020, dat zijn metadatabestand ter download aanbiedt op zijn GitHub-repository. In dit bericht laat ik zien hoe je al die variabelen in een correlatiematrix samenbrengt en op verschillende manieren visualiseert.

De gegevens

Het Making and Knowing Project genereert een spreadsheet met actuele informatie over de inhoud van het handschrift: entry_metadata.csv. Het bestand is te vinden in de van Making & Knowing. Je kunt ook .csv-bestanden op maat genereren en er meer markup aan toevoegen dankzij het uitstekende van Matthew Kumar, een Python-versie van BnF Ms. Fr. 640.

Python klaarzetten

We gebruiken Pandas voor het bewerken van de gegevens, Matplotlib en seaborn voor de heatmaps en tot slot NetworkX om netwerken op basis van correlaties te maken.
Voor dit soort variabelen mijden we de methode van Pearson en gebruiken we in plaats daarvan de 𝜙𝐾-methode. over deze correlatiemethode en de bijbehorende bibliotheek PhiK.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

De gegevens voorbereiden

Download eerst het meest recente metadatabestand van de editie uit de map metadata van hun . We selecteren alleen de kolommen die we nodig hebben. Voor deze demonstratie kies ik alle semantische tags uit de Engelse vertaling tl, maar je kunt ook tags kiezen uit de Franse transcriptie tc of de genormaliseerde versie tcn. De gegevens komen als door puntkomma’s gescheiden waarden, en we moeten ze door Python laten tellen. Daarvoor gebruiken we de stack-unstack-methode met de reguliere expressie [^;\s][^\;]*[^;\s]*. Om de matrix leesbaarder te maken, hernoemen we elke kolom. Wie haast heeft, kan deze stap overslaan; onthoud alleen dat ons dataframe in dit stadium tagsrn heet.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

Correleren

Zodra het dataframe schoon is, kunnen we de correlatiecoëfficiënten tussen de variabelen berekenen. Het is in dit stadium belangrijk je gegevens te begrijpen en de meest geschikte correlatiemethode te kiezen. Het pakket pandas-profiling is daarbij bijzonder handig.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag is onze correlatiematrix. We kunnen nu verschillende soorten visualisatie uitproberen.

Visualiseren

Het eerste wat we kunnen proberen, is de matrix weergeven als kleurgecodeerde matrix, met de van seaborn.

Correlatieheatmap

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

Wie de tekst goed kent, ziet meteen dat de heatmap heel zinnig is. Namen zijn bijvoorbeeld sterk gecorreleerd met Latijn, want het was gebruikelijk, vooral onder zestiende-eeuwse humanisten, om ze te latiniseren.

Sommigen zullen tegenwerpen dat deze heatmap alleen maar open deuren intrapt. Helemaal ongelijk hebben ze niet, en op het eerste gezicht lijken de medische tags dat te bevestigen: ze correleren, zoals te verwachten, met lichaamsdelen, maten en planten.

Maar wie de heatmap aandachtiger leest, regel voor regel, stuit op interessante en onverwachte correlaties. Dat de medische tags bijvoorbeeld correleren met Italiaanse en Latijnse woorden, geeft ons aanwijzingen over de herkomst van de medische recepten in Ms. Fr. 640. Zo ook laat de correlatie tussen beroepen, definities en maten zien in hoeverre de beroepsidentiteit de technische vertogen van de zestiende eeuw structureert.

Correlatieclustermap

Heatmaps zijn nuttig in een “verkennende” context, maar kunnen er voor je publiek wat rommelig uitzien, vooral als je het over specifieke semantische clusters in het handschrift hebt – of er nog naar zoekt. De clustermap-module van seaborn kan dan interessante resultaten opleveren.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

Behalve dat de clustermap op een gepixeld insect lijkt (ja, dat woord staat echt in het woordenboek), onderscheidt ze duidelijk de geïsoleerde tags (bovenaan en links) van de tags die sterker met elkaar verbonden zijn. We zien ook geïsoleerde clusters, zoals muziek en Poitevin (wie had dat gedacht!), naast meer centrale zoals maten, materiaal, definities en wapens. Beroepen zijn sterker verbonden, maar maken, althans in deze specifieke correlatiematrix, geen deel uit van een bepaald cluster.

Correlatienetwerk

Willen we de correlaties in onze matrix nog verder samenvatten, dan bieden netwerkgrafen een elegante oplossing. Dat geldt vooral wanneer we over de inhoud van het handschrift willen communiceren.
Daarvoor moeten we onze matrix omzetten in een lijst van kanten en knopen, en een drempel vastleggen om zwakkere correlaties uit de graaf te weren.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

Zijn er te veel kanten en knopen, dan kun je altijd de drempel aanpassen voor een schoner resultaat. Je kunt de graaf ook exporteren om er in Gephi mee te spelen, met de functie .write_gexf().

nx.write_gexf(G, 'graph.gexf')

Het resultaat zie je aan het begin van dit bericht.

Update: circulair gewogen netwerk

Ik zocht naar manieren om correlatiematrices als gewogen netwerken weer te geven en stuitte op deze interessante aanpak, , die ik hier aanpas aan onze dataset.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

Zodra we een paar kanten hebben verwijderd, kunnen we hun kleur en dikte bepalen.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

We geven de knopen ook een grootte die evenredig is met hun aantal verbindingen.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

Het resultaat is een gewogen graaf die meer knopen en aanzienlijk meer kanten toelaat en toch leesbaar en informatief blijft.

De geheime correspondentie van Filippo Cavriana, 1568—1589.

Fri, 27 Dec 2019 00:00:00 +0000

De geheime brieven van Filippo Cavriana vormen een unieke getuigenis van de Franse godsdienstoorlogen: ruim twintig jaar lang volgen ze de intriges, veldslagen, onderhandelingen en samenzweringen die het leven aan het Franse hof en daarbuiten ritmeerden.

De brieven, die in het worden bewaard, liggen grotendeels verspreid over honderden niet-geïnventariseerde bundels, of filze zoals ze in Florence heten. Ik heb de afgelopen jaren weliswaar tientallen nieuwe brieven kunnen opsporen, maar dit soort archiefonderzoek wordt steeds moeilijker. De geografische afstand tot Florence, de achteruitgang van sommige openbare diensten in Italië en de covid-19-pandemie maken van zulke publicatieprojecten samen een lang en onzeker proces.

Primaire bronnen publiceren moet, ondanks de toenemende moeilijkheden, tot de taak van de historicus blijven behoren. De vorm van die publicaties zal echter waarschijnlijk moeten evolueren. Bronnenpublicaties moeten zich niet alleen aanpassen aan de situatie die ik hierboven heb geschetst, maar ook beter recht doen aan het incrementele karakter van dit onderzoek, en het voor iemand anders mogelijk maken het voort te zetten.

Vandaar het idee om een nieuw type digitaal publicatieproject te ontwikkelen dat schaalbaar, duurzaam, betrouwbaar, platformonafhankelijk en mogelijk collaboratief is.

De editie staat inmiddels online: . Ze verzamelt de tot dusver getranscribeerde brieven uit de staatsarchieven van Florence en Mantua en uit de BnF, en groeit naarmate er nieuwe opduiken. De overwegingen achter het ontwerp heb ik uiteengezet in .