Clement |

Het hek, niet de brandstapel

Sun, 06 Sep 2026 00:00:00 +0000

In een magazijn in North Las Vegas laat Amazon een machine draaien die de ruggen van tweedehandsboeken afsnijdt. De losse bladen gaan door een scanner, en daarna wordt het papier tot pulp vermalen. Boeken vernietigen om AI te voeden: het verhaal had alles in huis om een cultureel schandaal te worden. De vergeleek de praktijk met moderne boekverbranding en spaarde daarbij geen enkel cliché: toespelingen op Savonarola, stockfoto’s van ogenschijnlijk zeldzame boeken en, uiteraard, de Berlijnse brandstapel. De kwaliteitskranten bleven, zoals te verwachten, koeler, maar lieten dezelfde vergelijking in de lucht hangen. Hoe verontwaardigd ook, deze artikelen lieten de AI-industrie er opvallend genadig van afkomen. Het lot van het papier staat in de schijnwerpers; wie de eigenaar wordt van de digitale bibliotheken die eruit voortkomen, komt nauwelijks ter sprake. Wie krijgt de zeggenschap over de kennis die wordt gescand? Die vraag moet even wachten tot we de onzin over boekverbranding hebben opgeruimd.

Een scanner is geen brandstapel

De analogie met de brandstapels van Savonarola of de nazistische boekverbrandingen is te gek voor woorden: een exemplaar vernietigen is iets anders dan een tekst onderdrukken. De brandstapels waren openbare daden van verwerping. Die arme monnik Savonarola, van stal gehaald bij elke rel over boekverbranding, riep de mensen op om een deel van hun bezittingen te offeren als publieke boetedoening. De nazibrandstapels ensceneerden een ander soort verwerping: door de boeken in het openbaar te verbranden, verklaarde men dat hun auteurs geen plaats hadden in het Duitse culturele leven. In beide gevallen, hoe onverkwikkelijk ook, was de vernietiging een opvoering. Destructief scannen, een gangbare methode bij digitalisering, dient een ander doel: het exemplaar gaat onder de guillotine om de inhoud te bewaren. Het boek wordt vernietigd; de tekst wordt gedematerialiseerd. Wie naar Fahrenheit 451 grijpt, mag zich de centrale les van dat boek herinneren: een tekst is niet het papier waarop hij gedrukt staat.

Scherper dan de Daily Mail maar niet minder onbeholpen gooide olie op het vuur door “zeldzame boeken” in zijn kop te zetten. Toch zei een boekhandelaar die in datzelfde onderzoek wordt aangehaald dat deze bulkbestellingen , wat grotendeels wijst op edities die zijn verschenen na de invoering van het ISBN rond 1970. Dit is het spul van rommelmarkten en kringloopwinkels, vaak maar één zolderopruiming verwijderd van de papiercontainer. Alvorens een culturele catastrofe af te kondigen, zou men de bibliotheekcatalogus kunnen raadplegen. Dit zijn precies de publicaties waarvoor bibliotheken met wettelijk depot bestaan. Toegegeven, een ISBN garandeert niet dat er een depotexemplaar bewaard is gebleven, maar schaarste op de tweedehandsmarkt bewijst evenmin dat een tekst verdwenen is.

Boeken hebben natuurlijk wel een materiële geschiedenis. Exemplaren die door hun aantekeningen, opdrachten of herkomst historische betekenis hebben, verdienen het om te worden opgespoord en bewaard. Tweedehandsboekhandelaren hebben daar een rol in: wie zo’n exemplaar herkent, heeft een reden om het buiten een partij te houden die voor de pulpmolen bestemd is. We mogen ons ook zorgen blijven maken over de slinkende voorraad fysieke exemplaren van uitverkochte titels. Maar dan moeten we ook vragen waarom hun rechthebbenden ze niet herdrukken en evenmin toegang geven tot de bestaande digitale facsimile’s. Onderzoekers kennen de frustratie: Google Books vindt de passage die je nodig hebt en biedt je dan een snipper aan van een boek dat je nieuw kunt kopen noch online kunt lezen. Er valt hier dus wel degelijk over verliezen te discussiëren, maar die maken van een scanner nog geen nazibrandstapel.

De boekhandel zelf vermaalt intussen al lang routineus onverkochte boeken tot pulp. Alleen al in Frankrijk werden in 2023 naar schatting , ruwweg 60 procent van het tonnage dat onverkocht naar de distributeurs terugging. Dat heet voorraadbeheer. Overtollige exemplaren en schaarse tweedehandstitels roepen elk hun eigen vragen over toegang op, maar papier vernietigen komt op zichzelf niet neer op censuur of tirannie.

Meer boeken, betere AI?

Dat AI-bedrijven boeken kopen en scannen is eigenlijk goed nieuws. Een technologie die voortdurend wordt verweten dat ze de menselijke cultuur maar oppervlakkig begrijpt, neemt er meer van in zich op, en men had mogen verwachten dat wetenschappers die inspanning zouden toejuichen.

Het web is een armzalig surrogaat voor het opgebouwde archief van een taal. Veel van het opgetekende leven van een taal, van romans en memoires tot populaire liedjes en getranscribeerde gesprekken, heeft de sprong van druk naar web nooit gemaakt. Veel van die boeken hebben hun uitgevers overleefd. Ze in de trainingsdata opnemen is het belangrijkst waar weinig anders voorhanden is. Een paar Engelse boeken extra leveren misschien een marginale verbetering op. In een slecht vertegenwoordigde taal kunnen diezelfde boeken echter het verschil betekenen tussen een bruikbaar en een onbruikbaar systeem. Of deze instrumenten thuishoren in onze publieke diensten of in ons dagelijks leven, is een zaak voor het publieke debat. Maar waar we ze ook besluiten te gebruiken, we moeten dat in onze eigen taal kunnen doen.

De bestellingen waarover in Spanje en Nederland is bericht, maken het taalkundige belang tastbaar. In mei beschreef een boekhandelaar in Badalona die herhaaldelijk bestellingen kreeg, vooral voor Catalaanse non-fictie: geschiedenisboeken, technische handleidingen en oude congresbundels. In augustus berichtte de Nederlandse pers over een verzoek aan De Slegte om . De taal van de boeken verdient minstens zoveel aandacht als het lot van hun banden. Van de Daily Mail is dat misschien te veel gevraagd. Maar ook de bezadigdere kranten hebben weinig gezegd over de talen die in het spel zijn.

Licentieovereenkomsten met grote uitgevers kunnen eveneens waardevol materiaal opleveren, maar hun digitale catalogi dekken maar een fractie van wat ooit in druk is verschenen. Boeken die nooit zijn gedigitaliseerd, of waarvan de uitgever de rechten niet meer bezit, vallen buiten het aanbod. Zelfs een royale licentiedeal kan niet in de plaats treden van de geschiedenis van het uitgeversbedrijf, laat staan van de geschiedenis van een cultuur. Tweedehandsexemplaren opkopen is een manier om voorbij die commerciële grenzen te reiken.

“Diefstal” is geen argument

Het “diefstal” noemen helpt evenmin. In juni 2025 oordeelden twee Amerikaanse districtsrechtbanken dat het gebruik van boeken om taalmodellen te trainen in de voorliggende zaken onder fair use viel. In benadrukte de rechtbank het transformatieve karakter van de training: de boeken werden gebruikt om een systeem te bouwen dat nieuwe uitdrukkingsvormen kan voortbrengen. Modellen kunnen passages memoriseren, maar een boek voor training gebruiken maakt de hele tekst nog niet op afroep opvraagbaar. Evenmin veegt de afwezigheid van letterlijke reproductie elk bezwaar van tafel. In waarschuwde de rechter dat door AI gegenereerde werken de markt zouden kunnen overspoelen en dat bewijs van zulke schade een beroep op fair use kan doen stranden. Deze eisers hadden echter geen noemenswaardig bewijs geleverd van zulke schade aan hun eigen werk. Geen van beide uitspraken geeft AI-bedrijven vrij spel of beslecht het ethische geschil. Ze verplichten ons onderscheid te maken tussen hoe boeken worden verworven, hoe kopieën worden bewaard en wat de training ermee doet. Dat alles “diefstal” noemen laat die vragen onbeantwoord.

Terzijde: de uitspraak in de zaak Anthropic levert een rechtvaardiging voor de guillotine. De rechtbank keurde de digitalisering van gekochte exemplaren goed en verwierp het aanleggen van een permanente bibliotheek van illegaal gekopieerde boeken, waarvoor het bedrijf later . De digitalisering werd mede goedgekeurd omdat elk gedrukt exemplaar bij de omzetting werd vernietigd: de digitale kopie kwam ervoor in de plaats en werd niet buiten het bedrijf gedeeld. De vernietiging waar sommigen zich zo over opwinden, hielp Anthropic aantonen dat zijn digitaliseringsprogramma fair use was. Kopen, scannen en weggooien bood in dat geval een wettige route. De guillotine is hier een instrument om binnen de wet te blijven.

Er zijn goede redenen om te willen dat AI put uit meer talen, meer wetenschap en meer van de wereld die vóór het internet bestond. Die redenen verdwijnen niet omdat een bedrijf dat we niet mogen er een commerciële kans in heeft gezien.

Geleende verontwaardiging

Terug dan naar de Daily Mail. Haar artikel maakt deel uit van , een campagne van kranteneigenaren en uitgevers die streven naar voor AI. Twee handige substituties doen het werk: Big Tech staat voor AI, en de rechthebbenden staan voor “Britse creativiteit”. De lezer wordt uitgenodigd de cultuur te verdedigen terwijl uitgevers over de voorwaarden van de verkoop onderhandelen. Wetenschappers die het verhaal delen, mogen zich afvragen wiens zaak hun verontwaardiging dient.

Big Tech en de kibbelen over de pacht, maar geen van beide heeft iets tegen het hek. Het verhaal van de eenzame auteur die door een techreus wordt beroofd, verhult wat dure licentiedeals beide bedrijfskampen te bieden hebben: de uitgevers worden betaald, en Big Tech krijgt een markt waarin zijn kleinere concurrenten het zich niet kunnen veroorloven mee te dingen. Peter Thiel verwoordde de voorkeur van Silicon Valley botter: .

Licenties hoeven niet tot die uitkomst te leiden. Betaalbare, niet-exclusieve toegang zou kleinere ontwikkelaars kunnen helpen. Maar een systeem dat elke nieuwkomer dwingt dure deals te sluiten met de grote rechthebbenden, maakt koopkracht tot toegangsvoorwaarde. Een betaling die wordt voorgesteld als tegemoetkoming aan de cultuurindustrie, koopt uiteindelijk bescherming tegen toekomstige concurrenten.

AI is niet van Big Tech

Er speelt een dieper probleem. Te veel kritiek op AI houdt de grootste commerciële leveranciers voor het hele veld. De producten domineren de krantenkoppen; het onderzoek en de ontwikkeling buiten die bedrijven verdwijnen uit beeld. Big Tech kon zich nauwelijks een nuttiger misverstand wensen. Zijn ambitie om het veld in bezit te nemen wordt het uitgangspunt van de kritiek die tegen hem wordt gericht. Het monopolie is nog niet binnen. Wie het als een voldongen feit behandelt, bewijst die bedrijven een enorme dienst. Het leidt bovendien de aandacht af van open source: van wat het nodig heeft, van zijn kansen om te bestaan, van zijn belangen, van zijn legitimiteit als alternatief.

Opensource-AI stelt mensen in staat systemen te bouwen en aan te passen die een grotere verscheidenheid aan talen, culturen en uitdrukkingsvormen weerspiegelen. Voor landen in Europa, Afrika, Latijns-Amerika en Azië is dat een praktische basis voor technologische en culturele soevereiniteit: het vermogen om zelf te bepalen hoe systemen werken, welke talen ze bedienen en waar ze worden ingezet. Of we AI gebruiken, en waarvoor, moet een publieke keuze blijven, geen beslissing die wordt gedicteerd door afhankelijkheid van een buitenlands oligopolie.

Maar de vrijheid om een systeem aan te passen stelt weinig voor zonder de middelen om dat te doen. Onafhankelijk werk vereist expertise, rekeninfrastructuur en toegang tot trainingsmateriaal. En zo zijn we terug bij de boeken. Als elk onderzoeksteam of elke publieke instelling zijn eigen uitgeversdeals moet sluiten of zijn eigen privébibliotheek moet aanleggen, wordt onafhankelijkheid onbetaalbaar, zelfs voor sommige rijke landen.

De boeken zijn er al

Bibliotheken en archieven hebben generaties lang het materiaal verzameld dat deze systemen nodig hebben. Hun collecties bestaan omdat de toegang tot kennis het commerciële belang om haar te verkopen moet overleven. Veel is al gescand: bezit zo’n negentien miljoen gedigitaliseerde delen uit onderzoeksbibliotheken, waarvan vele nog auteursrechtelijk beschermd zijn. Een bibliotheek scant een boek en bewaart het. Niemand heeft daar een guillotine nodig. HathiTrust , maar heeft ook aangekondigd, een project om corpustoegang te bieden voor niet-commercieel AI-onderzoek en niet-commerciële ontwikkeling. Toegang op die voorwaarden zou sommige onafhankelijke ontwikkelaars nog altijd buiten de deur houden.

Het bezit van de boeken geeft een bibliotheek echter niet het recht om hun auteursrechtelijk beschermde inhoud als trainingscorpus te verspreiden. Het staat onderzoeksinstellingen en bibliotheken toe om rechtmatig toegankelijke werken te minen voor wetenschappelijk onderzoek, en staat ruimer minen toe waar rechthebbenden hun rechten niet hebben voorbehouden. : zijn uitzondering voor tekst- en datamining geldt voor niet-commercieel onderzoek en beperkt de overdracht van kopieën. Geen van beide kaders geeft bibliotheken een algemeen recht om hun auteursrechtelijk beschermde collecties te delen zodat anderen erop kunnen voortbouwen.

We zouden ook kunnen heroverwegen hoe lang rechthebbenden zeggenschap moeten houden over computationeel gebruik van boeken. Farmaceutische octrooien belichamen een ruil: tijdelijke exclusiviteit beloont innovatie, daarna komt de uitvinding beschikbaar voor anderen. Hun gebruikelijke termijn van twintig jaar is veel korter dan de bescherming van het auteursrecht, die het hele leven van de auteur duurt en nog zeventig jaar daarna. Waarom zou een vergelijkbaar beginsel niet gelden voor computationeel gebruik van boeken? Zeg twintig jaar na de eerste publicatie zou een boek beschikbaar kunnen komen voor tekst- en datamining zonder licentiekosten, terwijl de rechten op heruitgave en verkoop beschermd blijven. Auteurs zouden aan hun boeken kunnen blijven verdienen zonder dat generaties onderzoekers om toestemming moeten onderhandelen om ze te analyseren.

Twee jaar geleden betoogde ik in dat erfgoeddata als publiek goed moeten worden behandeld. Overheden zouden bibliotheken en archieven moeten financieren om hun collecties te digitaliseren, te transcriberen en te documenteren, en hun de wettelijke bevoegdheid moeten geven om de resulterende corpora beschikbaar te stellen zodat anderen erop kunnen voortbouwen. Big Tech zou via een speciale heffing kunnen meebetalen.

Publieke financiering moet gepaard gaan met gepubliceerde collectie- en toegangsregels, die zowel academisch als commercieel werk bestrijken, zonder exclusieve deals of voorkeurstoegang voor donateurs. Toegang voor training hoeft niet te betekenen dat auteursrechtelijk beschermde boeken onbeperkt mogen worden herverspreid. Auteurs moeten meedenken over het publieke stelsel, ook over hoe het omgaat met toestemming, vergoeding en concurrentie met hun werk. Gratis toegang voor gebruikers sluit een publiek gefinancierde vergoeding voor auteurs niet uit. Het , dat auteurs uit publieke middelen betaalt wanneer hun boeken worden uitgeleend, biedt daarvoor een precedent. Om de brandstapel ging het nooit. Om het hek wel.

Beste redacteuren: als u mijn stem wilt, geef me dan mijn taal terug

Thu, 27 Aug 2026 00:00:00 +0000

Weer een dag, weer een tijdschrift dat met zijn AI-beleid te koop loopt. Ditmaal is het Progress in Human Geography, waarvan de redactie heeft gepubliceerd die waarschuwt dat AI gebruiken als vervanging voor het eigen lezen, denken en schrijven “een schending van de academische ethiek is, vergelijkbaar met plagiaat”. Artikelen die de regels overtreden, “kunnen worden ingetrokken”; in het beste geval worden ze gecorrigeerd, met een rectificatie in het tijdschrift. Auteurs, voegen de redacteuren eraan toe, doen er goed aan “zorgvuldig te overwegen of zij hun naam met intrekkingen en rectificaties in verband gebracht willen zien”.

Bij die zin mogen we even stilstaan. Intrekking is de zwaarste sanctie die het wetenschappelijk publiceren kent, de straf die normaal is voorbehouden aan vervalsing en fraude. Hier wordt ze gekoppeld aan een vergrijp dat hetzelfde redactioneel niet weet te definiëren. Er zijn, geven de redacteuren toe, “echte grijze zones” en “geen duidelijke lijnen die de zone van ‘onverantwoordelijkheid’ afbakenen”. De handhaving zal berusten op “oordelen die sommige auteurs tegen de borst kunnen stuiten, die dan zullen beweren geen onbehoorlijk gebruik van AI te hebben gemaakt”: iemands eigen verklaring kan met andere woorden terzijde worden geschoven. Het advies dat volgt, luidt: blijf “veilig in de zone van ‘verantwoordelijkheid’”, en men raadt alleen tot veiligheid waar gevaar dreigt. Mensen straffen omdat ze een lijn overschrijden waarvan je zelf toegeeft dat je haar niet kunt trekken, heeft alleen zin als je met angst wilt regeren. Onthoud dat even.

Het voorwendsel van de stem

Hoe ziet verantwoord gebruik eruit? Auteurs krijgen te horen: “er moet grote zorg aan worden besteed … de eigen stem te behouden”. Misbruik is AI inzetten “om te schrijven in een taal die auteurs zelf normaal nooit zouden gebruiken”. Voor een moedertaalspreker is dat zinnig: doe je niet anders voor dan je bent. Maar voor buitenlanders die in een vreemde taal moeten schrijven, spreekt het gebod zichzelf tegen. De stem die het beleid beschermt, is precies wat de regels van het tijdschrift ons ontzeggen.

Neem mij als proefpersoon. Engels is mijn vierde taal, precies het soort taal dat ik “normaal” nooit zou gebruiken. Engelstalige universiteiten hebben me geleerd het kort, met wegwijzers en bijna mechanisch te schrijven: de kernzin vooraan, de voorbehouden op de voorgeschreven plaatsen, de overgangen uit de goedgekeurde lijst. De training heeft gewerkt: in mijn Engels heeft nooit een stem gezeten die beschermd moest worden; het was het eerste wat eruit moest. Volgens de definitie van de redactie zelf zou alles wat ik ooit in het Engels heb geschreven onbehoorlijk gebruik zijn, met of zonder machine.

Tussen twee vuren

De redacteuren zeggen dat ze aan ons hebben gedacht: het beleid erkent dat niet-moedertaalsprekers er baat bij hebben dat AI hun Engels nakijkt, en zelfs bij zijn “vertaal-, schrijf- en redactiediensten”. Toch mag de rol van AI bij het schrijven “hoogstens neerkomen op hulp bij het redigeren en corrigeren”, en moet ze ophouden vóór “grote brokken door AI geschreven tekst”. Een machinevertaald artikel is van het eerste tot het laatste woord door AI geschreven; het bestaat uit niets anders dan zulke brokken. De concessie houdt dus alleen stand als vertalen geen schrijven is. Waar loopt die grens? Dat hebben ze ons al verteld: “geen duidelijke lijnen”.

Het wordt nog erger, want de verdenking is niet alleen niet-falsifieerbaar. Er wordt ook nog eens met valse dobbelstenen gespeeld. In 2023 testte een team van Stanford zeven veelgebruikte AI-detectoren op essays van menselijke hand: de detectoren merkten gemiddeld 61% van de TOEFL-essays van niet-moedertaalsprekers aan als machinaal gegenereerd, terwijl ze essays van moedertaalsprekers vrijwel feilloos classificeerden; één detector betrapte 97,8% van de TOEFL-reeks ( ). De reden is leerzaam. Detectoren meten voorspelbaarheid, en Engels als tweede taal, getraind naar het gemiddelde toe, is per definitie voorspelbaar: het meest waarschijnlijke woord in de meest waarschijnlijke volgorde. Dezelfde studie vond dat signaal terug in echt wetenschappelijk werk: minder taalkundige variatie in conferentiebijdragen waarvan de eerste auteur geen moedertaalspreker is. De stilistische kenmerken die als “AI” worden gelezen, zijn de kenmerken van bekwaam Engels als tweede taal, en een menselijk oordeel leest dezelfde kenmerken als de machine. Zo zit ik tussen twee vuren: schrijf ik mijn eigen Engels, dan lijk ik een machine; gebruik ik de machine, dan overtreed ik hun regel.

De taaltaks

De paradox zou onschuldig zijn als er geen dreigementen bij kwamen. Maar die dreigementen leggen een dieper en ouder probleem bloot dat het beleid nooit bij naam noemt: eentaligheid. De vragen om “een zo breed mogelijke internationale dekking”, terwijl op dezelfde pagina staat: “de taal van het tijdschrift is Engels”.

De kosten van die regeling zijn niet hypothetisch. Amano en collega’s ondervroegen 908 milieuwetenschappers en stelden vast dat niet-moedertaalsprekers van het Engels tot 51% meer tijd besteden aan het schrijven van een artikel, het 2,5 keer zo vaak afgewezen zien en 12,5 keer zo vaak gevraagd worden het te herzien, en dat alleen om taalredenen ( ). Die taks wordt geheven nog vóór er enig AI-beleid aan te pas komt; het verklaringsformulier en zijn dreigementen zijn een audit die daar nog bovenop komt.

Fin d’empire

Eentaligheid is het axioma waarover niemand het heeft. Het is een imperiale erfenis die met de tijd een praktische rechtvaardiging kreeg: vertalen was traag en duur, en geen redactie kon beoordelen wat ze niet kon lezen. Niets daarvan overleeft echter de vooruitgang van de machinevertaling. Machinevertaling van het hoogste niveau kan dienen als betrouwbare tussenlaag tussen auteurs en redacties.

De ideale uitweg is menselijk: wetenschappers zouden meer dan één taal moeten lezen. In plaats daarvan sluiten Engelstalige universiteiten liever hun talenopleidingen. Merk op dat die sluitingen een Anglo-Amerikaans verschijnsel zijn: wetenschappers elders hebben zich de luxe van eentaligheid nooit kunnen veroorloven. En let op het moment. Een talenopleiding sluiten is een gok: de gok dat het Engels voorgoed heeft gewonnen en dat er nooit meer iets lezenswaardigs in een andere taal zal worden geschreven. Die gok wordt op precies het verkeerde moment gewaagd, en dat om twee redenen. Ten eerste omdat machinevertaling het voor het eerst mogelijk maakt om het helemaal zonder lingua franca te stellen; ten tweede omdat de orde die het Engels tot de norm maakte, terugwijkt: de Engelstalige wereld keert zich naar binnen, de globalisering ebt weg, de vrijhandel wordt betwist tot in zijn eigen bakermat, en er tekent zich een multipolaire wereld af waarin de talen die het lezen waard zijn zich zullen vermenigvuldigen. Universiteiten leveren wetenschappers af die alleen Engels lezen, voor een wereld waarin Engels niet meer zal volstaan. Redacties zullen dat verlies als eerste erven.

Een test voor de redactie

Wanneer een redactie klaagt dat ze de eigen stem van haar auteurs niet kan lezen, ligt een deel van het probleem misschien bij de redactie zelf.

Dat is een zware beschuldiging, en er hoort een serieuze test bij. Zou Progress in Human Geography een inzending in het Frans, Italiaans of Japans laten beoordelen, vergezeld van een machinevertaalde Engelse versie? De eigen richtlijnen van het tijdschrift erkennen de “vertaaldiensten” die dat mogelijk maken. Een ja maakt een einde aan het probleem. Een nee zou ons vertellen wat het beleid werkelijk beschermt.

Hoe dan ook is de keuze aan de redactie. Als de stem er, zoals zij beweert, toe doet, dan moet het tijdschrift artikelen aannemen in de talen waarin auteurs denken. Zo niet, dan kan het verklaringsformulier de prullenmand in, en de dreigementen erbij.

tei-mcp v0.3: TEI coderen zonder de bron te herschrijven

Tue, 05 May 2026 00:00:00 +0000

Toen ik , was het doel te voorkomen dat AI-assistenten TEI-markup hallucineren. Schemaverankering loste een deel van het probleem op: met rechtstreekse, op tools gebaseerde toegang tot de P5-specificatie hoeft het model niet langer te raden wat een element betekent of welke attributen het aanvaardt. De uitvoer valideert.

Maar hallucinatie heeft bij TEI-codering twee gezichten, en het schema vangt er maar één van op. Validatie tegen de specificatie vertelt je dat de markup welgevormd is. Ze zegt niets over de tekst die de markup omsluit. En juist daar – in de tekst zelf – schuilen de schadelijkste hallucinaties. Span-locked composition, het paradepaardje van v0.3, is speciaal ontworpen om die te voorkomen.

Inhoudsopgave

De hallucinatie die het schema niet kan vangen

Vraag een model een zestiende-eeuwse Franse brief te coderen en je krijgt vaak een TEI-document terug dat er onberispelijk uitziet. De header is ingevuld, de <persName>-tags staan op de juiste plaats, de <dateline> is welgevormd. Haal het door validate_document en het slaagt.

Vergelijk dan de lopende tekst met de bron.

mesme is même geworden. Een komma is verhuisd. luy is stilzwijgend gemoderniseerd tot lui. Een zinsdeel dat in het handschrift moeilijk leesbaar was, is “verbeterd” tot iets netters. Om geen van die wijzigingen is gevraagd. Geen ervan wordt gemeld. Het document is schemageldig en in alle stilte fout.

Voor een archivistische workflow – waarin de gecodeerde tekst de blijvende versie wordt waarop latere lezers, zoekindexen en citaties vertrouwen – is dit de faalwijze die er het meest toe doet. Een misvormde tag is vervelend. Een gemoderniseerde spelling die vijf jaar lang niemand opmerkt, is een corruptie.

Span-locked composition

De nieuwe versie (v0.3) bevat een mechanisme tegen hallucinaties dat precies op deze faalwijze mikt. Het ontwerpdoel is hallucinaties in de lopende tekst per constructie onmogelijk te maken, niet alleen onwaarschijnlijk.

Het idee is eenvoudig: het model typt nooit lopende tekst.

De workflow ziet er in plaats daarvan zo uit:

Het model roept get_source("letter_001") aan en ontvangt de platte brontekst als onveranderlijke string.
Voor elke tag die het wil aanbrengen, roept het tag_span("letter_001", start, end, element_path, attrs) aan – het registreert daarmee een TEI-element op een tekenbereik in de bron.
Is het klaar, dan roept het compose("letter_001") aan. De server vlecht de geregistreerde tags door de oorspronkelijke platte tekst, rendert de definitieve TEI en controleert vervolgens byte voor byte of de platte tekstinhoud van het gerenderde document gelijk is aan de bron.

Komen de bytes overeen, dan komt het document terug. Zo niet – als de tags van het model op een of andere manier een lopende tekst impliceren die ook maar één teken van de bron afwijkt – dan werpt compose() een fout op in plaats van een corrupt document terug te geven.

Er is geen route door deze workflow waarlangs het model een TEI-document produceert waarvan de lopende tekst van de bron afwijkt. De invariant is mechanisch, niet gedragsmatig. Je hoeft er niet op te vertrouwen dat het model niet hallucineert; je hoeft alleen te vertrouwen op een ==-vergelijking tussen twee bytestrings.

Wat dit is, en wat het niet is

Span-locked composition is een aanvulling op schemaverankering, geen vervanging ervan. De tools voor schemaverankering (validate_document, lookup_element, valid_children en de rest van de oorspronkelijke zestien) helpen het model geldige TEI te produceren. Span-locked composition garandeert dat de lopende tekst binnen die TEI trouw is aan de bron. Een inzetbare codeerworkflow moet aan beide eisen voldoen, en nu dekt één server ze allebei.

Het is ook geen wondermiddel voor alles. compose() controleert nog niet of de geregistreerde tags toelaatbaar zijn volgens een geladen ODD-customisatie – dat komt later. Geregistreerde tags leven in het procesgeheugen en overleven een herstart niet. En de bronbestanden moeten leesbaar zijn vanaf de plek waar de server draait. Dat valt allemaal op te lossen; niets ervan ondergraaft de kerninvariant.

Waarom dit verder reikt dan TEI

Het patroon laat zich veralgemenen. Telkens wanneer een model wordt gevraagd een stuk tekst te annoteren, te transformeren of te omsluiten – en telkens wanneer de integriteit van de onderliggende tekst zwaarder weegt dan het vermogen van het model om die te “verbeteren” – past dezelfde vorm van oplossing. Vraag het model niet de tekst over te typen. Vraag het instructies over de tekst te produceren, en laat een deterministische composer die toepassen onder een gelijkheidsinvariant.

Voor digitale edities in het bijzonder verandert dit wat je een model verantwoord kunt vragen. Coderen wordt ineens een taak die je kunt delegeren zonder elke uitvoer handmatig met de bron te hoeven vergelijken. De machine neemt de saaie weg; de editeur beoordeelt de markup, niet de spelling.

De update ophalen

Heb je tei-mcp al geïnstalleerd:

uvx tei-mcp@latest

Of bij een nieuwe installatie:

pip install tei-mcp

Om span-locked composition te gebruiken, wijs je de server naar een map met platte bronbestanden:

export TEI_MCP_SPAN_SOURCE_ROOT=/path/to/sources
uvx tei-mcp

De naam van elk bestand (zonder extensie) wordt zijn document-ID (letter_001.txt → letter_001).

Broncode, volledige documentatie en de ontwerpnotities bij de invariant:

Een ander soort digitale editie

Tue, 24 Mar 2026 00:00:00 +0000

De meeste primaire bronnen worden nooit gepubliceerd. Het model waarop we vertrouwen om daar iets aan te doen – de gesubsidieerde digitale editie – is te duur, te gecentraliseerd en te kwetsbaar om op grote schaal te werken. Ik heb zojuist gepubliceerd waarin ik uitleg waarom ik de kritische editie van Cavriana’s brieven anders opbouw: gedigitaliseerde primaire bronnen die organisch groeien, met minimale infrastructuur, geautomatiseerd onderhoud, open voor samenwerking, en zo goedkoop dat er niet eens subsidies voor nodig zijn. Het is een pleidooi voor een soort digital humanities dat werkt, met of zonder institutionele steun.

tei-mcp: TEI P5 voor AI-agents

Sun, 15 Mar 2026 00:00:00 +0000

Wie ooit een AI-codeerassistent TEI-XML heeft laten schrijven, heeft het vast gemerkt: het gaat mis. Elementen duiken op waar ze niet horen. Attributen worden verzonnen. Nestingregels worden genegeerd. Het model heeft een ruw idee van hoe TEI eruitziet, maar geen betrouwbare kennis van de specificatie.

tei-mcp lost dat op door AI-agents rechtstreeks, via tools, toegang te geven tot de TEI P5 Guidelines.

Inhoudsopgave

Wat is MCP?

Het (MCP) is een open standaard waarmee AI-toepassingen verbinding kunnen maken met externe gegevensbronnen en tools. Zie het als een USB-poort voor AI: één protocol waarmee elke compatibele client – Claude, Cursor, Windsurf en andere – op gespecialiseerde diensten kan aansluiten.

Een MCP-server stelt tools beschikbaar die de AI tijdens een gesprek kan aanroepen. In plaats van te vertrouwen op uit het hoofd geleerde trainingsdata kan het model een actuele, gezaghebbende bron bevragen.

Wat tei-mcp doet

tei-mcp parseert de ODD-specificatie van TEI P5 en biedt 16 tools aan die de meest voorkomende vragen van een editeur of encoder beantwoorden:

Wat is dit element? Zoek elk element, elke klasse, macro of module op naam op, hoofdletterongevoelig en met suggesties bij tikfouten.
Welke attributen neemt het? Los attributen op over de hele klassenhiërarchie – eerst de lokale, dan de geërfde, in volgorde.
Wat mag erin? Klap inhoudsmodellen uit tot gestructureerde bomen, of vraag een platte lijst van geldige kinderen op.
Mag dit element hier staan? Controleer de nesting van ouder en kind, of volg de bereikbaarheid door de volledige elementenhiërarchie.
Is mijn document geldig? Valideer een TEI-XML-bestand tegen de specificatie: inhoudsmodellen, attribuutwaarden, gesloten waardelijsten, referentie-integriteit en waarschuwingen bij verouderde elementen.
En mijn projectschema? Laad een ODD-customisatiebestand om dit alles te beperken tot de specifieke TEI-deelverzameling van je project.

Waarom het ertoe doet

TEI-codering vereist dat je voortdurend de Guidelines raadpleegt. Ervaren encoders kennen de gangbaarste patronen uit het hoofd, maar zelfs zij moeten de specificatie erbij nemen voor minder vertrouwde elementen of ingewikkelde inhoudsmodellen. Voor AI-assistenten, die zulke verinnerlijkte kennis niet hebben, is het probleem erger: ze hallucineren markup die er plausibel uitziet maar niet klopt.

Met tei-mcp hoeft de AI niet te gokken. Het kan het antwoord in de specificatie opzoeken voordat het één punthaak schrijft. Het resultaat is markup die voldoet aan TEI P5 – of aan de ODD-customisatie van je project.

Aan de slag

Installeer vanaf PyPI:

pip install tei-mcp

Voeg de server daarna toe aan de configuratie van je MCP-client:

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

De server downloadt de TEI-specificatie bij de eerste start en werkt met elke MCP-compatibele client.

Broncode en volledige documentatie:

Binaire codering onderwijzen met de ITA2-telegraafemulator

Thu, 13 Feb 2025 00:00:00 +0000

Abstracte begrippen tastbaar maken

Deze ITA2-emulator is een praktisch hulpmiddel voor de les. Door abstracte coderingsbegrippen zichtbaar en interactief te maken, laat hij studenten kennismaken met een kernbegrip uit de informatica en de telecommunicatie: de binaire voorstelling – hoe tekst verandert in patronen van enen en nullen. Meestal onderwijzen we dat abstract; wie de gaatjes daadwerkelijk ziet verschijnen, begrijpt beter hoe een fysiek systeem digitale informatie kan weergeven.

ITA2 (Baudot-Murray) Telegraph Type Emulator

Type a word in the input below to see its representation on the ITA2 tape.

Type word:

Historische context: van telegraaf tot computer

De ITA2-code (International Telegraph Alphabet No. 2), ook bekend als de Baudot-Murray-code, werd in de jaren twintig van de vorige eeuw ontwikkeld als verfijning van de oorspronkelijke telegraafcode van Émile Baudot uit de jaren 1870. Deze vroege telecommunicatiesystemen hebben de latere ontwikkeling van de computer rechtstreeks beïnvloed:

De vijfbitscodering was een vroeg voorbeeld van tekencodering
De beperkte tekenset (met vijf bits zijn maar 32 combinaties mogelijk) leidde tot het vernuftige LETTERS/FIGURES-schakelmechanisme
Het systeem bleef tot ver in de twintigste eeuw in gebruik voor telexapparaten

Toestandsmachines leren door te spelen

Het LETTERS/FIGURES-schakelmechanisme is een natuurlijke inleiding tot toestandsmachines. Studenten ontdekken al experimenterend dat hetzelfde patroon verschillende tekens kan voorstellen, afhankelijk van de actieve modus. Wie zo hands-on ervaring opdoet met toestandsafhankelijke codering, is beter voorbereid op ingewikkelder concepten uit de informatica. Het bitpatroon 00011 staat bijvoorbeeld voor:

de letter ‘A’ in de LETTERS-modus
het cijfer ‘1’ in de FIGURES-modus Deze dubbele lezing, afhankelijk van de toestand, ligt aan de basis van hoe computers met gegevens omgaan.

Lesactiviteiten

Enkele manieren om de ITA2-emulator in het onderwijs in te zetten:

Codekraken: laat studenten berichten ontcijferen die als ITA2-patronen zijn gecodeerd
Zuinig coderen: bespreek waarom het schakelmechanisme belangrijk was om bandbreedte te sparen
Evolutie van de codering: vergelijk de vijfbitscode van ITA2 met ASCII (7 bits) en Unicode
Physical computing: leg het verband tussen dit historische systeem en moderne microcontrollers zoals Arduino

Winst voor de toegankelijkheid

Los van het historische belang komt deze aanpak tegemoet aan uiteenlopende leerstijlen:

visueel ingestelde studenten zien de patronen
wie al doende leert, grijpt rechtstreeks in het coderingsproces in
conceptuele denkers kunnen de wiskundige kant van de informatietheorie verkennen

Technische details

De emulator is geschreven in JavaScript en laat zich eenvoudig in elk webgebaseerd leerplatform inbouwen. De code is modulair en kan aan verschillende onderwijscontexten worden aangepast. De broncode vind je hier, en je kunt de emulator er meteen zelf uitproberen:

Een perceptuele geografie van de Levante

Sat, 29 Oct 2022 10:02:52 -0500

Inleiding

De Levante is een ongrijpbare plek. Doorgaans gedefinieerd in relatie tot – of in tegenstelling tot – een ander gebied, heeft de term zelden een vaste betekenis gehad: naargelang van waar en wanneer hij werd gebruikt, riep hij andere geografieën op. Maar al valt een objectieve en precieze definitie moeilijk te formuleren, men kan toch hopen een subjectieve kaart van die regio te tekenen, op basis van de correlaties die binnen een bepaald tekstcorpus bestaan. Met andere woorden: welke ruimte kon de Levante voor een specifieke groep lezers oproepen?
In dit bericht laat ik zien hoe je met gegevens uit de van het Medici Archive Project de specifieke plaatsen kunt visualiseren waarmee het toponiem werd geassocieerd.

De MIA-database

De MIA-database is een samenwerkingsplatform voor onderzoekers die hun eigen foto’s van archiefmateriaal uit het willen uploaden en delen. Het afgelopen jaar heeft ons team, met steun van het , duizenden documenten uit de avvisi-afdeling van het archief Mediceo del Principato in Florence gefotografeerd, getranscribeerd, samengevat en geclassificeerd. Onze database was weliswaar niet in de eerste plaats voor statistische analyse bedoeld, maar de metadata die we beschikbaar hebben gesteld, kunnen wel worden gedownload en als dataset worden gebruikt.

De dataset

De dataset die ik in dit geval heb aangemaakt, omvat alle nieuwsberichten uit de Levante van 1543 tot 1566, dat wil zeggen van de eerste in het archief geregistreerde avviso tot het sterfjaar van sultan . Hier is een staaltje van de gegevens die ik van de server heb gehaald. Ze bestaan uit drie kolommen: een uniek documentnummer, een plaatsnaam en een datum.

57386 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57386 Modon / Messinias, Nomos / Peloponnisos / Ellas 1565-1-3
57386 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57386 Evvoia / Evvoias, Nomos / Sterea Ellas-Evvoia / Ellas 1565-1-3
57386 Venetian Republic / Italia / Europe / World 1565-1-3
57386 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57386 Black Sea / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Otranto / Lecce / Puglia / Italia 1565-1-3
57389 Nisoi Aiyaiou / Ellas / Europe / World 1565-1-3
57389 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57389 Buda / Budapest / Budapest / Magyarorszag 1565-1-3
57389 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57389 Kipros / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Rodhos / Rodos, Nisos / Sporadhes / Nisoi Aiyaiou 1565-1-3
57389 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57389 Çorlu / Thraki / Ellas / Europe 1565-1-3

De gegevens opschonen

Om deze gegevens te visualiseren, moeten we ze leesbaar maken als csv-dataset (comma separated values). Ook moeten we de geografische informatie omzetten in een “machinevriendelijker” formaat: gps-coördinaten. Omdat de dataset honderden regels telt, automatiseren we dat liever. Dat kan vrij snel en behoorlijk nauwkeurig met voorgetrainde taalmodellen als , of , om er maar een paar te noemen. De operatie vraagt wel om nauwlettend toezicht, want voorgetrainde taalmodellen hebben een lichte neiging tot hallucineren.

documentId,latitude,longitude,documentDate
57386,35.899167,14.514167,1565-1-3
57386,37.05,22.116667,1565-1-3
57386,31.200028,29.918719,1565-1-3
57386,38.366667,23.666667,1565-1-3
57386,45.438333,12.331333,1565-1-3
57386,41.018611,28.984444,1565-1-3
57386,42.7,18.8,1565-1-3
57389,40.216667,18.166667,1565-1-3
57389,37.966667,23.716667,1565-1-3
57389,35.899167,14.514167,1565-1-3
57389,47.4925,19.051389,1565-1-3
57389,31.200028,29.918719,1565-1-3
57389,34.916667,33.616667,1565-1-3
57389,36.405419,28.227778,1565-1-3
57389,41.018611,28.984444,1565-1-3
57389,41.133333,27.416667,1565-1-3

De dichtheidskaart.

Een dichtheidskaart is een visualisatie die laat zien hoe vaak een plaats in een bepaalde dataset wordt genoemd. Dat is bijzonder nuttig om niet alleen de geografische reikwijdte van je gegevens te begrijpen, maar ook hun brandpunten. Welke plaatsen op de kaart worden vaker genoemd? En welke slechts af en toe? Waar liggen de centra, en hoe ver reikt de periferie? Waar op de kaart richt de aandacht van een lezer zich het waarschijnlijkst?

Voor dit experiment – en omdat ik haast had – gebruikte ik een van de API’s van . Maar ook heel wat visualisatiebibliotheken en geografische informatiesystemen laten je hetzelfde soort dichtheidskaart maken.

Enkele observaties

Het resultaat is eerder een impressionistisch tableau dan de nauwkeurige weergave van een scherp omlijnd begrip, en dat is precies wat me aan dit experiment bevalt. Datawetenschap kan immers een machtige bondgenoot van de geesteswetenschappen zijn, maar dat betekent nog niet dat we ons aan haar regels moeten houden.

Een ander interessant aspect van dit experiment is dat de kaart een Levante laat zien die volledig verweven is met de rest van Europa en de Middellandse Zee. Ook wordt duidelijk hoe centraal Edirne stond in de politieke geografie van het Ottomaanse Rijk. Bovendien is de belangrijkste Spaanse stad op de kaart Madrid noch het Escorial, maar Napels. En last but not least lijken eilanden en kleine stadstaten als Ragusa een belangrijke bemiddelende rol te hebben gespeeld tussen de verschillende mogendheden in de regio.

Gegevens opvragen bij MIA

MIA is weliswaar een uitstekend samenwerkingsinstrument voor onderzoekers, maar de gegevens op zijn servers zijn niet gemakkelijk toegankelijk. De back-end is bijvoorbeeld niet in openbare repository’s gepubliceerd. Toch kun je de gegevens bemachtigen door je bij MIA te registreren en met Python verzoeken naar de server te sturen.

Verzoek

url = "https://mia.medici.org/Mia/json/de/advancedsearch/advancedSearchResults/0/90/docYear/asc/?isNewsFeedSearch=False"
payload = [{"searchSection":"archivalLocationSearch","type":"archivalLocationAdvancedSearch","isActiveFilter":True,"repository":None,"collection":"Mediceo del Principato","series":None,"volume":"2863","insert":None},{"searchSection":"categoryAndTypologySearch","type":"categoryAndTypologyAdvancedSearch","isActiveFilter":True,"category":"News","typology":None},{"searchSection":"transcriptionSearch","type":"transcriptionAdvancedSearch","isActiveFilter":False,"transcription":""},{"isActiveFilter":False,"searchSection":"synopsisSearch","type":"synopsisAdvancedSearch","synopsis":""},{"searchSection":"placesSearch","type":"placesAdvancedSearch","isActiveFilter":False,"places":[]},{"searchSection":"peopleSearch","type":"peopleAdvancedSearch","isActiveFilter":False,"people":[]},{"searchSection":"topicsSearch","type":"topicsAdvancedSearch","isActiveFilter":True,"topics":[{"topicTitle":"Place Index","topicId":"51","placeAllId":""}]},{"searchSection":"dateSearch","type":"dateAdvancedSearch","isActiveFilter":False,"dateFilterType":"","dateYear":"","dateMonth":"","dateDay":"","dateBYear":"","dateBMonth":"","dateBDay":""},{"searchSection":"documentOwnerSearch","type":"documentOwnerAdvancedSearch","isActiveFilter":False,"editType":"owner","account":""},{"searchSection":"languagesSearch","type":"languagesAdvancedSearch","isActiveFilter":False,"languages":[]}]
headers = {'Content-type': 'application/json', 'Accept': '*/*'}
r = requests.post(url, data=json.dumps(payload), headers=headers, auth=('LOGIN','PASSWORD'))

Vervang LOGIN en PASSWORD wel door je eigen inloggegevens.

Antwoord naar een bestand schrijven

with open('response.json', 'wb') as fd:
 for chunk in r.iter_content(chunk_size=128):
 fd.write(chunk)

JSON openen

f = open('response.json', encoding="utf8")

JSON-object als dictionary teruggeven

json_complete = json.load(f)

Gegevens uit de JSON selecteren en in csv-formaat wegschrijven

with open('results.csv', 'w', newline='') as csvfile:
 fieldnames = ['documentId', 'placeCited', 'documentDate']
 writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
 writer.writeheader()
 for i in json_complete['data']:
 if i['topics'] != None:
 for x in i['topics']:
 documentId=x['documentId']
 placeCited=x['topicPlaceName']
 year=i['date']['docYear']
 month=i['date']['docMonth']
 day=i['date']['docDay']
 documentDate=str(year)+ "-" + str(month)+"-" + str(day)
 writer.writerow({'documentId': documentId, 'placeCited': placeCited, 'documentDate': documentDate})

Zodra je het bestand results.csv hebt gedownload, kun je de gegevens opschonen zoals hierboven beschreven.

Grootschalig bibliografisch parsen met voorgetrainde taalmodellen

Thu, 07 Jul 2022 19:04:14 +0200

Automatisering is de sleutel om de kosten van projecten in de digital humanities te drukken. Tot op heden werden de repetitieve en saaie klussen die bij editoriaal werk in academische kringen komen kijken, ofwel tegen hoge kosten verricht door overbelaste onderzoekers, ofwel “uitbesteed” aan studenten. In deze betoog ik dat de meeste van die ondankbare taken niet alleen kunnen, maar ook moeten worden geautomatiseerd. Automatisering van editoriale taken drukt de totale kosten van projecten in de digital humanities. En wat vooral telt: ze stelt onderzoekers uit armere regio’s in staat om waardevolle documenten snel en betaalbaar te publiceren.

In heb ik bijvoorbeeld laten zien hoe voorgetrainde taalmodellen het grootste deel van het XML-labelwerk van een digitale editie voor hun rekening kunnen nemen.

In dit bericht geef ik een tweede voorbeeld, ditmaal met bibliografie.

Het probleem

Een bibliografische database aanleggen op basis van de verwijzingen in een wetenschappelijk artikel is vrij eenvoudig. Je zoekt even in een catalogus als , downloadt de verwijzing in een bepaald formaat, of importeert ze automatisch uit een lokale database. Met een of twee artikelen werkt dat prima. Boven een bepaald aantal verwijzingen wordt de klus echter afstompend en tijdrovend. Om daar iets aan te doen kun je parsingalgoritmen als gebruiken. Maar zulke algoritmes laten zich moeilijk opschalen. Toen ik anystyle inzette om de meer dan 150 wetenschappelijke essays van onze om te zetten, stapelden de fouten zich op tot een onbeheersbare berg. Het herkende veel van onze bronnen niet goed – zo zag het de lange titels van vroegmoderne boeken voor iets anders aan – en het struikelde over minder gangbare documenten, zoals specifieke webpagina’s, onlinevideo’s enzovoort. Parsers werken goed, mits de auteur zich strikt houdt aan de regels van een bekende conventie als Chicago, Turabian of MLA. Elke afwijking van de norm levert fouten op.

De oplossing

Hier kunnen voorgetrainde taalmodellen uitkomst bieden: ze doorgronden razendsnel de patronen van welke bibliografische stijl dan ook , zelfs een die je zelf hebt bedacht, en hebben maar een handvol voorbeelden nodig om grote hoeveelheden opgemaakte bibliografie correct om te zetten in een .

Begin 2021 had ik het geluk vroegtijdig toegang te krijgen tot van OpenAI. Codex is een model waarmee je natuurlijke taal naar code vertaalt en omgekeerd. Volgens OpenAI beheerst het meer dan een dozijn programmeertalen, en hoewel de API op het moment dat ik dit schrijf nog als bètaversie beschikbaar is, draait er al populaire software op, zoals GitHubs .

Na wat experimenteren met deze API merkte ik dat ze ook uitstekend overweg kan met eenvoudiger code zoals BibTeX.

Sterker nog: vier voorbeelden in de invoerprompt volstonden om het betrouwbaar te laten werken.

Invoerprompt

References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009.

Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015.

Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. .

Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994.

@incollection{bayle2009,
 author = {Bayle, Ariane},
 booktitle = {Vulgariser la médecine. Du style médical en France et en Italie},
 title = {Patients exemplaires: la correspondance médicale de Fioravanti},
 editor = {Carlino, Andrea and Michel Jeanneret},
 year = {2009},
 address = {Geneva},
 publisher = {Droz},
 langid = {french}
}
@book{berns2015,
 title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth},
 author = {Berns, Andrew D.},
 address = {Cambridge},
 publisher = {Cambridge University Press},
 langid = {english},
 date = {2015}
}
@article{gabler2010,
 author = {Gabler, Hans Walter},
 title = {Theorizing the Digital Scholarly Edition},
 journal = {Literature Compass},
 volume = {7},
 number = {2},
 pages = {43-56},
 doi = {10.1111/j.1741-4113.2009.00675.x},
 langid = {english},
 year = {2010}
}
@book{findlen1994,
 title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy},
 author = {Findlen, Paula},
 address = {Berkeley},
 publisher = {University of California Press},
 langid = {english},
 date = {1994}
}

Resultaten

De zijn opzienbarend: meer dan 2.000 literatuurverwijzingen werden in een paar dagen omgezet. Deze aanpak reproduceerde niet alleen getrouw het patroon uit mijn invoerprompt, maar voegde ook correct entry- en veldtypes toe die daar niet in voorkwamen. GPT-3 spreekt met andere woorden vloeiend BibTeX. Verrassender nog voor een model dat hoofdzakelijk in het Engels is getraind: het herkende alle talen (Russisch, Frans, Italiaans, Latijn, Grieks, Duits, Spaans enzovoort) en voegde telkens het juiste langid-veld toe.

Let op

GPT-3 kent momenteel beperkingen op de omvang van invoer en uitvoer: het verwerkt maximaal 2048 taaltokens. Zodra die beperking wegvalt, zou dezelfde klus waarschijnlijk een uur of minder vergen.

Enigszins onverwacht voegde GPT-3 ook informatie toe die niet in de oorspronkelijke verwijzingen stond.

Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015.

In deze verwijzing bijvoorbeeld voegde GPT-3 de permanente link toe naar het open-accessarchief ( ) waar het artikel te lezen is, inclusief de speciale velden HAL_ID en HAL_VERSION die HAL zelf heeft bedacht:

@inproceedings{baillot2015,
 title = {Editing for Man and Machine},
 author = {Baillot, Anne and Busch, Anna},
 year = 2015,
 booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting},
 address = {Leicester},
 series = {Variants (Journal of the European Society for Textual Scholarship)},
 volume = 13,
 editor = {Bruhn, Siglinde and Schreiber, Manfred},
 langid = {english},
 hal_id = {halshs-01233380},
 hal_version = {v1}
}

Uit die toevoegingen blijkt dat GPT-3 een literatuurverwijzing niet alleen parseert, maar ze ook aanvult op grond van wat het eerder heeft geleerd. Het zou in dat opzicht interessant zijn om te zien of het zich net zo gedraagt bij verwijzingen van na zijn trainingsperiode…

Beperkingen

GPT-3 is echter niet volmaakt. Het heeft menselijk toezicht nodig. Een van zijn bekende zwakke plekken is : soms verzint het dingen en doet het onwaarschijnlijke aannames.

In mijn experiment kwam de warrigheid van GPT-3 aan het licht toen het uit eigen beweging de familienaam van een auteur veranderde van “Ruscelli” in “Ruscello”. Strikt genomen is dat geen fout: vroegmoderne Italiaanse familienamen konden zonder onderscheid in het meervoud of het enkelvoud worden gebruikt. Tegenwoordig is de conventie echter dat je een naam laat zoals hij is, of hij nu in het meervoud of in het enkelvoud staat. Niemand zou Machiavelli vandaag nog Machiavello noemen, net zoals we geacht worden Rossello te schrijven en niet Rosselli. Heeft GPT-3 die conventie genegeerd bij gebrek aan chronologisch besef? Of heeft het een aanname gedaan op grond van de omringende namen, die in dit deel van de bibliografie toevallig allemaal in het enkelvoud staan (Bariletto, Cesano, Rossello)? Wie zal het zeggen.

@book{rossello1565,
 title = {Della summa de’ secreti universali},
 author = {Rossello, Timoteo},
 address = {Venice},
 publisher = {Giovanni Bariletto},
 langid = {italian},
 date = {1565}
}
@book{ruscello1559,
 title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese},
 author = {Ruscello, Girolamo},
 address = {Pesaro},
 publisher = {Bartolomeo Cesano},
 langid = {italian},
 date = {1559}
}

Conclusie

De ruim 150 essays , geschreven tijdens vier jaar van intensieve samenwerking, bevatten niet alleen cruciale informatie over het handschrift dat we hebben geëditeerd en vertaald, maar ook waardevolle bibliografische gegevens.

Door die literatuurverwijzingen in een database samen te brengen, kunnen editeurs de bibliografische opmaak in een oogwenk veranderen en hebben ze meer vrijheid om die informatie naar eigen inzicht te tonen. Zo’n database vertelt bovendien veel over de editie en het project dat haar mogelijk maakte, en opent nieuwe analytische perspectieven voor onderzoekers. En ze kan met grote nauwkeurigheid en in recordtijd worden aangelegd.

Er kunnen weliswaar fouten insluipen, met name door de neiging van GPT-3 om te hallucineren. Maar toekomstige generaties voorgetrainde taalmodellen zullen dat probleem verkleinen.

Markup automatiseren in digitale wetenschappelijke edities

Mon, 22 Nov 2021 18:15:00 +0000

Inleiding

Hoe maak je digitale wetenschappelijke edities zonder je te ruïneren? In dit bericht, het eerste van een reeks over efficiënt editeren, ga ik na welke rol voorgetrainde taalmodellen kunnen spelen bij het automatiseren van editoriale taken zoals semantische markup.

Inhoudsopgave

Het probleem

Een werk van liefde

Op liefde staat geen prijs… zo luidt althans het spreekwoord. Voor digitale wetenschappelijke edities gaat dat zeker op: de transcriptie, vertaling en annotatie die bij hun totstandkoming komen kijken, vergen duizenden uren werk, verricht – zoals in het geval van – door honderden hooggekwalificeerde medewerkers.

In zekere zin is het een zegen dat prestigieuze projecten in de digital humanities de enorme bedragen kunnen binnenhalen die ze nodig hebben om te draaien. Toch is een model dat zo zwaar leunt op de vrijgevigheid van rijke stichtingen, universiteiten en overheidsinstanties, en dat jarenlang veel menskracht vergt, economisch niet houdbaar op de lange termijn.

Sterker nog: willen we onderzoekers van over de hele wereld aanmoedigen om historische documenten voor een breder publiek toegankelijk te maken, dan moeten de kosten van digitale kritische edities met enkele ordes van grootte omlaag .

Een hoge drempel

Paradoxaal genoeg komt de oplossing misschien juist van arbeidsintensieve projecten als : ze vormen een waardevolle trainingsset waarmee enkele van de meest afstompende en repetitieve taken van het digitaal editeren, zoals markup, kunnen worden geautomatiseerd.

Niet dat markup onbelangrijk zou zijn. Integendeel: markup is het onmisbare bestanddeel van elk serieus digitaal wetenschappelijk project geworden. Gestandaardiseerd door het stelt het ons in staat zoveel mogelijk aspecten van het document en van de tekst die het overlevert vast te leggen: structuur, kanttekeningen, doorhalingen, varianten, papiersoort, vlekken, handschrift… noem maar op.

Het volgende voorbeeld, ontleend aan , laat zien hoe markup de tekst verrijkt met extra informatie (categorie, structuur, semantische velden, doorhalingen enzovoort), waardoor digitale edities uiteindelijk een flinke voorsprong nemen op hun papieren voorouders.

Plain Text XML Markup

Plain Text	XML Markup
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

Deze informatie is niet alleen waardevol voor archivering, maar ook – zoals ik bij eerdere gelegenheden heb laten zien – voor synthese en analyse. Dit soort annotatie kan echter buitengewoon tijdrovend zijn, omdat dezelfde tekst vaak in verschillende gedaanten beschikbaar moet zijn: als vertaling, als transcriptie, als gemoderniseerde versie enzovoort.

De oplossing

Transformers: de kortste weg naar automatisering?

In 2020 bracht met veel tamtam zijn nieuwste familie van grootschalige, algemeen inzetbare taalmodellen uit: GPT-3, wat staat voor “Generative Pre-trained Transformer 3”. Transformers zijn een vrij recente doorbraak in de kunstmatige intelligentie. Ze leren nieuwe taken verbluffend snel, gewoon door een prompt te lezen en naar een zeer beperkt aantal voorbeelden te kijken. Ze kunnen ook worden bijgetraind met een dataset op maat (fine-tuning), wat de responstijd en de nauwkeurigheid verbetert. Daarom noemt men GPT-3 en vergelijkbare transformers .

Volgens OpenAI telt GPT-3 een recordaantal van 175 miljard parameters en is het getraind op meer dan 570 GB tekst, grotendeels Engelstalige documenten die vermoedelijk van zijn geplukt. Door zijn enorme omvang heeft GPT-3 een nieuwe maatstaf gezet: zonder verdere voorbereiding voert het de meest uiteenlopende taken uit met een realisme dat verontrust. Het schrijft geloofwaardige , het in chatrooms, , , vertaalt documenten, legt jargon uit, enzovoort.

Sinds mei 2021 heb ik vroegtijdig toegang tot de API van OpenAI, en zo heb ik kunnen uitproberen hoe het model een aantal notoir lastige taken aanpakt: Franse poëzie en Neolatijnse teksten in het Engels vertalen, analogieën uitleggen, en zelfs boek 4 van Kants Fundering voor de metafysica van de zeden uitleggen aan een kind van zeven (al was dat weinig overtuigend).

Codex

Een van de jongste loten aan de GPT-3-stam richt zich op programmeertalen. Dit model, Codex gedoopt, vertaalt natuurlijke taal naar computertaal en omgekeerd. Zoek ik bijvoorbeeld een reguliere expressie om “alleen woorden te vinden die met een hoofdletter beginnen”, dan vertaalt GPT-3 dat meteen in een werkende reguliere expressie: [A-Z]+\w+.

Volgens OpenAI kan Codex overweg met een dozijn programmeertalen, waaronder Python, JavaScript, Go, Perl, PHP, Ruby en Swift. Doordat het pseudocode naadloos in code omzet, hoeft men zich niet langer te bekommeren om de pietluttige syntaxis van een programmeertaal, maar kan men zich concentreren op de logische stappen en strategieën waarmee een toepassing problemen oplost.

Voorbij OpenAI

OpenAI is natuurlijk niet de enige speler op het veld. Zoals gezegd kondigde de Beijing Academy for Artificial Intelligence in 2021 een nog groter en krachtiger model aan, Wu Dao 2. Nvidia en Microsoft bundelden hun krachten voor het toepasselijk genaamde Megatron-Turing NLG 530B. Kleinere start-ups als en bieden het publiek eveneens API’s aan. Ook opensource-initiatieven zoals verdienen vermelding. De AI-wereld verandert uiteraard razendsnel; wie de nieuwe initiatieven in het veld wil volgen, kijkt bij .

De experimenten

Let op

Het doel van deze experimenten is de zuinigste weg naar een betrouwbare automatisering van editoriale taken te vinden. Men kan tegenwerpen dat sommige van die taken ook met algoritmen voor supervised learning te automatiseren zijn. Die hypothese onderzoeken we in een volgend bericht.

Kan een transformer als GPT-3 leren om bijvoorbeeld een technisch en wetenschappelijk handschrift uit de zestiende eeuw te annoteren?

Experiment 1 – Tekstcategorisering.

Laten we beginnen met iets betrekkelijk eenvoudigs. Als “few-shot learner” zou GPT-3 snel moeten doorhebben hoe onze redactie de items in Ms Fr 640 heeft ingedeeld.

Prompt engineering

Om het te trainen gebruikte ik een zeer minimale prompt en koos ik vier korte items in platte tekst als voorbeeld, waaronder één over “geneeskunde”, één over “wapens en wapenrustingen” en één over “schilderkunst”.

Test

Daarna plakte ik een andere passage die niet in de oorspronkelijke reeks zat:

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

De uitvoer sluit perfect aan bij de inhoud:

<categories="painting">

Proberen we het met een item uit een categorie die niet eens voorkwam in de teksten waarmee GPT-3 was getraind, dan is het resultaat verrassend.

<categories="jewelry">

Resultaat

De categorie “jewelry” bestaat niet in onze editie van Ms. Fr. 640. De redactie aan de bredere categorie “Stones”. De intuïtie van GPT-3 is echter goed en wijst erop dat het met wat extra training elk item van Ms. Fr. 640 kan leren indelen, en misschien zelfs dat van vergelijkbare technische teksten uit de zestiende eeuw.

Experiment 2 – Semantische markup

Leggen we de lat wat hoger. Als transformers als GPT-3 kunnen leren teksten volgens specifieke editoriale criteria in te delen, kunnen ze dan ook een deel van de markup van de tekst herkennen?

Let op

Secrets of Craft and Nature biedt een van semantische en structurele labels. Helaas verwerkt GPT-3 geen afbeeldingen, in tegenstelling tot andere projecten zoals . Waarschijnlijk krijgen toekomstige versies van GPT die mogelijkheid wel; ze is nodig om de meeste structurele en materiële aspecten van een document te herkennen. Die tags slaan we hier over; we richten ons op markup waarvoor geen beeldherkenning nodig is.

Prompt engineering

Semantische tags verwijzen onder meer naar dieren, planten, plaatsnamen, zintuiglijke waarnemingen enzovoort. Voor de trainingsprompt koos ik een paar voorbeelden uit de editie:

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

Test

Laten we een paar makkelijke woorden proberen met het model Davinci-codex: Apothecary, smoke, glassmakers, latten en snake. De resultaten komen meteen en zijn foutloos:

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

Een pittiger test werkt met samengestelde woorden als copper plates, walnut oil en wood block. Daarmee willen we nagaan of GPT-3 geneste tags correct verwerkt.

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

De resultaten zijn echter gemengd: Davinci-codex labelde alleen walnut oil correct en zag de geneste tags tl en m in copper plates en wood block over het hoofd. Zoals de volgende test laat zien, zijn die fouten wel te ondervangen met een betere trainingsprompt. Na toevoeging van vijf extra voorbeelden van geneste tags gaf Davinci-codex een vrijwel foutloos resultaat terug, met één enkele misser (oil paintbrushes):

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

Conclusie

Vergeet niet dat deze tests met korte tekstfragmenten zijn uitgevoerd. Ik vermoed dat GPT-3-modellen nog betere resultaten zouden geven als de voorbeelden en de prompt meer context boden. Bovendien zou fine-tuning van het model met datasets op maat de nauwkeurigheid van de labels ongetwijfeld verder verbeteren.
Deze experimenten moeten weliswaar nog op grotere schaal worden herhaald om de betrouwbaarheid van voorgetrainde taalmodellen aan te tonen, maar we kunnen nu al concluderen dat editeurs met deze aanpak verschillende annotatietaken in een paar eenvoudige stappen kunnen automatiseren, wat potentieel enorm veel tijd en geld bespaart.

Handschriften visualiseren 2 (update)

Sat, 20 Nov 2021 16:00:00 +0000

Zoals beloofd: een nieuwe versie van de interactieve treemap uit een , ditmaal met twee weergavemodi.

Let op

Voor een betere weergave zorg je ervoor dat de webpagina in de lichte modus staat (klik op het maanpictogram rechtsboven).

Group folios by category

Een visuele browser voor het archief

Sun, 20 Jun 2021 16:00:00 +0000

Het probleem

Digitale edities lijden aan een paradox: ze maken obscure documenten weliswaar voor een breder publiek beschikbaar, maar het verlies aan zintuiglijke prikkels dat met hun dematerialisering gepaard gaat, werkt desoriënterend en schrikt lezers zelfs af om zich in de inhoud te verdiepen. Ze maken het navigeren door omvangrijke documentverzamelingen nogal omslachtig en intimiderend. Dat geldt niet alleen voor gebruikers zonder ervaring met archiefonderzoek, maar ook voor lezers met een cognitieve beperking.

De oplossing

Hier kunnen archiefmetadata ons helpen. Met zulke gegevens kunnen we namelijk interactieve visuele abstracties maken die lezers een alternatieve zintuiglijke ingang bieden, en zo zowel de ergonomie als de toegankelijkheid vergroten. Om het archief visueel navigeerbaar te maken, volstaat een treemap, of om het even welk diagram dat hiërarchische gegevens efficiënt ontleedt.

Het experiment

Mijn eerste experiment bewerkt de voor D3.js en voegt er hyperlinks aan toe. De treemap stelt het handschrift BnF Ms Fr 640 voor, met zijn folio’s en de items op elk folio. De kleuren geven de overheersende categorie aan. Wie met de muis over een item gaat, krijgt meer gegevens te zien, waaronder de hyperlink naar het handschrift.
Zo wordt de treemap een interactieve visuele index die lezers een razendsnel en responsief overzicht geeft, niet alleen van de inhoud van het handschrift, maar ook van de omvang van elk folio en elk item.
~~De komende maanden experimenteer ik verder met dit idee en probeer ik andere diagrammen en andere hiërarchieën uit… Wordt vervolgd!~~ Voor een nieuwe versie van de treemap klik je .

Let op

Voor een betere weergave zorg je ervoor dat de webpagina in de lichte modus staat (klik op het maanpictogram rechtsboven).

Click any cell to zoom in, or the top to zoom out.

Het archief in één oogopslag

Mon, 24 May 2021 16:00:00 +0000

Het probleem

Historische archieven kunnen ontmoedigend rommelig zijn. Het Mediceo del Principato in het is daar een schoolvoorbeeld van. Slechts een klein deel ervan is geïnventariseerd, en veel documenten liggen zonder aanwijsbare reden verspreid over meer dan 6.500 delen. Om het nog ingewikkelder te maken, mag je in het archief maar een beperkt aantal delen (of filze, bundels, zoals ze daar heten) raadplegen. In normale tijden ligt de grens op 4 filze per dag. In tijden van pandemie is dat aantal echter gezakt tot 4 per twee weken. Bij gebrek aan gedetailleerde inventarissen dwingt de enorme omvang van het archief onderzoekers om strategieën te bedenken waarmee ze de gezochte documenten snel kunnen vinden.

De oplossing

Sommigen vertrouwen liever op het toeval, anderen proberen daarnaast onderbouwde gissingen te doen op basis van chronologie, geadresseerden, auteurs, herkomst van het archieffonds, taal enzovoort. Wie al die variabelen tegelijk bekijkt, kan echter onverwachte patronen in de structuur van het archief ontdekken en zijn vermoedens aanscherpen. Mijn ervaring leert dat de metadata die onderzoekers doorgaans in een spreadsheet verzamelen, eenmaal in grafiekvorm, het overzicht in het archief aanzienlijk vergroten.

Het experiment

Mijn huidige onderzoek richt zich op de correspondentie van een zestiende-eeuwse spion. Zijn brieven liggen verspreid over honderden filze. Ze zijn geschreven onder verschillende identiteiten, aan verschillende en soms onverwachte geadresseerden, vanuit verschillende plaatsen, enzovoort. Om de filze op te sporen waarin de gezochte brieven het waarschijnlijkst zitten, heb ik een dashboard opgezet: een interactieve webapplicatie voor datavisualisatie ( ) die allerlei gegevens, waaronder geografische en chronologische informatie, koppelt aan een hiërarchisch diagram ( ) van het archieffonds. Het dashboard toont me in één oogopslag wat er al gevonden is, hoeveel dat voorstelt, en geeft me een ruw idee van waar ik nog nieuwe brieven zou kunnen zoeken. Klik ik bovendien op specifieke variabelen, dan worden alle diagrammen bijgewerkt en tonen ze specifieke correlaties.

Volgende stappen

Belangrijker misschien nog: dit dashboard kan worden omgebouwd tot een visuele index. Wanneer de kritische editie van deze brieven online verschijnt, zal het dashboard dienen als alternatieve ingang, van waaruit lezers door de gegevens kunnen bladeren. Om redenen van vertrouwelijkheid kan ik op dit moment alleen een schermafbeelding tonen waarop delen zijn weggelakt, maar volgend jaar geef ik het volledige dashboard vrij. Intussen komt er binnenkort een prototype beschikbaar. Wordt vervolgd!

Semantische markup visualiseren in BnF Ms. Fr. 640

Sun, 20 Dec 2020 18:15:00 +0000

Overzicht

Datarijke wetenschappelijke edities bevatten waardevolle editoriale annotaties die je voor allerlei wetenschappelijke doeleinden kunt extraheren, analyseren en visualiseren. Dat geldt voor , verschenen in 2020, dat zijn metadatabestand ter download aanbiedt op zijn GitHub-repository. In dit bericht laat ik zien hoe je al die variabelen in een correlatiematrix samenbrengt en op verschillende manieren visualiseert.

De gegevens

Het Making and Knowing Project genereert een spreadsheet met actuele informatie over de inhoud van het handschrift: entry_metadata.csv. Het bestand is te vinden in de van Making & Knowing. Je kunt ook .csv-bestanden op maat genereren en er meer markup aan toevoegen dankzij het uitstekende van Matthew Kumar, een Python-versie van BnF Ms. Fr. 640.

Python klaarzetten

We gebruiken Pandas voor het bewerken van de gegevens, Matplotlib en seaborn voor de heatmaps en tot slot NetworkX om netwerken op basis van correlaties te maken.
Voor dit soort variabelen mijden we de methode van Pearson en gebruiken we in plaats daarvan de 𝜙𝐾-methode. over deze correlatiemethode en de bijbehorende bibliotheek PhiK.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

De gegevens voorbereiden

Download eerst het meest recente metadatabestand van de editie uit de map metadata van hun . We selecteren alleen de kolommen die we nodig hebben. Voor deze demonstratie kies ik alle semantische tags uit de Engelse vertaling tl, maar je kunt ook tags kiezen uit de Franse transcriptie tc of de genormaliseerde versie tcn. De gegevens komen als door puntkomma’s gescheiden waarden, en we moeten ze door Python laten tellen. Daarvoor gebruiken we de stack-unstack-methode met de reguliere expressie [^;\s][^\;]*[^;\s]*. Om de matrix leesbaarder te maken, hernoemen we elke kolom. Wie haast heeft, kan deze stap overslaan; onthoud alleen dat ons dataframe in dit stadium tagsrn heet.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

Correleren

Zodra het dataframe schoon is, kunnen we de correlatiecoëfficiënten tussen de variabelen berekenen. Het is in dit stadium belangrijk je gegevens te begrijpen en de meest geschikte correlatiemethode te kiezen. Het pakket pandas-profiling is daarbij bijzonder handig.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag is onze correlatiematrix. We kunnen nu verschillende soorten visualisatie uitproberen.

Visualiseren

Het eerste wat we kunnen proberen, is de matrix weergeven als kleurgecodeerde matrix, met de van seaborn.

Correlatieheatmap

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

Wie de tekst goed kent, ziet meteen dat de heatmap heel zinnig is. Namen zijn bijvoorbeeld sterk gecorreleerd met Latijn, want het was gebruikelijk, vooral onder zestiende-eeuwse humanisten, om ze te latiniseren.

Sommigen zullen tegenwerpen dat deze heatmap alleen maar open deuren intrapt. Helemaal ongelijk hebben ze niet, en op het eerste gezicht lijken de medische tags dat te bevestigen: ze correleren, zoals te verwachten, met lichaamsdelen, maten en planten.

Maar wie de heatmap aandachtiger leest, regel voor regel, stuit op interessante en onverwachte correlaties. Dat de medische tags bijvoorbeeld correleren met Italiaanse en Latijnse woorden, geeft ons aanwijzingen over de herkomst van de medische recepten in Ms. Fr. 640. Zo ook laat de correlatie tussen beroepen, definities en maten zien in hoeverre de beroepsidentiteit de technische vertogen van de zestiende eeuw structureert.

Correlatieclustermap

Heatmaps zijn nuttig in een “verkennende” context, maar kunnen er voor je publiek wat rommelig uitzien, vooral als je het over specifieke semantische clusters in het handschrift hebt – of er nog naar zoekt. De clustermap-module van seaborn kan dan interessante resultaten opleveren.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

Behalve dat de clustermap op een gepixeld insect lijkt (ja, dat woord staat echt in het woordenboek), onderscheidt ze duidelijk de geïsoleerde tags (bovenaan en links) van de tags die sterker met elkaar verbonden zijn. We zien ook geïsoleerde clusters, zoals muziek en Poitevin (wie had dat gedacht!), naast meer centrale zoals maten, materiaal, definities en wapens. Beroepen zijn sterker verbonden, maar maken, althans in deze specifieke correlatiematrix, geen deel uit van een bepaald cluster.

Correlatienetwerk

Willen we de correlaties in onze matrix nog verder samenvatten, dan bieden netwerkgrafen een elegante oplossing. Dat geldt vooral wanneer we over de inhoud van het handschrift willen communiceren.
Daarvoor moeten we onze matrix omzetten in een lijst van kanten en knopen, en een drempel vastleggen om zwakkere correlaties uit de graaf te weren.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

Zijn er te veel kanten en knopen, dan kun je altijd de drempel aanpassen voor een schoner resultaat. Je kunt de graaf ook exporteren om er in Gephi mee te spelen, met de functie .write_gexf().

nx.write_gexf(G, 'graph.gexf')

Het resultaat zie je aan het begin van dit bericht.

Update: circulair gewogen netwerk

Ik zocht naar manieren om correlatiematrices als gewogen netwerken weer te geven en stuitte op deze interessante aanpak, , die ik hier aanpas aan onze dataset.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

Zodra we een paar kanten hebben verwijderd, kunnen we hun kleur en dikte bepalen.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

We geven de knopen ook een grootte die evenredig is met hun aantal verbindingen.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

Het resultaat is een gewogen graaf die meer knopen en aanzienlijk meer kanten toelaat en toch leesbaar en informatief blijft.