Notities |

Het hek, niet de brandstapel

Sun, 06 Sep 2026 00:00:00 +0000

In een magazijn in North Las Vegas laat Amazon een machine draaien die de ruggen van tweedehandsboeken afsnijdt. De losse bladen gaan door een scanner, en daarna wordt het papier tot pulp vermalen. Boeken vernietigen om AI te voeden: het verhaal had alles in huis om een cultureel schandaal te worden. De vergeleek de praktijk met moderne boekverbranding en spaarde daarbij geen enkel cliché: toespelingen op Savonarola, stockfoto’s van ogenschijnlijk zeldzame boeken en, uiteraard, de Berlijnse brandstapel. De kwaliteitskranten bleven, zoals te verwachten, koeler, maar lieten dezelfde vergelijking in de lucht hangen. Hoe verontwaardigd ook, deze artikelen lieten de AI-industrie er opvallend genadig van afkomen. Het lot van het papier staat in de schijnwerpers; wie de eigenaar wordt van de digitale bibliotheken die eruit voortkomen, komt nauwelijks ter sprake. Wie krijgt de zeggenschap over de kennis die wordt gescand? Die vraag moet even wachten tot we de onzin over boekverbranding hebben opgeruimd.

Een scanner is geen brandstapel

De analogie met de brandstapels van Savonarola of de nazistische boekverbrandingen is te gek voor woorden: een exemplaar vernietigen is iets anders dan een tekst onderdrukken. De brandstapels waren openbare daden van verwerping. Die arme monnik Savonarola, van stal gehaald bij elke rel over boekverbranding, riep de mensen op om een deel van hun bezittingen te offeren als publieke boetedoening. De nazibrandstapels ensceneerden een ander soort verwerping: door de boeken in het openbaar te verbranden, verklaarde men dat hun auteurs geen plaats hadden in het Duitse culturele leven. In beide gevallen, hoe onverkwikkelijk ook, was de vernietiging een opvoering. Destructief scannen, een gangbare methode bij digitalisering, dient een ander doel: het exemplaar gaat onder de guillotine om de inhoud te bewaren. Het boek wordt vernietigd; de tekst wordt gedematerialiseerd. Wie naar Fahrenheit 451 grijpt, mag zich de centrale les van dat boek herinneren: een tekst is niet het papier waarop hij gedrukt staat.

Scherper dan de Daily Mail maar niet minder onbeholpen gooide olie op het vuur door “zeldzame boeken” in zijn kop te zetten. Toch zei een boekhandelaar die in datzelfde onderzoek wordt aangehaald dat deze bulkbestellingen , wat grotendeels wijst op edities die zijn verschenen na de invoering van het ISBN rond 1970. Dit is het spul van rommelmarkten en kringloopwinkels, vaak maar één zolderopruiming verwijderd van de papiercontainer. Alvorens een culturele catastrofe af te kondigen, zou men de bibliotheekcatalogus kunnen raadplegen. Dit zijn precies de publicaties waarvoor bibliotheken met wettelijk depot bestaan. Toegegeven, een ISBN garandeert niet dat er een depotexemplaar bewaard is gebleven, maar schaarste op de tweedehandsmarkt bewijst evenmin dat een tekst verdwenen is.

Boeken hebben natuurlijk wel een materiële geschiedenis. Exemplaren die door hun aantekeningen, opdrachten of herkomst historische betekenis hebben, verdienen het om te worden opgespoord en bewaard. Tweedehandsboekhandelaren hebben daar een rol in: wie zo’n exemplaar herkent, heeft een reden om het buiten een partij te houden die voor de pulpmolen bestemd is. We mogen ons ook zorgen blijven maken over de slinkende voorraad fysieke exemplaren van uitverkochte titels. Maar dan moeten we ook vragen waarom hun rechthebbenden ze niet herdrukken en evenmin toegang geven tot de bestaande digitale facsimile’s. Onderzoekers kennen de frustratie: Google Books vindt de passage die je nodig hebt en biedt je dan een snipper aan van een boek dat je nieuw kunt kopen noch online kunt lezen. Er valt hier dus wel degelijk over verliezen te discussiëren, maar die maken van een scanner nog geen nazibrandstapel.

De boekhandel zelf vermaalt intussen al lang routineus onverkochte boeken tot pulp. Alleen al in Frankrijk werden in 2023 naar schatting , ruwweg 60 procent van het tonnage dat onverkocht naar de distributeurs terugging. Dat heet voorraadbeheer. Overtollige exemplaren en schaarse tweedehandstitels roepen elk hun eigen vragen over toegang op, maar papier vernietigen komt op zichzelf niet neer op censuur of tirannie.

Meer boeken, betere AI?

Dat AI-bedrijven boeken kopen en scannen is eigenlijk goed nieuws. Een technologie die voortdurend wordt verweten dat ze de menselijke cultuur maar oppervlakkig begrijpt, neemt er meer van in zich op, en men had mogen verwachten dat wetenschappers die inspanning zouden toejuichen.

Het web is een armzalig surrogaat voor het opgebouwde archief van een taal. Veel van het opgetekende leven van een taal, van romans en memoires tot populaire liedjes en getranscribeerde gesprekken, heeft de sprong van druk naar web nooit gemaakt. Veel van die boeken hebben hun uitgevers overleefd. Ze in de trainingsdata opnemen is het belangrijkst waar weinig anders voorhanden is. Een paar Engelse boeken extra leveren misschien een marginale verbetering op. In een slecht vertegenwoordigde taal kunnen diezelfde boeken echter het verschil betekenen tussen een bruikbaar en een onbruikbaar systeem. Of deze instrumenten thuishoren in onze publieke diensten of in ons dagelijks leven, is een zaak voor het publieke debat. Maar waar we ze ook besluiten te gebruiken, we moeten dat in onze eigen taal kunnen doen.

De bestellingen waarover in Spanje en Nederland is bericht, maken het taalkundige belang tastbaar. In mei beschreef een boekhandelaar in Badalona die herhaaldelijk bestellingen kreeg, vooral voor Catalaanse non-fictie: geschiedenisboeken, technische handleidingen en oude congresbundels. In augustus berichtte de Nederlandse pers over een verzoek aan De Slegte om . De taal van de boeken verdient minstens zoveel aandacht als het lot van hun banden. Van de Daily Mail is dat misschien te veel gevraagd. Maar ook de bezadigdere kranten hebben weinig gezegd over de talen die in het spel zijn.

Licentieovereenkomsten met grote uitgevers kunnen eveneens waardevol materiaal opleveren, maar hun digitale catalogi dekken maar een fractie van wat ooit in druk is verschenen. Boeken die nooit zijn gedigitaliseerd, of waarvan de uitgever de rechten niet meer bezit, vallen buiten het aanbod. Zelfs een royale licentiedeal kan niet in de plaats treden van de geschiedenis van het uitgeversbedrijf, laat staan van de geschiedenis van een cultuur. Tweedehandsexemplaren opkopen is een manier om voorbij die commerciële grenzen te reiken.

“Diefstal” is geen argument

Het “diefstal” noemen helpt evenmin. In juni 2025 oordeelden twee Amerikaanse districtsrechtbanken dat het gebruik van boeken om taalmodellen te trainen in de voorliggende zaken onder fair use viel. In benadrukte de rechtbank het transformatieve karakter van de training: de boeken werden gebruikt om een systeem te bouwen dat nieuwe uitdrukkingsvormen kan voortbrengen. Modellen kunnen passages memoriseren, maar een boek voor training gebruiken maakt de hele tekst nog niet op afroep opvraagbaar. Evenmin veegt de afwezigheid van letterlijke reproductie elk bezwaar van tafel. In waarschuwde de rechter dat door AI gegenereerde werken de markt zouden kunnen overspoelen en dat bewijs van zulke schade een beroep op fair use kan doen stranden. Deze eisers hadden echter geen noemenswaardig bewijs geleverd van zulke schade aan hun eigen werk. Geen van beide uitspraken geeft AI-bedrijven vrij spel of beslecht het ethische geschil. Ze verplichten ons onderscheid te maken tussen hoe boeken worden verworven, hoe kopieën worden bewaard en wat de training ermee doet. Dat alles “diefstal” noemen laat die vragen onbeantwoord.

Terzijde: de uitspraak in de zaak Anthropic levert een rechtvaardiging voor de guillotine. De rechtbank keurde de digitalisering van gekochte exemplaren goed en verwierp het aanleggen van een permanente bibliotheek van illegaal gekopieerde boeken, waarvoor het bedrijf later . De digitalisering werd mede goedgekeurd omdat elk gedrukt exemplaar bij de omzetting werd vernietigd: de digitale kopie kwam ervoor in de plaats en werd niet buiten het bedrijf gedeeld. De vernietiging waar sommigen zich zo over opwinden, hielp Anthropic aantonen dat zijn digitaliseringsprogramma fair use was. Kopen, scannen en weggooien bood in dat geval een wettige route. De guillotine is hier een instrument om binnen de wet te blijven.

Er zijn goede redenen om te willen dat AI put uit meer talen, meer wetenschap en meer van de wereld die vóór het internet bestond. Die redenen verdwijnen niet omdat een bedrijf dat we niet mogen er een commerciële kans in heeft gezien.

Geleende verontwaardiging

Terug dan naar de Daily Mail. Haar artikel maakt deel uit van , een campagne van kranteneigenaren en uitgevers die streven naar voor AI. Twee handige substituties doen het werk: Big Tech staat voor AI, en de rechthebbenden staan voor “Britse creativiteit”. De lezer wordt uitgenodigd de cultuur te verdedigen terwijl uitgevers over de voorwaarden van de verkoop onderhandelen. Wetenschappers die het verhaal delen, mogen zich afvragen wiens zaak hun verontwaardiging dient.

Big Tech en de kibbelen over de pacht, maar geen van beide heeft iets tegen het hek. Het verhaal van de eenzame auteur die door een techreus wordt beroofd, verhult wat dure licentiedeals beide bedrijfskampen te bieden hebben: de uitgevers worden betaald, en Big Tech krijgt een markt waarin zijn kleinere concurrenten het zich niet kunnen veroorloven mee te dingen. Peter Thiel verwoordde de voorkeur van Silicon Valley botter: .

Licenties hoeven niet tot die uitkomst te leiden. Betaalbare, niet-exclusieve toegang zou kleinere ontwikkelaars kunnen helpen. Maar een systeem dat elke nieuwkomer dwingt dure deals te sluiten met de grote rechthebbenden, maakt koopkracht tot toegangsvoorwaarde. Een betaling die wordt voorgesteld als tegemoetkoming aan de cultuurindustrie, koopt uiteindelijk bescherming tegen toekomstige concurrenten.

AI is niet van Big Tech

Er speelt een dieper probleem. Te veel kritiek op AI houdt de grootste commerciële leveranciers voor het hele veld. De producten domineren de krantenkoppen; het onderzoek en de ontwikkeling buiten die bedrijven verdwijnen uit beeld. Big Tech kon zich nauwelijks een nuttiger misverstand wensen. Zijn ambitie om het veld in bezit te nemen wordt het uitgangspunt van de kritiek die tegen hem wordt gericht. Het monopolie is nog niet binnen. Wie het als een voldongen feit behandelt, bewijst die bedrijven een enorme dienst. Het leidt bovendien de aandacht af van open source: van wat het nodig heeft, van zijn kansen om te bestaan, van zijn belangen, van zijn legitimiteit als alternatief.

Opensource-AI stelt mensen in staat systemen te bouwen en aan te passen die een grotere verscheidenheid aan talen, culturen en uitdrukkingsvormen weerspiegelen. Voor landen in Europa, Afrika, Latijns-Amerika en Azië is dat een praktische basis voor technologische en culturele soevereiniteit: het vermogen om zelf te bepalen hoe systemen werken, welke talen ze bedienen en waar ze worden ingezet. Of we AI gebruiken, en waarvoor, moet een publieke keuze blijven, geen beslissing die wordt gedicteerd door afhankelijkheid van een buitenlands oligopolie.

Maar de vrijheid om een systeem aan te passen stelt weinig voor zonder de middelen om dat te doen. Onafhankelijk werk vereist expertise, rekeninfrastructuur en toegang tot trainingsmateriaal. En zo zijn we terug bij de boeken. Als elk onderzoeksteam of elke publieke instelling zijn eigen uitgeversdeals moet sluiten of zijn eigen privébibliotheek moet aanleggen, wordt onafhankelijkheid onbetaalbaar, zelfs voor sommige rijke landen.

De boeken zijn er al

Bibliotheken en archieven hebben generaties lang het materiaal verzameld dat deze systemen nodig hebben. Hun collecties bestaan omdat de toegang tot kennis het commerciële belang om haar te verkopen moet overleven. Veel is al gescand: bezit zo’n negentien miljoen gedigitaliseerde delen uit onderzoeksbibliotheken, waarvan vele nog auteursrechtelijk beschermd zijn. Een bibliotheek scant een boek en bewaart het. Niemand heeft daar een guillotine nodig. HathiTrust , maar heeft ook aangekondigd, een project om corpustoegang te bieden voor niet-commercieel AI-onderzoek en niet-commerciële ontwikkeling. Toegang op die voorwaarden zou sommige onafhankelijke ontwikkelaars nog altijd buiten de deur houden.

Het bezit van de boeken geeft een bibliotheek echter niet het recht om hun auteursrechtelijk beschermde inhoud als trainingscorpus te verspreiden. Het staat onderzoeksinstellingen en bibliotheken toe om rechtmatig toegankelijke werken te minen voor wetenschappelijk onderzoek, en staat ruimer minen toe waar rechthebbenden hun rechten niet hebben voorbehouden. : zijn uitzondering voor tekst- en datamining geldt voor niet-commercieel onderzoek en beperkt de overdracht van kopieën. Geen van beide kaders geeft bibliotheken een algemeen recht om hun auteursrechtelijk beschermde collecties te delen zodat anderen erop kunnen voortbouwen.

We zouden ook kunnen heroverwegen hoe lang rechthebbenden zeggenschap moeten houden over computationeel gebruik van boeken. Farmaceutische octrooien belichamen een ruil: tijdelijke exclusiviteit beloont innovatie, daarna komt de uitvinding beschikbaar voor anderen. Hun gebruikelijke termijn van twintig jaar is veel korter dan de bescherming van het auteursrecht, die het hele leven van de auteur duurt en nog zeventig jaar daarna. Waarom zou een vergelijkbaar beginsel niet gelden voor computationeel gebruik van boeken? Zeg twintig jaar na de eerste publicatie zou een boek beschikbaar kunnen komen voor tekst- en datamining zonder licentiekosten, terwijl de rechten op heruitgave en verkoop beschermd blijven. Auteurs zouden aan hun boeken kunnen blijven verdienen zonder dat generaties onderzoekers om toestemming moeten onderhandelen om ze te analyseren.

Twee jaar geleden betoogde ik in dat erfgoeddata als publiek goed moeten worden behandeld. Overheden zouden bibliotheken en archieven moeten financieren om hun collecties te digitaliseren, te transcriberen en te documenteren, en hun de wettelijke bevoegdheid moeten geven om de resulterende corpora beschikbaar te stellen zodat anderen erop kunnen voortbouwen. Big Tech zou via een speciale heffing kunnen meebetalen.

Publieke financiering moet gepaard gaan met gepubliceerde collectie- en toegangsregels, die zowel academisch als commercieel werk bestrijken, zonder exclusieve deals of voorkeurstoegang voor donateurs. Toegang voor training hoeft niet te betekenen dat auteursrechtelijk beschermde boeken onbeperkt mogen worden herverspreid. Auteurs moeten meedenken over het publieke stelsel, ook over hoe het omgaat met toestemming, vergoeding en concurrentie met hun werk. Gratis toegang voor gebruikers sluit een publiek gefinancierde vergoeding voor auteurs niet uit. Het , dat auteurs uit publieke middelen betaalt wanneer hun boeken worden uitgeleend, biedt daarvoor een precedent. Om de brandstapel ging het nooit. Om het hek wel.

Beste redacteuren: als u mijn stem wilt, geef me dan mijn taal terug

Thu, 27 Aug 2026 00:00:00 +0000

Weer een dag, weer een tijdschrift dat met zijn AI-beleid te koop loopt. Ditmaal is het Progress in Human Geography, waarvan de redactie heeft gepubliceerd die waarschuwt dat AI gebruiken als vervanging voor het eigen lezen, denken en schrijven “een schending van de academische ethiek is, vergelijkbaar met plagiaat”. Artikelen die de regels overtreden, “kunnen worden ingetrokken”; in het beste geval worden ze gecorrigeerd, met een rectificatie in het tijdschrift. Auteurs, voegen de redacteuren eraan toe, doen er goed aan “zorgvuldig te overwegen of zij hun naam met intrekkingen en rectificaties in verband gebracht willen zien”.

Bij die zin mogen we even stilstaan. Intrekking is de zwaarste sanctie die het wetenschappelijk publiceren kent, de straf die normaal is voorbehouden aan vervalsing en fraude. Hier wordt ze gekoppeld aan een vergrijp dat hetzelfde redactioneel niet weet te definiëren. Er zijn, geven de redacteuren toe, “echte grijze zones” en “geen duidelijke lijnen die de zone van ‘onverantwoordelijkheid’ afbakenen”. De handhaving zal berusten op “oordelen die sommige auteurs tegen de borst kunnen stuiten, die dan zullen beweren geen onbehoorlijk gebruik van AI te hebben gemaakt”: iemands eigen verklaring kan met andere woorden terzijde worden geschoven. Het advies dat volgt, luidt: blijf “veilig in de zone van ‘verantwoordelijkheid’”, en men raadt alleen tot veiligheid waar gevaar dreigt. Mensen straffen omdat ze een lijn overschrijden waarvan je zelf toegeeft dat je haar niet kunt trekken, heeft alleen zin als je met angst wilt regeren. Onthoud dat even.

Het voorwendsel van de stem

Hoe ziet verantwoord gebruik eruit? Auteurs krijgen te horen: “er moet grote zorg aan worden besteed … de eigen stem te behouden”. Misbruik is AI inzetten “om te schrijven in een taal die auteurs zelf normaal nooit zouden gebruiken”. Voor een moedertaalspreker is dat zinnig: doe je niet anders voor dan je bent. Maar voor buitenlanders die in een vreemde taal moeten schrijven, spreekt het gebod zichzelf tegen. De stem die het beleid beschermt, is precies wat de regels van het tijdschrift ons ontzeggen.

Neem mij als proefpersoon. Engels is mijn vierde taal, precies het soort taal dat ik “normaal” nooit zou gebruiken. Engelstalige universiteiten hebben me geleerd het kort, met wegwijzers en bijna mechanisch te schrijven: de kernzin vooraan, de voorbehouden op de voorgeschreven plaatsen, de overgangen uit de goedgekeurde lijst. De training heeft gewerkt: in mijn Engels heeft nooit een stem gezeten die beschermd moest worden; het was het eerste wat eruit moest. Volgens de definitie van de redactie zelf zou alles wat ik ooit in het Engels heb geschreven onbehoorlijk gebruik zijn, met of zonder machine.

Tussen twee vuren

De redacteuren zeggen dat ze aan ons hebben gedacht: het beleid erkent dat niet-moedertaalsprekers er baat bij hebben dat AI hun Engels nakijkt, en zelfs bij zijn “vertaal-, schrijf- en redactiediensten”. Toch mag de rol van AI bij het schrijven “hoogstens neerkomen op hulp bij het redigeren en corrigeren”, en moet ze ophouden vóór “grote brokken door AI geschreven tekst”. Een machinevertaald artikel is van het eerste tot het laatste woord door AI geschreven; het bestaat uit niets anders dan zulke brokken. De concessie houdt dus alleen stand als vertalen geen schrijven is. Waar loopt die grens? Dat hebben ze ons al verteld: “geen duidelijke lijnen”.

Het wordt nog erger, want de verdenking is niet alleen niet-falsifieerbaar. Er wordt ook nog eens met valse dobbelstenen gespeeld. In 2023 testte een team van Stanford zeven veelgebruikte AI-detectoren op essays van menselijke hand: de detectoren merkten gemiddeld 61% van de TOEFL-essays van niet-moedertaalsprekers aan als machinaal gegenereerd, terwijl ze essays van moedertaalsprekers vrijwel feilloos classificeerden; één detector betrapte 97,8% van de TOEFL-reeks ( ). De reden is leerzaam. Detectoren meten voorspelbaarheid, en Engels als tweede taal, getraind naar het gemiddelde toe, is per definitie voorspelbaar: het meest waarschijnlijke woord in de meest waarschijnlijke volgorde. Dezelfde studie vond dat signaal terug in echt wetenschappelijk werk: minder taalkundige variatie in conferentiebijdragen waarvan de eerste auteur geen moedertaalspreker is. De stilistische kenmerken die als “AI” worden gelezen, zijn de kenmerken van bekwaam Engels als tweede taal, en een menselijk oordeel leest dezelfde kenmerken als de machine. Zo zit ik tussen twee vuren: schrijf ik mijn eigen Engels, dan lijk ik een machine; gebruik ik de machine, dan overtreed ik hun regel.

De taaltaks

De paradox zou onschuldig zijn als er geen dreigementen bij kwamen. Maar die dreigementen leggen een dieper en ouder probleem bloot dat het beleid nooit bij naam noemt: eentaligheid. De vragen om “een zo breed mogelijke internationale dekking”, terwijl op dezelfde pagina staat: “de taal van het tijdschrift is Engels”.

De kosten van die regeling zijn niet hypothetisch. Amano en collega’s ondervroegen 908 milieuwetenschappers en stelden vast dat niet-moedertaalsprekers van het Engels tot 51% meer tijd besteden aan het schrijven van een artikel, het 2,5 keer zo vaak afgewezen zien en 12,5 keer zo vaak gevraagd worden het te herzien, en dat alleen om taalredenen ( ). Die taks wordt geheven nog vóór er enig AI-beleid aan te pas komt; het verklaringsformulier en zijn dreigementen zijn een audit die daar nog bovenop komt.

Fin d’empire

Eentaligheid is het axioma waarover niemand het heeft. Het is een imperiale erfenis die met de tijd een praktische rechtvaardiging kreeg: vertalen was traag en duur, en geen redactie kon beoordelen wat ze niet kon lezen. Niets daarvan overleeft echter de vooruitgang van de machinevertaling. Machinevertaling van het hoogste niveau kan dienen als betrouwbare tussenlaag tussen auteurs en redacties.

De ideale uitweg is menselijk: wetenschappers zouden meer dan één taal moeten lezen. In plaats daarvan sluiten Engelstalige universiteiten liever hun talenopleidingen. Merk op dat die sluitingen een Anglo-Amerikaans verschijnsel zijn: wetenschappers elders hebben zich de luxe van eentaligheid nooit kunnen veroorloven. En let op het moment. Een talenopleiding sluiten is een gok: de gok dat het Engels voorgoed heeft gewonnen en dat er nooit meer iets lezenswaardigs in een andere taal zal worden geschreven. Die gok wordt op precies het verkeerde moment gewaagd, en dat om twee redenen. Ten eerste omdat machinevertaling het voor het eerst mogelijk maakt om het helemaal zonder lingua franca te stellen; ten tweede omdat de orde die het Engels tot de norm maakte, terugwijkt: de Engelstalige wereld keert zich naar binnen, de globalisering ebt weg, de vrijhandel wordt betwist tot in zijn eigen bakermat, en er tekent zich een multipolaire wereld af waarin de talen die het lezen waard zijn zich zullen vermenigvuldigen. Universiteiten leveren wetenschappers af die alleen Engels lezen, voor een wereld waarin Engels niet meer zal volstaan. Redacties zullen dat verlies als eerste erven.

Een test voor de redactie

Wanneer een redactie klaagt dat ze de eigen stem van haar auteurs niet kan lezen, ligt een deel van het probleem misschien bij de redactie zelf.

Dat is een zware beschuldiging, en er hoort een serieuze test bij. Zou Progress in Human Geography een inzending in het Frans, Italiaans of Japans laten beoordelen, vergezeld van een machinevertaalde Engelse versie? De eigen richtlijnen van het tijdschrift erkennen de “vertaaldiensten” die dat mogelijk maken. Een ja maakt een einde aan het probleem. Een nee zou ons vertellen wat het beleid werkelijk beschermt.

Hoe dan ook is de keuze aan de redactie. Als de stem er, zoals zij beweert, toe doet, dan moet het tijdschrift artikelen aannemen in de talen waarin auteurs denken. Zo niet, dan kan het verklaringsformulier de prullenmand in, en de dreigementen erbij.

Een perceptuele geografie van de Levante

Sat, 29 Oct 2022 10:02:52 -0500

Inleiding

De Levante is een ongrijpbare plek. Doorgaans gedefinieerd in relatie tot – of in tegenstelling tot – een ander gebied, heeft de term zelden een vaste betekenis gehad: naargelang van waar en wanneer hij werd gebruikt, riep hij andere geografieën op. Maar al valt een objectieve en precieze definitie moeilijk te formuleren, men kan toch hopen een subjectieve kaart van die regio te tekenen, op basis van de correlaties die binnen een bepaald tekstcorpus bestaan. Met andere woorden: welke ruimte kon de Levante voor een specifieke groep lezers oproepen?
In dit bericht laat ik zien hoe je met gegevens uit de van het Medici Archive Project de specifieke plaatsen kunt visualiseren waarmee het toponiem werd geassocieerd.

De MIA-database

De MIA-database is een samenwerkingsplatform voor onderzoekers die hun eigen foto’s van archiefmateriaal uit het willen uploaden en delen. Het afgelopen jaar heeft ons team, met steun van het , duizenden documenten uit de avvisi-afdeling van het archief Mediceo del Principato in Florence gefotografeerd, getranscribeerd, samengevat en geclassificeerd. Onze database was weliswaar niet in de eerste plaats voor statistische analyse bedoeld, maar de metadata die we beschikbaar hebben gesteld, kunnen wel worden gedownload en als dataset worden gebruikt.

De dataset

De dataset die ik in dit geval heb aangemaakt, omvat alle nieuwsberichten uit de Levante van 1543 tot 1566, dat wil zeggen van de eerste in het archief geregistreerde avviso tot het sterfjaar van sultan . Hier is een staaltje van de gegevens die ik van de server heb gehaald. Ze bestaan uit drie kolommen: een uniek documentnummer, een plaatsnaam en een datum.

57386 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57386 Modon / Messinias, Nomos / Peloponnisos / Ellas 1565-1-3
57386 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57386 Evvoia / Evvoias, Nomos / Sterea Ellas-Evvoia / Ellas 1565-1-3
57386 Venetian Republic / Italia / Europe / World 1565-1-3
57386 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57386 Black Sea / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Otranto / Lecce / Puglia / Italia 1565-1-3
57389 Nisoi Aiyaiou / Ellas / Europe / World 1565-1-3
57389 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57389 Buda / Budapest / Budapest / Magyarorszag 1565-1-3
57389 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57389 Kipros / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Rodhos / Rodos, Nisos / Sporadhes / Nisoi Aiyaiou 1565-1-3
57389 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57389 Çorlu / Thraki / Ellas / Europe 1565-1-3

De gegevens opschonen

Om deze gegevens te visualiseren, moeten we ze leesbaar maken als csv-dataset (comma separated values). Ook moeten we de geografische informatie omzetten in een “machinevriendelijker” formaat: gps-coördinaten. Omdat de dataset honderden regels telt, automatiseren we dat liever. Dat kan vrij snel en behoorlijk nauwkeurig met voorgetrainde taalmodellen als , of , om er maar een paar te noemen. De operatie vraagt wel om nauwlettend toezicht, want voorgetrainde taalmodellen hebben een lichte neiging tot hallucineren.

documentId,latitude,longitude,documentDate
57386,35.899167,14.514167,1565-1-3
57386,37.05,22.116667,1565-1-3
57386,31.200028,29.918719,1565-1-3
57386,38.366667,23.666667,1565-1-3
57386,45.438333,12.331333,1565-1-3
57386,41.018611,28.984444,1565-1-3
57386,42.7,18.8,1565-1-3
57389,40.216667,18.166667,1565-1-3
57389,37.966667,23.716667,1565-1-3
57389,35.899167,14.514167,1565-1-3
57389,47.4925,19.051389,1565-1-3
57389,31.200028,29.918719,1565-1-3
57389,34.916667,33.616667,1565-1-3
57389,36.405419,28.227778,1565-1-3
57389,41.018611,28.984444,1565-1-3
57389,41.133333,27.416667,1565-1-3

De dichtheidskaart.

Een dichtheidskaart is een visualisatie die laat zien hoe vaak een plaats in een bepaalde dataset wordt genoemd. Dat is bijzonder nuttig om niet alleen de geografische reikwijdte van je gegevens te begrijpen, maar ook hun brandpunten. Welke plaatsen op de kaart worden vaker genoemd? En welke slechts af en toe? Waar liggen de centra, en hoe ver reikt de periferie? Waar op de kaart richt de aandacht van een lezer zich het waarschijnlijkst?

Voor dit experiment – en omdat ik haast had – gebruikte ik een van de API’s van . Maar ook heel wat visualisatiebibliotheken en geografische informatiesystemen laten je hetzelfde soort dichtheidskaart maken.

Enkele observaties

Het resultaat is eerder een impressionistisch tableau dan de nauwkeurige weergave van een scherp omlijnd begrip, en dat is precies wat me aan dit experiment bevalt. Datawetenschap kan immers een machtige bondgenoot van de geesteswetenschappen zijn, maar dat betekent nog niet dat we ons aan haar regels moeten houden.

Een ander interessant aspect van dit experiment is dat de kaart een Levante laat zien die volledig verweven is met de rest van Europa en de Middellandse Zee. Ook wordt duidelijk hoe centraal Edirne stond in de politieke geografie van het Ottomaanse Rijk. Bovendien is de belangrijkste Spaanse stad op de kaart Madrid noch het Escorial, maar Napels. En last but not least lijken eilanden en kleine stadstaten als Ragusa een belangrijke bemiddelende rol te hebben gespeeld tussen de verschillende mogendheden in de regio.

Gegevens opvragen bij MIA

MIA is weliswaar een uitstekend samenwerkingsinstrument voor onderzoekers, maar de gegevens op zijn servers zijn niet gemakkelijk toegankelijk. De back-end is bijvoorbeeld niet in openbare repository’s gepubliceerd. Toch kun je de gegevens bemachtigen door je bij MIA te registreren en met Python verzoeken naar de server te sturen.

Verzoek

url = "https://mia.medici.org/Mia/json/de/advancedsearch/advancedSearchResults/0/90/docYear/asc/?isNewsFeedSearch=False"
payload = [{"searchSection":"archivalLocationSearch","type":"archivalLocationAdvancedSearch","isActiveFilter":True,"repository":None,"collection":"Mediceo del Principato","series":None,"volume":"2863","insert":None},{"searchSection":"categoryAndTypologySearch","type":"categoryAndTypologyAdvancedSearch","isActiveFilter":True,"category":"News","typology":None},{"searchSection":"transcriptionSearch","type":"transcriptionAdvancedSearch","isActiveFilter":False,"transcription":""},{"isActiveFilter":False,"searchSection":"synopsisSearch","type":"synopsisAdvancedSearch","synopsis":""},{"searchSection":"placesSearch","type":"placesAdvancedSearch","isActiveFilter":False,"places":[]},{"searchSection":"peopleSearch","type":"peopleAdvancedSearch","isActiveFilter":False,"people":[]},{"searchSection":"topicsSearch","type":"topicsAdvancedSearch","isActiveFilter":True,"topics":[{"topicTitle":"Place Index","topicId":"51","placeAllId":""}]},{"searchSection":"dateSearch","type":"dateAdvancedSearch","isActiveFilter":False,"dateFilterType":"","dateYear":"","dateMonth":"","dateDay":"","dateBYear":"","dateBMonth":"","dateBDay":""},{"searchSection":"documentOwnerSearch","type":"documentOwnerAdvancedSearch","isActiveFilter":False,"editType":"owner","account":""},{"searchSection":"languagesSearch","type":"languagesAdvancedSearch","isActiveFilter":False,"languages":[]}]
headers = {'Content-type': 'application/json', 'Accept': '*/*'}
r = requests.post(url, data=json.dumps(payload), headers=headers, auth=('LOGIN','PASSWORD'))

Vervang LOGIN en PASSWORD wel door je eigen inloggegevens.

Antwoord naar een bestand schrijven

with open('response.json', 'wb') as fd:
 for chunk in r.iter_content(chunk_size=128):
 fd.write(chunk)

JSON openen

f = open('response.json', encoding="utf8")

JSON-object als dictionary teruggeven

json_complete = json.load(f)

Gegevens uit de JSON selecteren en in csv-formaat wegschrijven

with open('results.csv', 'w', newline='') as csvfile:
 fieldnames = ['documentId', 'placeCited', 'documentDate']
 writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
 writer.writeheader()
 for i in json_complete['data']:
 if i['topics'] != None:
 for x in i['topics']:
 documentId=x['documentId']
 placeCited=x['topicPlaceName']
 year=i['date']['docYear']
 month=i['date']['docMonth']
 day=i['date']['docDay']
 documentDate=str(year)+ "-" + str(month)+"-" + str(day)
 writer.writerow({'documentId': documentId, 'placeCited': placeCited, 'documentDate': documentDate})

Zodra je het bestand results.csv hebt gedownload, kun je de gegevens opschonen zoals hierboven beschreven.

Handschriften visualiseren 2 (update)

Sat, 20 Nov 2021 16:00:00 +0000

Zoals beloofd: een nieuwe versie van de interactieve treemap uit een , ditmaal met twee weergavemodi.

Let op

Voor een betere weergave zorg je ervoor dat de webpagina in de lichte modus staat (klik op het maanpictogram rechtsboven).

Group folios by category

Een visuele browser voor het archief

Sun, 20 Jun 2021 16:00:00 +0000

Het probleem

Digitale edities lijden aan een paradox: ze maken obscure documenten weliswaar voor een breder publiek beschikbaar, maar het verlies aan zintuiglijke prikkels dat met hun dematerialisering gepaard gaat, werkt desoriënterend en schrikt lezers zelfs af om zich in de inhoud te verdiepen. Ze maken het navigeren door omvangrijke documentverzamelingen nogal omslachtig en intimiderend. Dat geldt niet alleen voor gebruikers zonder ervaring met archiefonderzoek, maar ook voor lezers met een cognitieve beperking.

De oplossing

Hier kunnen archiefmetadata ons helpen. Met zulke gegevens kunnen we namelijk interactieve visuele abstracties maken die lezers een alternatieve zintuiglijke ingang bieden, en zo zowel de ergonomie als de toegankelijkheid vergroten. Om het archief visueel navigeerbaar te maken, volstaat een treemap, of om het even welk diagram dat hiërarchische gegevens efficiënt ontleedt.

Het experiment

Mijn eerste experiment bewerkt de voor D3.js en voegt er hyperlinks aan toe. De treemap stelt het handschrift BnF Ms Fr 640 voor, met zijn folio’s en de items op elk folio. De kleuren geven de overheersende categorie aan. Wie met de muis over een item gaat, krijgt meer gegevens te zien, waaronder de hyperlink naar het handschrift.
Zo wordt de treemap een interactieve visuele index die lezers een razendsnel en responsief overzicht geeft, niet alleen van de inhoud van het handschrift, maar ook van de omvang van elk folio en elk item.
~~De komende maanden experimenteer ik verder met dit idee en probeer ik andere diagrammen en andere hiërarchieën uit… Wordt vervolgd!~~ Voor een nieuwe versie van de treemap klik je .

Let op

Voor een betere weergave zorg je ervoor dat de webpagina in de lichte modus staat (klik op het maanpictogram rechtsboven).

Click any cell to zoom in, or the top to zoom out.

Het archief in één oogopslag

Mon, 24 May 2021 16:00:00 +0000

Het probleem

Historische archieven kunnen ontmoedigend rommelig zijn. Het Mediceo del Principato in het is daar een schoolvoorbeeld van. Slechts een klein deel ervan is geïnventariseerd, en veel documenten liggen zonder aanwijsbare reden verspreid over meer dan 6.500 delen. Om het nog ingewikkelder te maken, mag je in het archief maar een beperkt aantal delen (of filze, bundels, zoals ze daar heten) raadplegen. In normale tijden ligt de grens op 4 filze per dag. In tijden van pandemie is dat aantal echter gezakt tot 4 per twee weken. Bij gebrek aan gedetailleerde inventarissen dwingt de enorme omvang van het archief onderzoekers om strategieën te bedenken waarmee ze de gezochte documenten snel kunnen vinden.

De oplossing

Sommigen vertrouwen liever op het toeval, anderen proberen daarnaast onderbouwde gissingen te doen op basis van chronologie, geadresseerden, auteurs, herkomst van het archieffonds, taal enzovoort. Wie al die variabelen tegelijk bekijkt, kan echter onverwachte patronen in de structuur van het archief ontdekken en zijn vermoedens aanscherpen. Mijn ervaring leert dat de metadata die onderzoekers doorgaans in een spreadsheet verzamelen, eenmaal in grafiekvorm, het overzicht in het archief aanzienlijk vergroten.

Het experiment

Mijn huidige onderzoek richt zich op de correspondentie van een zestiende-eeuwse spion. Zijn brieven liggen verspreid over honderden filze. Ze zijn geschreven onder verschillende identiteiten, aan verschillende en soms onverwachte geadresseerden, vanuit verschillende plaatsen, enzovoort. Om de filze op te sporen waarin de gezochte brieven het waarschijnlijkst zitten, heb ik een dashboard opgezet: een interactieve webapplicatie voor datavisualisatie ( ) die allerlei gegevens, waaronder geografische en chronologische informatie, koppelt aan een hiërarchisch diagram ( ) van het archieffonds. Het dashboard toont me in één oogopslag wat er al gevonden is, hoeveel dat voorstelt, en geeft me een ruw idee van waar ik nog nieuwe brieven zou kunnen zoeken. Klik ik bovendien op specifieke variabelen, dan worden alle diagrammen bijgewerkt en tonen ze specifieke correlaties.

Volgende stappen

Belangrijker misschien nog: dit dashboard kan worden omgebouwd tot een visuele index. Wanneer de kritische editie van deze brieven online verschijnt, zal het dashboard dienen als alternatieve ingang, van waaruit lezers door de gegevens kunnen bladeren. Om redenen van vertrouwelijkheid kan ik op dit moment alleen een schermafbeelding tonen waarop delen zijn weggelakt, maar volgend jaar geef ik het volledige dashboard vrij. Intussen komt er binnenkort een prototype beschikbaar. Wordt vervolgd!

Semantische markup visualiseren in BnF Ms. Fr. 640

Sun, 20 Dec 2020 18:15:00 +0000

Overzicht

Datarijke wetenschappelijke edities bevatten waardevolle editoriale annotaties die je voor allerlei wetenschappelijke doeleinden kunt extraheren, analyseren en visualiseren. Dat geldt voor , verschenen in 2020, dat zijn metadatabestand ter download aanbiedt op zijn GitHub-repository. In dit bericht laat ik zien hoe je al die variabelen in een correlatiematrix samenbrengt en op verschillende manieren visualiseert.

De gegevens

Het Making and Knowing Project genereert een spreadsheet met actuele informatie over de inhoud van het handschrift: entry_metadata.csv. Het bestand is te vinden in de van Making & Knowing. Je kunt ook .csv-bestanden op maat genereren en er meer markup aan toevoegen dankzij het uitstekende van Matthew Kumar, een Python-versie van BnF Ms. Fr. 640.

Python klaarzetten

We gebruiken Pandas voor het bewerken van de gegevens, Matplotlib en seaborn voor de heatmaps en tot slot NetworkX om netwerken op basis van correlaties te maken.
Voor dit soort variabelen mijden we de methode van Pearson en gebruiken we in plaats daarvan de 𝜙𝐾-methode. over deze correlatiemethode en de bijbehorende bibliotheek PhiK.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

De gegevens voorbereiden

Download eerst het meest recente metadatabestand van de editie uit de map metadata van hun . We selecteren alleen de kolommen die we nodig hebben. Voor deze demonstratie kies ik alle semantische tags uit de Engelse vertaling tl, maar je kunt ook tags kiezen uit de Franse transcriptie tc of de genormaliseerde versie tcn. De gegevens komen als door puntkomma’s gescheiden waarden, en we moeten ze door Python laten tellen. Daarvoor gebruiken we de stack-unstack-methode met de reguliere expressie [^;\s][^\;]*[^;\s]*. Om de matrix leesbaarder te maken, hernoemen we elke kolom. Wie haast heeft, kan deze stap overslaan; onthoud alleen dat ons dataframe in dit stadium tagsrn heet.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

Correleren

Zodra het dataframe schoon is, kunnen we de correlatiecoëfficiënten tussen de variabelen berekenen. Het is in dit stadium belangrijk je gegevens te begrijpen en de meest geschikte correlatiemethode te kiezen. Het pakket pandas-profiling is daarbij bijzonder handig.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag is onze correlatiematrix. We kunnen nu verschillende soorten visualisatie uitproberen.

Visualiseren

Het eerste wat we kunnen proberen, is de matrix weergeven als kleurgecodeerde matrix, met de van seaborn.

Correlatieheatmap

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

Wie de tekst goed kent, ziet meteen dat de heatmap heel zinnig is. Namen zijn bijvoorbeeld sterk gecorreleerd met Latijn, want het was gebruikelijk, vooral onder zestiende-eeuwse humanisten, om ze te latiniseren.

Sommigen zullen tegenwerpen dat deze heatmap alleen maar open deuren intrapt. Helemaal ongelijk hebben ze niet, en op het eerste gezicht lijken de medische tags dat te bevestigen: ze correleren, zoals te verwachten, met lichaamsdelen, maten en planten.

Maar wie de heatmap aandachtiger leest, regel voor regel, stuit op interessante en onverwachte correlaties. Dat de medische tags bijvoorbeeld correleren met Italiaanse en Latijnse woorden, geeft ons aanwijzingen over de herkomst van de medische recepten in Ms. Fr. 640. Zo ook laat de correlatie tussen beroepen, definities en maten zien in hoeverre de beroepsidentiteit de technische vertogen van de zestiende eeuw structureert.

Correlatieclustermap

Heatmaps zijn nuttig in een “verkennende” context, maar kunnen er voor je publiek wat rommelig uitzien, vooral als je het over specifieke semantische clusters in het handschrift hebt – of er nog naar zoekt. De clustermap-module van seaborn kan dan interessante resultaten opleveren.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

Behalve dat de clustermap op een gepixeld insect lijkt (ja, dat woord staat echt in het woordenboek), onderscheidt ze duidelijk de geïsoleerde tags (bovenaan en links) van de tags die sterker met elkaar verbonden zijn. We zien ook geïsoleerde clusters, zoals muziek en Poitevin (wie had dat gedacht!), naast meer centrale zoals maten, materiaal, definities en wapens. Beroepen zijn sterker verbonden, maar maken, althans in deze specifieke correlatiematrix, geen deel uit van een bepaald cluster.

Correlatienetwerk

Willen we de correlaties in onze matrix nog verder samenvatten, dan bieden netwerkgrafen een elegante oplossing. Dat geldt vooral wanneer we over de inhoud van het handschrift willen communiceren.
Daarvoor moeten we onze matrix omzetten in een lijst van kanten en knopen, en een drempel vastleggen om zwakkere correlaties uit de graaf te weren.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

Zijn er te veel kanten en knopen, dan kun je altijd de drempel aanpassen voor een schoner resultaat. Je kunt de graaf ook exporteren om er in Gephi mee te spelen, met de functie .write_gexf().

nx.write_gexf(G, 'graph.gexf')

Het resultaat zie je aan het begin van dit bericht.

Update: circulair gewogen netwerk

Ik zocht naar manieren om correlatiematrices als gewogen netwerken weer te geven en stuitte op deze interessante aanpak, , die ik hier aanpas aan onze dataset.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

Zodra we een paar kanten hebben verwijderd, kunnen we hun kleur en dikte bepalen.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

We geven de knopen ook een grootte die evenredig is met hun aantal verbindingen.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

Het resultaat is een gewogen graaf die meer knopen en aanzienlijk meer kanten toelaat en toch leesbaar en informatief blijft.