Zibaldone |

Stängslet, inte elden

Sun, 06 Sep 2026 00:00:00 +0000

I ett lagerhus i North Las Vegas driver Amazon en maskin som skär ryggen av begagnade böcker. De lösa sidorna går genom en skanner, och sedan skickas papperet i väg för att malas ner till massa. Böcker som förstörs för att mata AI: historien hade allt som krävs för att bli en kulturskandal. jämförde verksamheten med ett modernt bokbål och sparade inte på klichéerna: anspelningar på Savonarola, arkivbilder på till synes sällsynta böcker och, naturligtvis, bålet i Berlin. Kvalitetstidningarna var som väntat svalare men lät samma jämförelse hänga i luften. Men trots all sin indignation kom AI-industrin förvånansvärt lindrigt undan i dessa artiklar. Papperets öde får huvudrollen; vem som äger de digitala bibliotek som blir resultatet kommer knappt in i bilden. Vem får kontrollera den kunskap som skannas? Den frågan får vänta medan vi röjer undan pratet om bokbål.

En skanner är inget bål

Analogin med Savonarolas bål eller nazisternas bokbränning är absurd: att förstöra ett exemplar är inte detsamma som att undertrycka en text. Bålen var offentliga akter av avståndstagande. Den stackars munken Savonarola, som åberopas i varje bokbålskontrovers, uppmanade folk att offra några av sina ägodelar som en offentlig botgöring. Nazisternas bål iscensatte ett annat slags avståndstagande: den offentliga bränningen förkunnade att författarna inte hade någon plats i det tyska kulturlivet. I båda fallen var förstörelsen, hur motbjudande den än var, performativ. Destruktiv skanning, en vanlig metod inom digitaliseringen, tjänar ett annat syfte: exemplaret giljotineras för att innehållet ska bevaras. Boken förstörs; texten dematerialiseras. De som tar till Fahrenheit 451 kunde erinra sig romanens centrala lärdom: en text är inte det papper den är tryckt på.

Djärvare än Daily Mail men inte mindre klumpigt bidrog till larmet genom att sätta ”sällsynta böcker” i rubriken. Men en bokhandlare som citeras i tidningens egen granskning uppgav att dessa bulkbeställningar , vilket i stort sett pekar mot utgåvor publicerade efter att ISBN infördes omkring 1970. Det är loppisarnas och secondhandbutikernas varor, ofta en enda storstädning från soptippen. Innan man utropar en kulturkatastrof kunde man slå i bibliotekskatalogen. Det är precis sådana publikationer pliktleveransbiblioteken finns till för att bevara. Visst garanterar ett ISBN inte att ett pliktexemplar överlevt, men lika lite bevisar knappheten på andrahandsmarknaden att en text försvunnit.

Böcker har naturligtvis en materiell historia. Exemplar vars anteckningar, dedikationer eller proveniens ger dem historisk betydelse förtjänar att identifieras och bevaras. Här har antikvariaten en roll att spela: att känna igen ett sådant exemplar borde vara skäl nog att hålla det utanför en sändning på väg att malas ner. Vi kan också fortsatt oroa oss för den krympande tillgången på fysiska exemplar av titlar som gått ur tryck. Men då bör vi också fråga varför rättsinnehavarna varken trycker om dem eller tillåter åtkomst till befintliga digitala faksimil. Forskare känner frustrationen: Google Books hittar det avsnitt du behöver och bjuder sedan på ett smakprov ur en bok du varken kan köpa ny eller läsa på nätet. Det finns alltså förluster här värda att diskutera, men de gör inte en skanner till ett nazistiskt bokbål.

Bokbranschen har för sin del sedan länge rutinmässigt malt ner osålda böcker. Bara i Frankrike uppskattas , ungefär 60 procent av det tonnage som returnerades osålt till distributörerna. Det kallas lagerhantering. Överskottsexemplar och sällsynta begagnade titlar väcker olika frågor om tillgång, men att förstöra papper är inte i sig censur eller tyranni.

Fler böcker, bättre AI?

Att AI-företag köper och skannar böcker är i själva verket goda nyheter. En teknik som ständigt kritiseras för sin ytliga förståelse av mänsklig kultur skaffar sig mer av den, och man kunde ha väntat sig att forskare skulle välkomna ansträngningen.

Webben är en dålig ersättning för ett språks samlade skriftliga arv. Mycket av ett språks nedtecknade liv, från romaner och memoarer till populära visor och transkriberade samtal, har aldrig tagit sig från trycket till webben. Många av dessa böcker har överlevt sina förlag. Att få in dem i träningsdata betyder mest där lite annat finns att tillgå. Några böcker till på engelska ger kanske marginella förbättringar. Men för ett dåligt representerat språk kan samma böcker avgöra om ett system blir användbart eller värdelöst. Om dessa verktyg hör hemma i våra offentliga tjänster eller vår vardag är en fråga för den offentliga debatten. Men var vi än väljer att använda dem bör vi kunna göra det på vårt eget språk.

Beställningarna som rapporterats från Spanien och Nederländerna visar konkret vad som står på spel för språken. I maj beskrev en bokhandlare i Badalona som fått upprepade beställningar, främst på katalansk facklitteratur: historieböcker, tekniska handböcker och gamla konferensvolymer. I augusti rapporterade nederländska medier om en förfrågan till De Slegte om . Böckernas språk förtjänar minst lika mycket uppmärksamhet som bokbandens öde. Det är kanske för mycket begärt av Daily Mail. Men även de mer sansade tidningarna har haft föga att säga om språken.

Licensavtal med stora förlag kan också ge värdefullt material, men förlagens digitala kataloger täcker bara en bråkdel av allt som utkommit i tryck. Böcker som aldrig digitaliserats, eller vars rättigheter förlaget inte längre innehar, faller utanför erbjudandet. Inte ens ett generöst licensavtal kan ersätta förlagshistorien, än mindre en kulturs historia. Att köpa begagnade exemplar är ett sätt att nå förbi de kommersiella gränserna.

”Stöld” är inget argument

Att kalla det ”stöld” hjälper inte heller. I juni 2025 fann två amerikanska distriktsdomstolar att användningen av böcker för att träna språkmodeller utgjorde fair use i de mål de hade att pröva. I betonade domstolen träningens transformativa karaktär: böckerna användes för att bygga ett system som kan frambringa nya uttryck. Modeller kan memorera passager, men att en bok används i träningen gör inte hela texten hämtbar på begäran. Frånvaron av ordagrann återgivning avfärdar heller inte varje invändning. I varnade domaren för att AI-genererade verk kunde översvämma marknaden och att bevis för sådan skada skulle kunna fälla ett fair use-försvar. Dessa kärande hade dock inte lagt fram några substantiella bevis för sådan skada på sina egna verk. Ingendera domen ger AI-företagen fritt fram eller avgör den etiska tvisten. De kräver att vi skiljer på hur böcker anskaffas, hur kopior behålls och vad träningen gör med dem. Att kalla alltihop ”stöld” lämnar de frågorna obesvarade.

I förbigående sagt ger Anthropic-domen giljotinen en logik. Domstolen godkände digitaliseringen av köpta exemplar men underkände ansamlingen av piratkopierade böcker i ett permanent bibliotek, för vilket företaget senare . Digitaliseringen godkändes delvis för att varje tryckt exemplar förstördes vid omvandlingen: den digitala kopian ersatte det och delades inte utanför företaget. Den förstörelse som upprör somliga så hjälpte Anthropic att få sitt digitaliseringsprogram bedömt som fair use. Att köpa, skanna och kassera var i det fallet en laglig väg. Giljotinen är här ett redskap för regelefterlevnad.

Det finns goda skäl att vilja att AI ska ösa ur fler språk, mer forskning och mer av den värld som fanns före internet. De skälen försvinner inte för att ett företag vi ogillar har sett en affärsmöjlighet i saken.

Lånad indignation

Låt oss då återvända till Daily Mail. Tidningens artikel ingår i , en kampanj från tidningsägare och förlag som vill ha för AI. Två bekväma utbyten gör jobbet: Big Tech får stå för AI, och rättsinnehavarna får stå för ”brittisk kreativitet”. Läsarna inbjuds att försvara kulturen medan förlagen förhandlar om villkoren för dess försäljning. Forskare som delar historien kunde fråga sig vems sak deras indignation tjänar.

Big Tech och grälar om hyran, men ingendera har något emot stängslet. Berättelsen om den ensamma författaren som bestjäls av en teknikjätte skymmer vad dyra licensavtal erbjuder båda bolagslägren: förlagen får betalt, och Big Tech får en marknad där dess mindre konkurrenter inte har råd att vara med. Peter Thiel uttryckte Silicon Valleys preferens rakare: .

Licensiering behöver inte leda dit. Prisvärd, icke-exklusiv tillgång kunde hjälpa mindre utvecklare. Men ett system som tvingar varje ny aktör att förhandla fram dyra avtal med de stora rättsinnehavarna gör köpkraft till ett inträdesvillkor. En betalning som framställs som en eftergift till kulturbranschen slutar med att köpa skydd mot framtida rivaler.

AI tillhör inte Big Tech

Det finns en djupare fråga. Alltför mycket AI-kritik tar de största kommersiella leverantörerna för hela fältet. Produkterna dominerar rubrikerna; forskningen och utvecklingen utanför dessa företag försvinner ur sikte. Big Tech kunde knappast önska sig ett nyttigare missförstånd. Dess ambition att äga fältet blir premissen för den kritik som riktas mot det. Monopolet är ännu inte säkrat. Att behandla det som avgjort gör dessa företag en enorm tjänst. Det leder också uppmärksamheten bort från den öppna källkoden: från dess behov, dess chanser att över huvud taget finnas, dess intressen, dess legitimitet som alternativ.

AI med öppen källkod låter människor bygga och anpassa system som speglar en större mångfald av språk, kulturer och uttrycksformer. För länder i Europa, Afrika, Latinamerika och Asien är det en praktisk grund för teknisk och kulturell suveränitet: förmågan att bestämma hur systemen fungerar, vilka språk de betjänar och var de används. Om AI ska användas, och till vad, bör förbli ett offentligt val, inte ett beslut dikterat av beroendet av ett utländskt oligopol.

Men friheten att ändra ett system betyder föga utan medlen att göra det. Oberoende arbete kräver expertis, datorinfrastruktur och tillgång till träningsmaterial. Det för oss tillbaka till böckerna. Om varje forskargrupp eller offentlig institution måste förhandla fram egna förlagsavtal eller bygga upp ett eget privat bibliotek blir oberoendet oöverkomligt även för somliga rika länder.

Böckerna finns redan här

Bibliotek och arkiv har i generationer samlat det material dessa system behöver. Deras samlingar finns för att tillgången till kunskap ska överleva det kommersiella intresset av att sälja den. Mycket är redan skannat: rymmer omkring nitton miljoner digitaliserade volymer från forskningsbibliotek, många fortfarande upphovsrättsskyddade. Ett bibliotek skannar en bok och behåller den. Ingen där behöver någon giljotin. HathiTrust men har också aviserat , ett projekt som ska ge korpusåtkomst för icke-kommersiell AI-forskning och AI-utveckling. Tillgång på de villkoren skulle ändå lämna en del oberoende utvecklare utanför.

Att äga böckerna ger dock inte ett bibliotek rätt att sprida deras upphovsrättsskyddade innehåll som träningskorpus. tillåter forskningsinstitutioner och bibliotek att utvinna text och data ur lagligt tillgängliga verk för vetenskaplig forskning, och medger bredare utvinning där rättsinnehavarna inte förbehållit sig sina rättigheter. : dess undantag för utvinning omfattar icke-kommersiell forskning och begränsar överföringen av kopior. Ingetdera regelverket ger biblioteken någon allmän rätt att dela sina upphovsrättsskyddade bestånd för andra att bygga vidare på.

Vi kunde också ompröva hur länge rättsinnehavare ska kontrollera datorbaserad användning av böcker. Läkemedelspatenten bygger på en uppgörelse: tillfällig ensamrätt belönar innovation, sedan blir uppfinningen fri för andra att använda. Deras normala tjugoåriga löptid är långt kortare än upphovsrättens skydd under författarens livstid och sjuttio år därefter. Varför inte tillämpa en liknande princip på datorbaserad användning av böcker? Efter, säg, tjugo år från första utgivningen kunde en bok bli tillgänglig för text- och datautvinning utan licensavgifter, medan rättigheterna till nyutgivning och försäljning förblev skyddade. Författare kunde fortsätta tjäna på sina böcker utan att generationer av forskare behövde förhandla om tillstånd för att analysera dem.

För två år sedan hävdade jag i att kulturarvsdata bör behandlas som en kollektiv nyttighet. Staterna bör finansiera bibliotek och arkiv så att de kan digitalisera, transkribera och dokumentera sina samlingar, och ge dem den rättsliga befogenheten att göra de resulterande korpusarna tillgängliga för andra att bygga vidare på. Big Tech kunde bidra till notan genom en särskild avgift.

Offentlig finansiering bör åtföljas av publicerade samlingspolicyer och åtkomstregler som täcker både akademiskt och kommersiellt arbete, utan exklusiva avtal eller privilegierad tillgång för donatorer. Tillgång för träning behöver inte betyda obegränsad vidarespridning av upphovsrättsskyddade böcker. Författarna bör vara med och utforma det offentliga systemet, inklusive hur det hanterar samtycke, ersättning och konkurrens med deras verk. Fri tillgång för användarna behöver inte utesluta offentligt finansierad ersättning till författarna. Biblioteksersättningen – i Storbritannien – som betalar författare ur offentliga medel när deras böcker lånas ut, är ett prejudikat. Elden var aldrig historien. Det är stängslet.

Kära redaktörer: vill ni ha min röst, ge mig tillbaka mitt språk

Thu, 27 Aug 2026 00:00:00 +0000

Ny dag, ny tidskrift som basunerar ut sin AI-policy. Den här gången är det Progress in Human Geography, vars redaktörer har publicerat med varningen att den som använder AI som ersättning för sitt eget läsande, tänkande och skrivande begår ”ett brott mot den akademiska etiken, jämförbart med plagiat”. Artiklar som befinns ha brutit mot regeln ”kan komma att dras tillbaka”; i bästa fall rättas de, med en notis tryckt i tidskriften. Författarna, tillägger redaktörerna, bör ”noga överväga om de vill se sina namn förknippade med tillbakadraganden och rättelsenotiser”.

Den meningen förtjänar en stunds eftertanke. Tillbakadragandet (retraktionen) är den strängaste sanktion det vetenskapliga publiceringsväsendet känner, det straff som annars är förbehållet fabricering och fusk. Här knyts det till en förseelse som samma ledare inte förmår definiera. Det finns, medger redaktörerna, ”verkliga gråzoner” och ”inga tydliga linjer som avgränsar zonen för ’oansvarighet’”. Tillämpningen kommer att vila på ”bedömningar som kan reta upp somliga författare, vilka kommer att hävda att de inte använt AI på ett otillbörligt sätt” – ens egen försäkran kan med andra ord köras över. Rådet som följer är att hålla sig ”tryggt inom zonen för ’ansvarighet’”, och till trygghet manar man bara där fara hotar. Att straffa människor för att de korsar en linje man erkänner att man inte kan dra är begripligt bara om avsikten är att regera med skräck. Lägg det på minnet.

Rösten som förevändning

Hur ser ansvarsfull användning ut? Författarna uppmanas: ”stor omsorg måste ägnas … åt att bevara den egna rösten”. Missbruk är att ta AI till hjälp ”för att skriva på ett språk författarna själva normalt aldrig skulle använda”. För den som har engelska som modersmål är det rimligt: låtsas inte vara något du inte är. Men för utlänningar som måste skriva på ett språk som inte är deras eget motsäger påbudet sig självt. Den röst regeln vill skydda är just det som tidskriftens egna regler förvägrar oss.

Ta mig som testfall. Engelska är mitt fjärde språk, precis ett sådant jag aldrig skulle använda ”normalt”. Engelskspråkiga universitet drillade mig i att skriva den kort, med tydliga vägvisare, nästan mekaniskt: kärnmeningen först, garderingar på de godkända ställena, övergångar från den godkända listan. Drillen fungerade: det har aldrig funnits någon röst i min engelska att skydda; den var det första som fick stryka på foten. Enligt redaktörernas egen definition vore allt jag skrivit på engelska otillbörlig användning, med eller utan maskin.

Rävsaxen

Redaktörerna säger sig ha tänkt på oss: policyn erkänner att den som inte har engelska som modersmål har nytta av att AI kontrollerar engelskan, ja rentav av dess ”översättnings-, skriv- och redigeringstjänster”. Ändå ska AI:s inblandning i skrivandet ”på sin höjd uppgå till hjälp med redigering och korrekturläsning” och får inte leda till ”stora sjok av AI-skriven text”. En maskinöversatt artikel är AI-skriven från första ordet till det sista; den består av inget annat än sådana sjok. Eftergiften håller alltså bara om översättning inte är skrivande. Var går den linjen? Det har de redan sagt oss: ”inga tydliga linjer”.

Det blir värre, för misstanken är inte bara omöjlig att vederlägga. Den spelar dessutom med falska tärningar. År 2023 prövade ett forskarlag från Stanford sju vanliga AI-detektorer på uppsatser skrivna av människor: detektorerna flaggade i genomsnitt 61 % av TOEFL-uppsatserna av icke-modersmålstalare som maskingenererade, medan de klassificerade modersmålstalarnas uppsatser nästan felfritt; en detektor flaggade 97,8 % av TOEFL-materialet ( ). Skälet är lärorikt. Detektorerna mäter förutsägbarhet, och andraspråksengelska, tränad mot medelvärdet, är förutsägbar till sin konstruktion: det mest sannolika ordet i den mest sannolika ordningen. Samma studie fann signalen i verklig forskning, i form av lägre språklig variation i konferensbidrag med icke-modersmålstalare som förstaförfattare. De stildrag som läses som ”AI” är den kompetenta andraspråksengelskans stildrag, och en mänsklig bedömning läser samma drag som maskinen. Rävsaxen har slagit igen: skriver jag min egen engelska ser jag ut som en maskin; tar jag maskinen till hjälp bryter jag mot deras regel.

Språkskatten

Paradoxen vore harmlös om den inte åtföljdes av hot. Men hoten blottar ett djupare och äldre problem som policyn aldrig nämner vid namn: enspråkigheten. efterfrågar ”bredast möjliga internationella täckning”, medan det på samma sida heter att ”tidskriftens språk är engelska”.

Kostnaden för det arrangemanget är inte hypotetisk. I en enkät bland 908 miljöforskare fann Amano och hans kollegor att forskare utan engelska som modersmål lägger upp till 51 % mer tid på att skriva en artikel, får den refuserad 2,5 gånger så ofta och ombeds revidera den 12,5 gånger så ofta, enbart av språkliga skäl ( ). Den skatten tas ut innan någon AI-policy ens kommit på tal; deklarationsblanketten och dess hot är en skatterevision ovanpå.

Fin d’empire

Enspråkigheten är det axiom ingen diskuterar. Den är ett imperialt arv som med tiden fick en praktisk motivering: översättning var långsam och dyr, och ingen redaktion kunde bedöma vad den inte kunde läsa. Men inget av detta överlever maskinöversättningens framsteg. Dagens bästa maskinöversättning kan användas som ett tillförlitligt mellanled mellan författare och redaktörer.

Den idealiska utvägen är mänsklig: forskare borde läsa mer än ett språk. I stället väljer de engelskspråkiga universiteten att lägga ner sina institutioner för moderna språk. Märk väl att nedläggningarna är ett angloamerikanskt fenomen: forskare på andra håll har aldrig haft råd med enspråkighetens lyx. Och märk tidpunkten. Att lägga ner en språkinstitution är att slå vad – om att engelskan har vunnit för gott och att inget läsvärt någonsin mer kommer att skrivas på något annat språk. Det vadet ingås vid precis fel tidpunkt, och det av två skäl. För det första för att maskinöversättningen för första gången gör det möjligt att helt klara sig utan ett lingua franca; för det andra för att den ordning som gjorde engelskan till självklarhet är på reträtt: den engelskspråkiga världen vänder sig inåt, globaliseringen ebbar ut, frihandeln ifrågasätts i sina egna hemländer, och en multipolär värld tar form där de läsvärda språken kommer att bli fler. Universiteten utbildar forskare som bara läser engelska för en värld där engelskan inte kommer att räcka. Redaktionerna blir de första att ärva den förlusten.

Ett prov för redaktörerna

När en redaktion beklagar att den inte kan höra sina författares egen röst ligger kanske en del av problemet hos redaktionen själv.

Det är en allvarlig anklagelse, och den kommer med ett allvarligt prov. Skulle Progress in Human Geography låta sakkunniggranska ett bidrag skrivet på franska, italienska eller japanska, åtföljt av en maskinöversatt engelsk version? Tidskriftens egna anvisningar erkänner ju de ”översättningstjänster” som gör det möjligt. Ett ja gör slut på problemet. Ett nej skulle avslöja vad policyn egentligen skyddar.

Hur som helst är valet redaktörernas. Om rösten betyder något, som de påstår, bör tidskriften ta emot artiklar på de språk författarna tänker på. Om den inte gör det bör deklarationsblanketten bort, och hoten med den.

tei-mcp v0.3: TEI-kodning utan att skriva om källan

Tue, 05 May 2026 00:00:00 +0000

När jag var målet att hindra AI-assistenter från att hallucinera TEI-uppmärkning. Schemaförankringen löste en del av problemet: med direkt, verktygsbaserad tillgång till P5-specifikationen behöver modellen inte längre gissa vad ett element betyder eller vilka attribut det tar. Resultatet validerar.

Men hallucinationen har två ansikten i TEI-kodning, och schemat fångar bara det ena. Att validera mot specifikationen säger dig att uppmärkningen är välformad. Det säger inget om den text uppmärkningen omsluter. Och det är där – i själva texten – de mer skadliga hallucinationerna håller till. Spannlåst komposition (span-locked composition), huvudnyheten i v0.3, är utformad just för att förhindra dem.

Innehållsförteckning

Hallucinationen som schemat inte kan fånga

Be en modell koda ett franskt brev från 1500-talet, och du får ofta tillbaka ett TEI-dokument som ser oklanderligt ut. Headern är ifylld, <persName>-taggarna sitter rätt, <dateline> är välformad. Kör det genom validate_document och det går igenom.

Jämför sedan brödtexten med källan.

mesme har blivit même. Ett komma har flyttat på sig. luy har i tysthet moderniserats till lui. En sats som var svårläst i handskriften har ”rättats” till något prydligare. Ingen av ändringarna var begärd. Ingen av dem flaggas. Dokumentet är schemagiltigt och tyst felaktigt.

För ett arkivflöde – där den kodade texten blir den permanenta post som senare läsare, sökindex och citeringar förlitar sig på – är detta den typ av fel som betyder mest. En felformad tagg är irriterande. En moderniserad stavning som ingen upptäcker på fem år är en korruption.

Spannlåst komposition

Den nya versionen (v0.3) levererar en mekanism mot hallucinationer som siktar rakt på just den här typen av fel. Designmålet är att göra hallucinationer i brödtexten omöjliga per konstruktion, inte bara osannolika.

Idén är enkel: modellen skriver aldrig brödtext.

I stället ser arbetsflödet ut så här:

Modellen anropar get_source("letter_001") och får källans råtext som en oföränderlig sträng.
För varje tagg den vill sätta anropar den tag_span("letter_001", start, end, element_path, attrs) – och registrerar därmed ett TEI-element över ett teckenintervall i källan.
När den är klar anropar den compose("letter_001"). Servern flätar in de registrerade taggarna i den ursprungliga råtexten, renderar den färdiga TEI-filen och kontrollerar sedan byte för byte att det renderade dokumentets rena textinnehåll är identiskt med källan.

Stämmer bytena kommer dokumentet tillbaka. Gör de inte det – om modellens taggar på något sätt implicerar en brödtext som avviker från källan med ett enda tecken – kastar compose() ett fel i stället för att returnera ett korrupt dokument.

Det finns ingen väg genom det här arbetsflödet där modellen producerar ett TEI-dokument vars brödtext avviker från källan. Invarianten är mekanisk, inte beteendemässig. Du behöver inte lita på att modellen låter bli att hallucinera; du behöver lita på en ==-jämförelse mellan två bytesträngar.

Vad det är, och vad det inte är

Spannlåst komposition är ett komplement till schemaförankringen, inte en ersättning. Schemaverktygen (validate_document, lookup_element, valid_children och resten av de ursprungliga sexton) hjälper modellen att producera giltig TEI. Spannlåst komposition garanterar att brödtexten inuti den TEI-filen är trogen källan. Ett kodningsflöde som ska kunna tas i drift måste uppfylla båda kraven, och nu täcks båda av en och samma server.

Det är heller inget trollspö som fixar allt. compose() kontrollerar ännu inte att de registrerade taggarna är tillåtna enligt en laddad ODD-anpassning – det kommer i en uppföljning. Registrerade taggar ligger i processminnet och överlever inte en omstart. Och källfilerna måste vara läsbara från den plats där servern körs. Allt detta går att åtgärda; inget av det rubbar den centrala invarianten.

Varför det spelar roll bortom TEI

Mönstret går att generalisera. Varje gång en modell ombeds annotera, omvandla eller omsluta en text – och varje gång textens integritet väger tyngre än modellens förmåga att ”förbättra” den – passar samma slags lösning. Be inte modellen skriva om texten. Be den producera instruktioner över texten, och låt en deterministisk kompositör tillämpa dem under en likhetsinvariant.

För digitala utgåvor i synnerhet förändrar detta vad man med gott samvete kan be en modell om. Kodningen blir med ett slag en uppgift man kan delegera utan att manuellt behöva jämföra varje resultat med källan. Maskinen tar den tråkiga vägen; utgivaren granskar uppmärkningen, inte stavningen.

Hämta uppdateringen

Har du redan tei-mcp installerat:

uvx tei-mcp@latest

Eller från början:

pip install tei-mcp

För att använda spannlåst komposition pekar du servern mot en katalog med källfiler i råtext:

export TEI_MCP_SPAN_SOURCE_ROOT=/path/to/sources
uvx tei-mcp

Varje fils namnstam blir dess dokument-ID (letter_001.txt → letter_001).

Källkod, fullständig dokumentation och designanteckningarna om invarianten:

En annan sorts digital utgåva

Tue, 24 Mar 2026 00:00:00 +0000

De flesta primärkällor blir aldrig utgivna. Den modell vi förlitar oss på för att råda bot på det, anslagsfinansierade digitala utgåvor, är för dyr, för centraliserad och för bräcklig för att fungera i stor skala. Jag har just publicerat som förklarar varför jag bygger den kritiska utgåvan av Cavrianas brev på ett annat sätt: digitaliserade primärkällor som växer organiskt, med minimal infrastruktur och automatiserat underhåll, öppna för samarbete och så billiga att inga anslag ens behövs. Det är ett argument för en digital humaniora som fungerar oavsett institutionellt stöd.

tei-mcp: TEI P5 för AI-agenter

Sun, 15 Mar 2026 00:00:00 +0000

Har du någon gång låtit en AI-kodassistent skriva TEI-XML har du nog märkt att den gör fel. Element dyker upp där de inte hör hemma. Attribut hittas på. Nästlingsreglerna ignoreras. Modellen har en ungefärlig känsla för hur TEI ser ut, men ingen tillförlitlig kunskap om specifikationen.

tei-mcp löser det genom att ge AI-agenter direkt, verktygsbaserad tillgång till riktlinjerna för TEI P5.

Innehållsförteckning

Vad är MCP?

(MCP) är en öppen standard som låter AI-applikationer ansluta till externa datakällor och verktyg. Tänk på det som en USB-port för AI: ett enda protokoll som låter vilken kompatibel klient som helst – Claude, Cursor, Windsurf och andra – koppla in sig på specialiserade tjänster.

En MCP-server exponerar verktyg som AI:n kan anropa under ett samtal. I stället för att förlita sig på memorerade träningsdata kan modellen fråga en levande, auktoritativ källa.

Vad tei-mcp gör

tei-mcp tolkar ODD-specifikationen för TEI P5 och exponerar 16 verktyg som täcker de vanligaste frågor en utgivare eller kodare ställer:

Vad är det här elementet? Slå upp vilket element, vilken klass, vilket makro eller vilken modul som helst på namn, med skiftlägesokänslig matchning och förslag vid felstavning.
Vilka attribut tar det? Lös upp attributen genom hela klasshierarkin – lokala attribut först, sedan de ärvda i ordning.
Vad får finnas inuti? Expandera innehållsmodeller till strukturerade träd, eller få en platt lista över giltiga barnelement.
Får det här elementet stå här? Kontrollera nästlingen förälder–barn, eller spåra nåbarheten genom hela elementhierarkin.
Är mitt dokument giltigt? Validera en TEI-XML-fil mot specifikationen: innehållsmodeller, attributvärden, slutna värdelistor, referensintegritet och utfasningsvarningar.
Och mitt projektschema? Ladda en ODD-anpassningsfil för att begränsa allt ovanstående till ditt projekts specifika delmängd av TEI.

Varför det spelar roll

TEI-kodning kräver att man ständigt slår i riktlinjerna. Erfarna kodare har de vanligaste mönstren i ryggmärgen, men även de måste kontrollera specifikationen för mindre bekanta element eller invecklade innehållsmodeller. För AI-assistenter, som inte har någon sådan inövad kunskap, är problemet värre: de hallucinerar fram uppmärkning som ser rimlig ut men är fel.

Med tei-mcp behöver AI:n inte gissa. Den kan slå upp svaret i specifikationen innan den skriver en enda vinkelparentes. Resultatet är uppmärkning som följer TEI P5 – eller ditt projekts ODD-anpassning.

Kom igång

Installera från PyPI:

pip install tei-mcp

Lägg sedan till servern i din MCP-klients konfiguration:

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

Servern laddar ner TEI-specifikationen vid första körningen och fungerar med vilken MCP-kompatibel klient som helst.

Källkod och fullständig dokumentation:

Att lära ut binär kod med ITA2-telegrafemulatorn

Thu, 13 Feb 2025 00:00:00 +0000

Att göra det abstrakta gripbart

Den här ITA2-emulatorn är ett handfast hjälpmedel i undervisningen. Genom att göra abstrakta kodningsbegrepp synliga och interaktiva leder den studenterna fram till ett av datorteknikens och telekommunikationens nyckelbegrepp: den binära representationen – hur text blir mönster av ettor och nollor. Det brukar vi lära ut abstrakt, men när hålen faktiskt dyker upp på remsan blir det lättare att begripa hur fysiska system kan bära digital information.

ITA2 (Baudot-Murray) Telegraph Type Emulator

Type a word in the input below to see its representation on the ITA2 tape.

Type word:

Historisk bakgrund: från telegraf till dator

Koden ITA2 (International Telegraph Alphabet No. 2), även kallad Baudot–Murray-koden, utvecklades på 1920-talet som en förfining av Émile Baudots ursprungliga telegrafkod från 1870-talet. Dessa tidiga telekommunikationssystem påverkade den senare datorutvecklingen direkt:

Fembitarskodningen var ett tidigt exempel på teckenkodning
Teckenuppsättningens begränsningar (bara 32 möjliga kombinationer med fem bitar) ledde till den sinnrika skiftmekanismen mellan BOKSTÄVER och SIFFROR (LETTERS/FIGURES)
Systemet användes för fjärrskrivare långt in på 1900-talet

Tillståndsmaskiner på lek

Skiftmekanismen mellan BOKSTÄVER och SIFFROR är en naturlig ingång till tillståndsmaskiner. Genom att pröva sig fram upptäcker studenterna att samma mönster kan stå för olika tecken beroende på vilket läge apparaten befinner sig i. Den praktiska erfarenheten av tillståndsberoende kodning förbereder dem för mer avancerade datavetenskapliga begrepp. Bitmönstret 00011 står t.ex. för:

bokstaven ’A’ i BOKSTÄVER-läget
siffran ’1’ i SIFFROR-läget Denna dubbla tolkning, styrd av tillståndet, är grundläggande för hur datorer hanterar data.

Övningar i klassrummet

Några sätt att använda ITA2-emulatorn i undervisningen:

Kodknäckning: låt studenterna avkoda meddelanden skrivna som ITA2-mönster
Effektiv kodning: diskutera varför skiftmekanismen var viktig för att spara bandbredd
Kodningens utveckling: jämför ITA2:s fembitarskod med ASCII (sju bitar) och Unicode
Fysisk databehandling: koppla det historiska systemet till moderna mikrokontroller som Arduino

Tillgänglighet

Bortom det historiska intresset passar det här arbetssättet studenter som lär sig på olika sätt:

den som lär visuellt ser mönstren
den som lär genom att göra griper direkt in i kodningsprocessen
den som tänker i begrepp kan utforska informationsteorins matematiska sida

Teknisk utformning

Emulatorn är skriven i JavaScript och kan enkelt byggas in i vilken webbaserad lärplattform som helst. Koden är modulär och kan anpassas till olika undervisningssammanhang. Källkoden finns här, och där kan du också pröva emulatorn själv:

En upplevd geografi över Levanten

Sat, 29 Oct 2022 10:02:52 -0500

Inledning

Levante – Levanten – är en undflyende plats. Den definieras vanligen i förhållande till – eller i motsats till – ett annat territorium, och dess innebörd har sällan varit stabil: den har frammanat olika geografier beroende på var och när ordet använts. Men även om en objektiv och exakt definition är svår att formulera kan man ändå hoppas kunna rita en subjektiv karta över regionen, med de samband som finns inom en given textkorpus som underlag. Med andra ord: vilket rum kunde Levante frammana hos en bestämd krets av läsare?
I det här inlägget visar jag hur man med data från Medici Archive Projects kan visualisera vilka platser ortnamnet förknippades med.

MIA-databasen

MIA-databasen är en samarbetsplattform för forskare som vill ladda upp och dela sina egna fotografier av arkivmaterial från . Under det gångna året har vårt team, med stöd av , fotograferat, transkriberat, sammanfattat och klassificerat tusentals dokument ur avvisi-avdelningen i arkivet Mediceo del Principato i Florens. Databasen var visserligen inte i första hand tänkt för statistisk analys, men de metadata vi gjort tillgängliga kan ändå laddas ner och användas som datamängder.

Datamängden

I det här fallet täcker den datamängd jag skapade alla nyheter från Levante mellan 1543 och 1566, dvs. från den första avviso som finns registrerad i arkivet till det år då sultan dör. Här är ett utdrag ur de data jag hämtade från servern. De består av tre kolumner: ett unikt dokumentnummer, ett ortnamn och ett datum.

57386 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57386 Modon / Messinias, Nomos / Peloponnisos / Ellas 1565-1-3
57386 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57386 Evvoia / Evvoias, Nomos / Sterea Ellas-Evvoia / Ellas 1565-1-3
57386 Venetian Republic / Italia / Europe / World 1565-1-3
57386 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57386 Black Sea / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Otranto / Lecce / Puglia / Italia 1565-1-3
57389 Nisoi Aiyaiou / Ellas / Europe / World 1565-1-3
57389 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57389 Buda / Budapest / Budapest / Magyarorszag 1565-1-3
57389 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57389 Kipros / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Rodhos / Rodos, Nisos / Sporadhes / Nisoi Aiyaiou 1565-1-3
57389 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57389 Çorlu / Thraki / Ellas / Europe 1565-1-3

Att städa data

För att kunna visualisera dessa data måste vi göra dem läsbara som csv (kommaseparerade värden). Den geografiska informationen måste dessutom omvandlas till ett mer ”maskinvänligt” format: GPS-koordinater. Eftersom datamängden rymmer hundratals poster vill vi helst automatisera processen. Det går ganska snabbt och rätt exakt med förtränade språkmodeller som , eller , för att bara nämna några. Momentet måste dock övervakas noga, eftersom förtränade språkmodeller har en viss benägenhet att hallucinera.

documentId,latitude,longitude,documentDate
57386,35.899167,14.514167,1565-1-3
57386,37.05,22.116667,1565-1-3
57386,31.200028,29.918719,1565-1-3
57386,38.366667,23.666667,1565-1-3
57386,45.438333,12.331333,1565-1-3
57386,41.018611,28.984444,1565-1-3
57386,42.7,18.8,1565-1-3
57389,40.216667,18.166667,1565-1-3
57389,37.966667,23.716667,1565-1-3
57389,35.899167,14.514167,1565-1-3
57389,47.4925,19.051389,1565-1-3
57389,31.200028,29.918719,1565-1-3
57389,34.916667,33.616667,1565-1-3
57389,36.405419,28.227778,1565-1-3
57389,41.018611,28.984444,1565-1-3
57389,41.133333,27.416667,1565-1-3

Densitetskartan

En densitetskarta är en visualisering som lyfter fram hur ofta en plats nämns i en given datamängd. Den är särskilt användbar när man vill förstå inte bara sina datas geografiska räckvidd utan också deras tyngdpunkter. Vilka platser på kartan nämns oftast, och vilka bara sporadiskt? Var ligger centrum, och hur långt bort är periferin? Var på kartan är det troligast att en läsares uppmärksamhet fastnade?

För det här experimentet – och eftersom jag hade bråttom – använde jag ett av API:er. Men många visualiseringsbibliotek och geografiska informationssystem låter dig framställa samma slags densitetskarta.

Några iakttagelser

Resultatet är snarare en impressionistisk tavla än en exakt bild av ett klart definierbart begrepp, och det är just det jag tycker om med experimentet. Ty datavetenskapen kan visserligen vara en mäktig bundsförvant för humaniora, men vi är inte tvungna att spela efter dess regler.

En annan intressant sida av experimentet är att kartan visar ett Levante som är helt integrerat med resten av Europa och Medelhavet. Den framhäver också Edirnes centrala plats i Osmanska rikets politiska geografi. Dessutom är Spaniens viktigaste stad på kartan varken Madrid eller Escorial utan Neapel. Sist men inte minst tycks öar och små stadsstater som Ragusa ha spelat en viktig förmedlande roll mellan regionens makter.

Hur man hämtar data från MIA

MIA är ett utmärkt samarbetsverktyg för forskare, men de data som lagras på dess servrar är inte lättåtkomliga. Dess back-end är t.ex. inte publicerad i något öppet kodförråd. Du kan ändå få ut data genom att registrera dig hos MIA och skicka förfrågningar till servern med Python.

Förfrågan

url = "https://mia.medici.org/Mia/json/de/advancedsearch/advancedSearchResults/0/90/docYear/asc/?isNewsFeedSearch=False"
payload = [{"searchSection":"archivalLocationSearch","type":"archivalLocationAdvancedSearch","isActiveFilter":True,"repository":None,"collection":"Mediceo del Principato","series":None,"volume":"2863","insert":None},{"searchSection":"categoryAndTypologySearch","type":"categoryAndTypologyAdvancedSearch","isActiveFilter":True,"category":"News","typology":None},{"searchSection":"transcriptionSearch","type":"transcriptionAdvancedSearch","isActiveFilter":False,"transcription":""},{"isActiveFilter":False,"searchSection":"synopsisSearch","type":"synopsisAdvancedSearch","synopsis":""},{"searchSection":"placesSearch","type":"placesAdvancedSearch","isActiveFilter":False,"places":[]},{"searchSection":"peopleSearch","type":"peopleAdvancedSearch","isActiveFilter":False,"people":[]},{"searchSection":"topicsSearch","type":"topicsAdvancedSearch","isActiveFilter":True,"topics":[{"topicTitle":"Place Index","topicId":"51","placeAllId":""}]},{"searchSection":"dateSearch","type":"dateAdvancedSearch","isActiveFilter":False,"dateFilterType":"","dateYear":"","dateMonth":"","dateDay":"","dateBYear":"","dateBMonth":"","dateBDay":""},{"searchSection":"documentOwnerSearch","type":"documentOwnerAdvancedSearch","isActiveFilter":False,"editType":"owner","account":""},{"searchSection":"languagesSearch","type":"languagesAdvancedSearch","isActiveFilter":False,"languages":[]}]
headers = {'Content-type': 'application/json', 'Accept': '*/*'}
r = requests.post(url, data=json.dumps(payload), headers=headers, auth=('LOGIN','PASSWORD'))

Byt ut LOGIN och PASSWORD mot dina egna inloggningsuppgifter.

Skriv svaret till fil

with open('response.json', 'wb') as fd:
 for chunk in r.iter_content(chunk_size=128):
 fd.write(chunk)

Öppna JSON-filen

f = open('response.json', encoding="utf8")

Returnera JSON-objektet som en dictionary

json_complete = json.load(f)

Välj ut data ur JSON-filen och skriv ut dem i CSV-format

with open('results.csv', 'w', newline='') as csvfile:
 fieldnames = ['documentId', 'placeCited', 'documentDate']
 writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
 writer.writeheader()
 for i in json_complete['data']:
 if i['topics'] != None:
 for x in i['topics']:
 documentId=x['documentId']
 placeCited=x['topicPlaceName']
 year=i['date']['docYear']
 month=i['date']['docMonth']
 day=i['date']['docDay']
 documentDate=str(year)+ "-" + str(month)+"-" + str(day)
 writer.writerow({'documentId': documentId, 'placeCited': placeCited, 'documentDate': documentDate})

När du har laddat ner filen results.csv kan du städa data enligt anvisningarna ovan.

Bibliografisk parsning i stor skala med förtränade språkmodeller

Thu, 07 Jul 2022 19:04:14 +0200

Automatisering är nyckeln till lägre kostnader för projekt inom digital humaniora. Hittills har de repetitiva och enformiga sysslorna i akademiskt utgivningsarbete antingen utförts till hög kostnad av överbelastade forskare eller ”lagts ut” på studenter. I den här hävdar jag att de flesta av dessa otacksamma sysslor inte bara kan utan också bör automatiseras. Automatiserade redaktionella uppgifter sänker totalkostnaden för projekt inom digital humaniora. Framför allt gör de det möjligt för forskare i låginkomstregioner att snabbt och billigt ge ut värdefulla dokument.

I visade jag t.ex. hur förtränade språkmodeller kan sköta merparten av XML-uppmärkningen i en digital utgåva.

I det här inlägget ger jag ett andra exempel, denna gång med bibliografi.

Problemet

Att bygga en bibliografisk databas av de referenser som nämns i en vetenskaplig artikel är ganska enkelt. Man kan söka snabbt i en katalog som , ladda ner referensen i ett visst format eller importera den automatiskt från en lokal databas. Det fungerar bra med en eller två artiklar. Bortom ett visst antal referenser blir uppgiften dock avskräckande och tidsödande. För att råda bot på det kan man använda parsningsalgoritmer som . Men sådana algoritmer kan vara svåra att skala upp. När jag använde anystyle för att konvertera de över 150 vetenskapliga essäer som ingår i vår blev mängden ackumulerade fel helt enkelt ohanterlig. Programmet kände inte igen många av våra källor – det tog t.ex. de långa titlarna på tidigmoderna böcker för något annat – och missade mindre typiska dokument som enskilda webbsidor, videor på nätet osv. Parsrar fungerar bra, förutsatt att författaren slaviskt följer reglerna i en välkänd konvention som Chicago, Turabian eller MLA. Varje avsteg från normen ger fel.

Lösningen

Här kan förtränade språkmodeller hjälpa till, eftersom de snabbt uppfattar mönstren i vilken bibliografisk stil som helst , även en du hittat på själv, och bara behöver några få exempel för att korrekt omvandla stora mängder formaterad bibliografi till en .

I början av 2021 hade jag turen att få tidig tillgång till OpenAI:s . Codex är en modell som låter användaren översätta naturligt språk till kod och tvärtom. OpenAI uppger att den behärskar över ett dussin programspråk, och även om dess API i skrivande stund fortfarande bara är tillgängligt som betaversion driver det redan populära applikationer som GitHubs .

Efter att ha lekt en stund med API:et insåg jag att det också fungerade utmärkt med enklare kod som BibTeX.

Och faktum är att det räckte med fyra exempel i prompten för att det skulle fungera tillförlitligt.

Prompt

References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009.

Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015.

Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. .

Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994.

@incollection{bayle2009,
 author = {Bayle, Ariane},
 booktitle = {Vulgariser la médecine. Du style médical en France et en Italie},
 title = {Patients exemplaires: la correspondance médicale de Fioravanti},
 editor = {Carlino, Andrea and Michel Jeanneret},
 year = {2009},
 address = {Geneva},
 publisher = {Droz},
 langid = {french}
}
@book{berns2015,
 title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth},
 author = {Berns, Andrew D.},
 address = {Cambridge},
 publisher = {Cambridge University Press},
 langid = {english},
 date = {2015}
}
@article{gabler2010,
 author = {Gabler, Hans Walter},
 title = {Theorizing the Digital Scholarly Edition},
 journal = {Literature Compass},
 volume = {7},
 number = {2},
 pages = {43-56},
 doi = {10.1111/j.1741-4113.2009.00675.x},
 langid = {english},
 year = {2010}
}
@book{findlen1994,
 title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy},
 author = {Findlen, Paula},
 address = {Berkeley},
 publisher = {University of California Press},
 langid = {english},
 date = {1994}
}

Resultat

är slående: över 2 000 litteraturhänvisningar konverterade på några dagar. Metoden återgav inte bara troget mönstret i min prompt, den lade också korrekt till post- och fälttyper som inte fanns med där. GPT-3 talar med andra ord flytande BibTeX. Kanske än mer förvånande, för en modell som i huvudsak tränats på engelska: den kände igen alla språk (ryska, franska, italienska, latin, grekiska, tyska, spanska osv.) och lade varje gång till rätt langid-fält.

Obs

GPT-3 har för närvarande begränsad in- och utmatningsstorlek: modellen kan behandla högst 2 048 språkliga token. När den begränsningen väl hävs skulle samma uppgift troligen ta en timme eller mindre.

Något oväntat lade GPT-3 också till uppgifter som inte fanns i originalreferenserna.

Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015.

I den här referensen lade GPT-3 t.ex. till den permanenta länken till det öppna arkivet ( ) där uppsatsen kan läsas, inklusive de särskilda fälten HAL_ID och HAL_VERSION som HAL-arkivet skapat:

@inproceedings{baillot2015,
 title = {Editing for Man and Machine},
 author = {Baillot, Anne and Busch, Anna},
 year = 2015,
 booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting},
 address = {Leicester},
 series = {Variants (Journal of the European Society for Textual Scholarship)},
 volume = 13,
 editor = {Bruhn, Siglinde and Schreiber, Manfred},
 langid = {english},
 hal_id = {halshs-01233380},
 hal_version = {v1}
}

Dessa tillägg visar att GPT-3 inte bara parsar litteraturhänvisningen utan också kompletterar den utifrån vad modellen ursprungligen lärt sig. Det vore i det sammanhanget intressant att se om den beter sig likadant med referenser som är yngre än GPT-3:s träningsdata …

Begränsningar

GPT-3 är dock inte perfekt. Modellen behöver övervakas av en människa. En av dess kända svagheter är : ibland hittar den på saker och gör osannolika antaganden.

I mitt experiment blev GPT-3:s anfall av osammanhang tydliga när modellen på eget bevåg ändrade en författares släktnamn från ”Ruscelli” till ”Ruscello”. Tekniskt sett är det inget fel, eftersom tidigmoderna italienska släktnamn kunde användas i plural och singular utan åtskillnad. Men dagens konvention är att ett släktnamn behålls som det är, vare sig det står i plural eller singular. I dag skulle ingen kalla Machiavelli för Machiavello, precis som vi förväntas skriva Rossello och inte Rosselli. Har GPT-3 struntat i konventionen för att modellen saknar kronologiskt medvetande? Eller gjorde den ett antagande utifrån släktnamnen i närheten, som i just den här delen av bibliografin råkar stå i singular allihop (Bariletto, Cesano, Rossello)? Vem vet.

@book{rossello1565,
 title = {Della summa de’ secreti universali},
 author = {Rossello, Timoteo},
 address = {Venice},
 publisher = {Giovanni Bariletto},
 langid = {italian},
 date = {1565}
}
@book{ruscello1559,
 title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese},
 author = {Ruscello, Girolamo},
 address = {Pesaro},
 publisher = {Bartolomeo Cesano},
 langid = {italian},
 date = {1559}
}

Slutsats

De över 150 essäer som , skrivna under fyra år av intensivt samarbete, ger inte bara avgörande information om den handskrift vi gett ut och översatt utan rymmer också värdefulla bibliografiska uppgifter.

Samlar man dessa referenser i en databas kan utgivaren byta bibliografiskt format på ett ögonblick och får större frihet att visa informationen som hen vill. Databasen säger också något värdefullt om utgåvan och om det projekt som gjort den möjlig, och öppnar därmed nya analytiska perspektiv för forskare. En sådan databas kan färdigställas med hög precision och på rekordtid.

Visst kan en del fel smyga sig in, särskilt på grund av GPT-3:s benägenhet att hallucinera. Men kommande generationer av förtränade språkmodeller kommer att mildra det problemet.

Automatisk uppmärkning i digitala vetenskapliga utgåvor

Mon, 22 Nov 2021 18:15:00 +0000

Inledning

Hur ger man ut digitala vetenskapliga utgåvor utan att ruinera sig? I det här inlägget, det första i en serie om effektiv utgivning, undersöker jag vilken roll förtränade språkmodeller kan spela när man vill automatisera redaktionella uppgifter som semantisk uppmärkning.

Innehållsförteckning

Problemet

Ett kärleksverk

När det gäller kärlek räknar man inte kostnaden … så lyder åtminstone det gamla ordspråket. Det gäller i högsta grad digitala vetenskapliga utgåvor: transkription, översättning och annotation kräver tusentals arbetstimmar, som i fallet utförs av hundratals högt kvalificerade medarbetare.

På sätt och vis är det en välsignelse att digital humanioras flaggskeppsprojekt kan få de enorma anslag som krävs för att driva dem. Men ett så tungt beroende av rika stiftelsers, universitets och myndigheters frikostighet, och det långvariga behovet av stora personalresurser, är ingen hållbar ekonomisk modell för framtiden.

Vill vi uppmuntra forskare världen över att göra historiska dokument tillgängliga för en bredare allmänhet måste i själva verket kostnaden för digitala kritiska utgåvor sjunka med flera storleksordningar .

En hög tröskel

Något paradoxalt kan lösningen komma från just sådana arbetskrävande projekt som , eftersom de utgör ett värdefullt träningsmaterial för att automatisera några av den digitala utgivningens mest avskräckande och repetitiva moment, uppmärkningen till exempel.

Inte för att uppmärkningen skulle vara oviktig. Tvärtom: uppmärkningen har blivit den oumbärliga beståndsdelen i varje seriöst digitalt utgivningsprojekt. Standardiserad av låter den oss registrera så många aspekter som möjligt av dokumentet och den text det förmedlar: struktur, marginalanteckningar, strykningar, varianter, papperskvalitet, fläckar, handstil … ja, vad du vill.

Följande exempel, hämtat ur , visar hur uppmärkningen berikar texten med ytterligare information (kategori, struktur, semantiska fält, strykningar osv.) och därmed ger den digitala utgåvan ett rejält försprång framför sina förfäder på papper.

Plain Text XML Markup

Plain Text	XML Markup
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

Den här informationen är värdefull inte bara för arkivändamål utan också, som jag har visat vid tidigare tillfällen, för syntes och analys. Men annotationen kan vara oerhört tidskrävande, eftersom samma text ofta måste finnas i flera skepnader: som översättning, som transkription, som moderniserad text osv.

Lösningen

Transformers – den enklaste vägen till automatisering?

År 2020 släppte med buller och bång sin senaste familj av storskaliga språkmodeller för allmänt bruk, GPT-3, vilket står för ”Generative Pre-trained Transformer 3”. Transformermodeller är ett ganska nytt genombrott inom artificiell intelligens. De lär sig nya uppgifter förbluffande snabbt – det räcker att de läser en prompt och får se ett mycket begränsat antal exempel. De kan också vidareutbildas med en särskilt sammanställd datamängd (finjustering), vilket förbättrar både svarstid och träffsäkerhet. Därför säger man att GPT-3 och jämförbara transformermodeller är , dvs. lär sig av ett fåtal exempel.

OpenAI uppger att GPT-3 rymmer rekordmånga parametrar, 175 miljarder, och har tränats på mer än 570 GB text, till största delen engelska dokument som förmodligen hämtats från . Tack vare sin blotta storlek har GPT-3 satt en ny standard på området och utför direkt ur lådan de mest skilda uppgifter med oroväckande realism. Den skriver trovärdiga , den i chattrum, , , översätter dokument, förklarar fackjargong och så vidare.

Eftersom jag haft tidig tillgång till OpenAI:s API sedan maj 2021 har jag kunnat pröva modellens förmåga att lösa en rad uppgifter som anses svåra: att översätta fransk poesi och nylatinska texter till engelska, att förklara analogier, och till och med att förenkla fjärde boken av Kants Grundläggning av sedernas metafysik för en sjuåring (om än inte särskilt övertygande).

Codex

En av GPT-3:s senaste utvecklingsgrenar är inriktad på programspråk. Modellen, som heter Codex, översätter naturligt språk till programkod och tvärtom. Om jag t.ex. letar efter ett reguljärt uttryck som låter mig ”hitta ord som bara börjar med stor bokstav”, översätter GPT-3 det raskt till ett fungerande reguljärt uttryck: [A-Z]+\w+.

OpenAI uppger att Codex behärskar ett dussintal programspråk, däribland Python, JavaScript, Go, Perl, PHP, Ruby och Swift. Genom att sömlöst förvandla pseudokod till kod låter Codex oss koncentrera oss inte på programspråkets petiga syntax utan på de logiska steg och strategier som gör att en applikation kan lösa ett problem.

Bortom OpenAI

OpenAI är förstås inte ensamt på plan. Som nämnts tillkännagav Pekings akademi för artificiell intelligens 2021 en ännu större och mer kapabel modell, Wu Dao 2. Nvidia och Microsoft slog sig samman och tog fram den träffande namngivna modellen Megatron-Turing NLG 530B. Mindre uppstartsföretag som och erbjuder också API:er för allmänheten. Värda att nämna är även initiativ med öppen källkod som . AI-scenen förändras naturligtvis i rasande takt; vill du följa nya initiativ på fältet, ta en titt på .

Experimenten

Obs

Syftet med experimenten är att hitta den billigaste vägen till tillförlitlig automatisering av redaktionella uppgifter. Man kan invända att några av dem också skulle kunna automatiseras med övervakad inlärning. Den hypotesen återkommer vi till i ett senare inlägg.

Kan en transformer som GPT-3 lära sig att annotera, säg, en teknisk och vetenskaplig handskrift från 1500-talet?

Experiment 1 – textkategorisering

Vi börjar med något förhållandevis enkelt. Som ”few-shot learner” borde GPT-3 snabbt kunna förstå hur vår redaktion har klassificerat posterna i Ms Fr 640.

Promptdesign

För att träna modellen använde jag en ytterst minimal prompt och valde ut fyra korta poster i ren text som exempel, bl.a. en om ”medicin”, en om ”vapen och rustningar” och en om ”måleri”.

Test

Sedan klistrade jag in ett annat avsnitt som inte ingick i den första sekvensen:

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

Resultatet stämmer helt med innehållet:

<categories="painting">

Prövar vi med en post ur en kategori som inte ens fanns med i det första urvalet av träningstexter blir resultatet överraskande.

<categories="jewelry">

Resultat

Kategorin ”jewelry” (smycken) finns inte i vår utgåva av Ms. Fr. 640. Redaktionen den bredare kategorin ”Stones” (stenar). GPT-3:s intuition är dock god och tyder på att modellen med lite mer träning kan lära sig att kategorisera vilken post som helst i Ms. Fr. 640, och kanske också i liknande tekniska texter från 1500-talet.

Experiment 2 – semantisk uppmärkning

Vi höjer ribban något. Om transformers som GPT-3 kan lära sig att kategorisera texter efter bestämda redaktionella kriterier, kan de då också känna igen en del av textens uppmärkning?

Obs

Secrets of Craft and Nature använder en av semantiska och strukturella etiketter. Tyvärr kan GPT-3 inte bearbeta bilder, till skillnad från andra projekt som . Troligen kommer framtida versioner av GPT att få den förmågan, som är nödvändig för att känna igen de flesta av ett dokuments strukturella och materiella drag. Vi hoppar över just de taggarna och koncentrerar oss på uppmärkning som inte kräver bildigenkänning.

Promptdesign

De semantiska taggarna omfattar hänvisningar till djur, växter, ortnamn, sinnesintryck osv. I träningsprompten valde jag ut några exempel ur utgåvan:

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

Test

Vi prövar några lätta ord med modellen Davinci-codex: Apothecary, smoke, glassmakers, latten och snake. Svaret kommer omedelbart och är felfritt:

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

Ett svårare prov är sammansatta uttryck som copper plates, walnut oil och wood block. Här vill vi se om GPT-3 klarar nästlade taggar.

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

Resultatet är dock blandat: Davinci-codex märkte bara upp walnut oil korrekt och missade de nästlade taggarna tl och m i copper plates och wood block. Som nästa test visar kan sådana fel ändå avhjälpas med en bättre träningsprompt. Efter fem ytterligare exempel på nästlade taggar levererade Davinci-codex ett nästan felfritt resultat med ett enda misstag (oil paintbrushes):

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

Slutsats

Det är viktigt att komma ihåg att testerna gjordes med små textfragment. Jag misstänker att GPT-3-modellerna skulle prestera ännu bättre med mer sammanhang i exemplen och i prompten. Och finjusterar man dessutom modellen med särskilt sammanställda träningsdata förbättras träffsäkerheten utan tvekan ytterligare.
Visserligen skulle experimenten behöva upprepas i större skala för att bevisa de förtränade språkmodellernas tillförlitlighet, men vi kan ändå dra slutsatsen att den här metoden låter utgivare automatisera flera annotationsuppgifter i några få enkla steg, och därmed potentiellt spara enorma mängder tid och pengar.

Visualisera handskrifter 2 (uppdatering)

Sat, 20 Nov 2021 16:00:00 +0000

Som utlovat: en ny version av den interaktiva treemap som presenterades i ett , den här gången med två visningslägen.

Obs

För bästa visning, se till att webbsidan är i ljust läge (klicka på månikonen uppe till höger).

Group folios by category

En visuell bläddrare för arkivet

Sun, 20 Jun 2021 16:00:00 +0000

Problemet

Digitala utgåvor lider av en paradox: de gör visserligen svåråtkomliga dokument tillgängliga för en bredare allmänhet, men förlusten av sinnesintryck som dematerialiseringen för med sig tenderar att desorientera läsarna och rentav avskräcka dem från att ge sig i kast med innehållet. Att navigera i väldiga dokumentsamlingar blir rätt omständligt och avskräckande. Det gäller inte bara ovana arkivanvändare utan också läsare med kognitiva funktionsnedsättningar.

Lösningen

Här kan arkivens metadata hjälpa oss. Sådana data låter oss nämligen skapa interaktiva visuella abstraktioner som ger läsaren ett alternativt sinnesintryck och därmed förbättrar både ergonomi och tillgänglighet. För att göra arkivet visuellt navigerbart duger en treemap, eller vilket diagram som helst som effektivt bryter ner hierarkiska data.

Experimentet

Mitt första experiment anpassar koden för i D3.js och lägger till hyperlänkar. Diagrammet representerar handskriften BnF Ms Fr 640, dess folier och posterna på varje folio. Färgerna står för den dominerande kategorin. Mer data visas när man håller muspekaren över en post, däribland hyperlänken till handskriften.
Så blir treemappen ett interaktivt visuellt register som ger läsaren en mycket snabb och responsiv överblick, inte bara över handskriftens innehåll utan också över hur omfångsrika varje folio och varje post är.
~~Under de kommande månaderna fortsätter jag att experimentera med idén och pröva andra diagram och andra hierarkier … Håll utkik!~~ En ny version av treemappen hittar du .

Obs

För bästa visning, se till att webbsidan är i ljust läge (klicka på månikonen uppe till höger).

Click any cell to zoom in, or the top to zoom out.

Arkivet i ett ögonkast

Mon, 24 May 2021 16:00:00 +0000

Problemet

Historiska arkiv kan vara skrämmande röriga. Mediceo del Principato i är ett typexempel. Bara en liten del av beståndet är inventerad, och många dokument ligger utspridda över mer än 6 500 volymer utan synbar anledning. Till råga på allt får man bara beställa fram ett begränsat antal volymer (eller filze, buntar, som de kallas där). I normala tider är gränsen 4 filze per dag. Under pandemin har den sjunkit till 4 varannan vecka. I brist på detaljerade inventarier tvingar arkivets väldiga omfång forskaren att hitta på strategier för att snabbt lokalisera de dokument hen söker.

Lösningen

Somliga litar till slumpen, andra försöker göra kvalificerade gissningar utifrån kronologi, mottagare, avsändare, arkivbeståndets ursprung, språk osv. Att se alla dessa variabler på en gång kan dock avslöja oväntade mönster i arkivets struktur och vässa våra gissningar. Min erfarenhet är att de metadata forskare brukar samla i ett kalkylark avsevärt skärper överblicken i arkivet, bara man ritar upp dem i diagram.

Experimentet

Min nuvarande forskning gäller korrespondensen från en spion på 1500-talet. Hans brev är utspridda över hundratals filze. De är skrivna under olika identiteter, till olika och ibland oväntade adressater, från olika platser osv. För att hitta de filze som med störst sannolikhet innehåller de brev jag väntar mig har jag byggt en instrumentpanel, en interaktiv webbapplikation för datavisualisering ( ) som kopplar samman alla slags data, däribland geografisk och kronologisk information, med ett hierarkiskt diagram ( ) över arkivbeståndet. Panelen visar mig i ett ögonkast vad som redan hittats och hur mycket det motsvarar, och ger mig en ungefärlig bild av var jag skulle kunna leta efter nya brev. Klickar jag dessutom på enskilda variabler uppdateras alla diagram och visar specifika samband.

Nästa steg

Kanske viktigare är att panelen kan återanvändas som ett visuellt register. När den kritiska utgåvan av breven publiceras på nätet kommer panelen att fungera som en alternativ ingång, där läsarna kan bläddra i materialet. Av sekretesskäl kan jag för närvarande bara visa en maskad skärmbild, men den fullständiga panelen släpper jag nästa år. Under tiden kommer en prototyp snart att finnas tillgänglig. Håll utkik!

Att visualisera semantisk uppmärkning i BnF Ms. Fr. 640

Sun, 20 Dec 2020 18:15:00 +0000

Översikt

Datarika vetenskapliga utgåvor rymmer värdefulla redaktionella annotationer som man kan extrahera, analysera och visualisera för alla möjliga forskningsändamål. Så är fallet med , som utkom 2020 och vars metadatafil kan laddas ner från projektets GitHub-repo. I det här inlägget visar jag hur man samlar alla dessa variabler i en korrelationsmatris och visualiserar dem på olika sätt.

Data

Making and Knowing Project genererar ett kalkylark med uppdaterad information om handskriftens innehåll: entry_metadata.csv. Filen kan hämtas från Making & Knowings . Alternativt kan man generera skräddarsydda .csv-filer med mer uppmärkning tack vare Matthew Kumars utmärkta , en Python-version av BnF Ms. Fr. 640.

Förbered Python

Vi använder Pandas för att bearbeta data, Matplotlib och seaborn för värmekartorna och slutligen NetworkX för att bygga korrelationsbaserade nätverk.
För den här typen av variabler undviker vi Pearsons metod och använder i stället 𝜙𝐾-metoden. Se till att du denna korrelationsmetod och PhiK, dess motsvarande bibliotek.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

Förbered data

Först laddar vi ner utgåvans senaste metadatafil från mappen metadata i deras . Vi väljer bara ut de kolumner vi behöver. I den här demonstrationen tar jag alla semantiska taggar ur den engelska översättningen tl, men du kan lika gärna välja taggar ur den franska transkriptionen tc eller den normaliserade versionen tcn. Data levereras som semikolonseparerade värden, och vi behöver Python för att räkna dem åt oss. Därför använder vi stack–unstack-metoden med det reguljära uttrycket [^;\s][^\;]*[^;\s]*. För att göra matrisen mer lättläst döper vi om varje kolumn. Har du bråttom kan du hoppa över det steget; kom bara ihåg att vår dataframe i det här skedet heter tagsrn.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

Korrelera

När dataframen är ren kan vi gå vidare och beräkna korrelationskoefficienterna mellan varje par av variabler. Det är viktigt att man i det här skedet förstår sina data och ser till att använda den lämpligaste korrelationsmetoden. Paketet pandas-profiling är särskilt användbart för det.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag är vår korrelationsmatris. Nu kan vi pröva olika typer av visualisering.

Visualisera

Det första vi kan pröva är att visa matrisen som en färgkodad matris med modulen i seaborn.

Korrelationsvärmekarta

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

Känner du texten väl ser du genast att värmekartan är högst rimlig. Namn är t.ex. starkt korrelerade med latin, eftersom det var brukligt, särskilt bland 1500-talets humanister, att latinisera dem.

Somliga kanske invänder att värmekartan bara slår in öppna dörrar. De har inte helt fel, och vid första anblicken ser de medicinska taggarna ut som ett skolexempel: de korrelerar som väntat med kroppsdelar, mått och växter.

Men läser vi värmekartan noggrannare, rad för rad, hittar vi kanske några intressanta och oväntade samband. Att de medicinska taggarna korrelerar med italienska och latinska ord ger oss t.ex. ledtrådar om varifrån de medicinska recepten i Ms. Fr. 640 kommer. På samma sätt visar sambandet mellan yrken, definitioner och mått hur starkt yrkesidentiteten strukturerar 1500-talets tekniska diskurser.

Korrelationsklusterkarta

Värmekartor är bra i ”utforskande” sammanhang, men de kan se lite röriga ut för din publik, särskilt om du diskuterar – eller fortfarande letar efter – specifika semantiska kluster i handskriften. Seaborns modul clustermap kan ge intressanta resultat.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

Förutom att likna en pixlad (jo, ordet står i ordboken) insekt skiljer klusterkartan tydligt isolerade taggar (upptill och till vänster) från dem som hänger ihop mer. Vi urskiljer också isolerade kluster, som musik och poitevin (vem kunde ana!), från mer centrala som mått, material, definitioner och vapen. Yrkena hänger ihop med fler, men ingår, åtminstone i just denna korrelationsmatris, inte i något särskilt kluster.

Korrelationsnätverk

Vill vi sammanfatta korrelationerna i matrisen ännu mer erbjuder nätverksgrafer en elegant lösning. Det gäller särskilt när vi vill kommunicera om handskriftens innehåll.
För det måste vi omvandla matrisen till en lista över kanter och noder och sätta ett tröskelvärde som rensar bort de svagare korrelationerna ur grafen.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

Blir det för många kanter och noder kan du alltid ändra tröskelvärdet för att få ett renare resultat. Annars kan du exportera grafen och leka vidare med den i Gephi, med funktionen .write_gexf().

nx.write_gexf(G, 'graph.gexf')

Resultatet ser du i början av inlägget.

Uppdatering: cirkulärt viktat nätverk

Jag letade efter sätt att visa korrelationsmatriser som viktade nätverk och hittade det här intressanta angreppssättet , vilket jag här anpassar till vår datamängd.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

När vi väl har tagit bort några kanter kan vi bestämma deras färg och tjocklek.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

Vi ger också noderna en storlek som står i proportion till antalet förbindelser.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

Resultatet är en viktad graf som rymmer fler noder och betydligt fler kanter men ändå förblir läsbar och informativ.