Digital Humaniora |

tei-mcp v0.3: TEI-kodning utan att skriva om källan

Tue, 05 May 2026 00:00:00 +0000

När jag var målet att hindra AI-assistenter från att hallucinera TEI-uppmärkning. Schemaförankringen löste en del av problemet: med direkt, verktygsbaserad tillgång till P5-specifikationen behöver modellen inte längre gissa vad ett element betyder eller vilka attribut det tar. Resultatet validerar.

Men hallucinationen har två ansikten i TEI-kodning, och schemat fångar bara det ena. Att validera mot specifikationen säger dig att uppmärkningen är välformad. Det säger inget om den text uppmärkningen omsluter. Och det är där – i själva texten – de mer skadliga hallucinationerna håller till. Spannlåst komposition (span-locked composition), huvudnyheten i v0.3, är utformad just för att förhindra dem.

Innehållsförteckning

Hallucinationen som schemat inte kan fånga

Be en modell koda ett franskt brev från 1500-talet, och du får ofta tillbaka ett TEI-dokument som ser oklanderligt ut. Headern är ifylld, <persName>-taggarna sitter rätt, <dateline> är välformad. Kör det genom validate_document och det går igenom.

Jämför sedan brödtexten med källan.

mesme har blivit même. Ett komma har flyttat på sig. luy har i tysthet moderniserats till lui. En sats som var svårläst i handskriften har ”rättats” till något prydligare. Ingen av ändringarna var begärd. Ingen av dem flaggas. Dokumentet är schemagiltigt och tyst felaktigt.

För ett arkivflöde – där den kodade texten blir den permanenta post som senare läsare, sökindex och citeringar förlitar sig på – är detta den typ av fel som betyder mest. En felformad tagg är irriterande. En moderniserad stavning som ingen upptäcker på fem år är en korruption.

Spannlåst komposition

Den nya versionen (v0.3) levererar en mekanism mot hallucinationer som siktar rakt på just den här typen av fel. Designmålet är att göra hallucinationer i brödtexten omöjliga per konstruktion, inte bara osannolika.

Idén är enkel: modellen skriver aldrig brödtext.

I stället ser arbetsflödet ut så här:

Modellen anropar get_source("letter_001") och får källans råtext som en oföränderlig sträng.
För varje tagg den vill sätta anropar den tag_span("letter_001", start, end, element_path, attrs) – och registrerar därmed ett TEI-element över ett teckenintervall i källan.
När den är klar anropar den compose("letter_001"). Servern flätar in de registrerade taggarna i den ursprungliga råtexten, renderar den färdiga TEI-filen och kontrollerar sedan byte för byte att det renderade dokumentets rena textinnehåll är identiskt med källan.

Stämmer bytena kommer dokumentet tillbaka. Gör de inte det – om modellens taggar på något sätt implicerar en brödtext som avviker från källan med ett enda tecken – kastar compose() ett fel i stället för att returnera ett korrupt dokument.

Det finns ingen väg genom det här arbetsflödet där modellen producerar ett TEI-dokument vars brödtext avviker från källan. Invarianten är mekanisk, inte beteendemässig. Du behöver inte lita på att modellen låter bli att hallucinera; du behöver lita på en ==-jämförelse mellan två bytesträngar.

Vad det är, och vad det inte är

Spannlåst komposition är ett komplement till schemaförankringen, inte en ersättning. Schemaverktygen (validate_document, lookup_element, valid_children och resten av de ursprungliga sexton) hjälper modellen att producera giltig TEI. Spannlåst komposition garanterar att brödtexten inuti den TEI-filen är trogen källan. Ett kodningsflöde som ska kunna tas i drift måste uppfylla båda kraven, och nu täcks båda av en och samma server.

Det är heller inget trollspö som fixar allt. compose() kontrollerar ännu inte att de registrerade taggarna är tillåtna enligt en laddad ODD-anpassning – det kommer i en uppföljning. Registrerade taggar ligger i processminnet och överlever inte en omstart. Och källfilerna måste vara läsbara från den plats där servern körs. Allt detta går att åtgärda; inget av det rubbar den centrala invarianten.

Varför det spelar roll bortom TEI

Mönstret går att generalisera. Varje gång en modell ombeds annotera, omvandla eller omsluta en text – och varje gång textens integritet väger tyngre än modellens förmåga att ”förbättra” den – passar samma slags lösning. Be inte modellen skriva om texten. Be den producera instruktioner över texten, och låt en deterministisk kompositör tillämpa dem under en likhetsinvariant.

För digitala utgåvor i synnerhet förändrar detta vad man med gott samvete kan be en modell om. Kodningen blir med ett slag en uppgift man kan delegera utan att manuellt behöva jämföra varje resultat med källan. Maskinen tar den tråkiga vägen; utgivaren granskar uppmärkningen, inte stavningen.

Hämta uppdateringen

Har du redan tei-mcp installerat:

uvx tei-mcp@latest

Eller från början:

pip install tei-mcp

För att använda spannlåst komposition pekar du servern mot en katalog med källfiler i råtext:

export TEI_MCP_SPAN_SOURCE_ROOT=/path/to/sources
uvx tei-mcp

Varje fils namnstam blir dess dokument-ID (letter_001.txt → letter_001).

Källkod, fullständig dokumentation och designanteckningarna om invarianten:

En annan sorts digital utgåva

Tue, 24 Mar 2026 00:00:00 +0000

De flesta primärkällor blir aldrig utgivna. Den modell vi förlitar oss på för att råda bot på det, anslagsfinansierade digitala utgåvor, är för dyr, för centraliserad och för bräcklig för att fungera i stor skala. Jag har just publicerat som förklarar varför jag bygger den kritiska utgåvan av Cavrianas brev på ett annat sätt: digitaliserade primärkällor som växer organiskt, med minimal infrastruktur och automatiserat underhåll, öppna för samarbete och så billiga att inga anslag ens behövs. Det är ett argument för en digital humaniora som fungerar oavsett institutionellt stöd.

tei-mcp

Sun, 15 Mar 2026 00:00:00 +0000

tei-mcp: TEI P5 för AI-agenter

tei-mcp är en -server med öppen källkod som ger AI-kodassistenter direkt tillgång till specifikationen . I stället för att förlita sig på memorerade träningsdata – vilket ofta ger uppmärkning som ser rimlig ut men är fel – kan AI:n fråga specifikationen i realtid.

Funktioner

Servern tolkar ODD-filen för TEI P5 och exponerar 16 verktyg:

Slå upp vilket element, vilken klass, vilket makro eller vilken modul som helst på namn, med skiftlägesokänslig matchning och förslag vid felstavning
Lös upp attribut genom hela TEI:s klasshierarki (lokala + ärvda)
Expandera innehållsmodeller till strukturerade träd med upplösning av klasser och makron
Kontrollera nästling – direkt förälder–barn eller rekursiv nåbarhet med spårad sökväg
Validera dokument mot TEI P5: innehållsmodeller, attribut, slutna värdelistor, referensintegritet och utfasningsvarningar
Validera enskilda element för stegvisa redigeringsflöden
Ladda ODD-anpassningar för att begränsa schemat till en projektspecifik delmängd
Sök bland alla entitetstyper med reguljära uttryck

Installation

pip install tei-mcp

Eller kör direkt med:

uvx tei-mcp

Användning

Lägg till i vilken MCP-kompatibel klient som helst (Claude, Cursor, Windsurf osv.):

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

Källkod och dokumentation finns i .

tei-mcp: TEI P5 för AI-agenter

Sun, 15 Mar 2026 00:00:00 +0000

Har du någon gång låtit en AI-kodassistent skriva TEI-XML har du nog märkt att den gör fel. Element dyker upp där de inte hör hemma. Attribut hittas på. Nästlingsreglerna ignoreras. Modellen har en ungefärlig känsla för hur TEI ser ut, men ingen tillförlitlig kunskap om specifikationen.

tei-mcp löser det genom att ge AI-agenter direkt, verktygsbaserad tillgång till riktlinjerna för TEI P5.

Innehållsförteckning

Vad är MCP?

(MCP) är en öppen standard som låter AI-applikationer ansluta till externa datakällor och verktyg. Tänk på det som en USB-port för AI: ett enda protokoll som låter vilken kompatibel klient som helst – Claude, Cursor, Windsurf och andra – koppla in sig på specialiserade tjänster.

En MCP-server exponerar verktyg som AI:n kan anropa under ett samtal. I stället för att förlita sig på memorerade träningsdata kan modellen fråga en levande, auktoritativ källa.

Vad tei-mcp gör

tei-mcp tolkar ODD-specifikationen för TEI P5 och exponerar 16 verktyg som täcker de vanligaste frågor en utgivare eller kodare ställer:

Vad är det här elementet? Slå upp vilket element, vilken klass, vilket makro eller vilken modul som helst på namn, med skiftlägesokänslig matchning och förslag vid felstavning.
Vilka attribut tar det? Lös upp attributen genom hela klasshierarkin – lokala attribut först, sedan de ärvda i ordning.
Vad får finnas inuti? Expandera innehållsmodeller till strukturerade träd, eller få en platt lista över giltiga barnelement.
Får det här elementet stå här? Kontrollera nästlingen förälder–barn, eller spåra nåbarheten genom hela elementhierarkin.
Är mitt dokument giltigt? Validera en TEI-XML-fil mot specifikationen: innehållsmodeller, attributvärden, slutna värdelistor, referensintegritet och utfasningsvarningar.
Och mitt projektschema? Ladda en ODD-anpassningsfil för att begränsa allt ovanstående till ditt projekts specifika delmängd av TEI.

Varför det spelar roll

TEI-kodning kräver att man ständigt slår i riktlinjerna. Erfarna kodare har de vanligaste mönstren i ryggmärgen, men även de måste kontrollera specifikationen för mindre bekanta element eller invecklade innehållsmodeller. För AI-assistenter, som inte har någon sådan inövad kunskap, är problemet värre: de hallucinerar fram uppmärkning som ser rimlig ut men är fel.

Med tei-mcp behöver AI:n inte gissa. Den kan slå upp svaret i specifikationen innan den skriver en enda vinkelparentes. Resultatet är uppmärkning som följer TEI P5 – eller ditt projekts ODD-anpassning.

Kom igång

Installera från PyPI:

pip install tei-mcp

Lägg sedan till servern i din MCP-klients konfiguration:

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

Servern laddar ner TEI-specifikationen vid första körningen och fungerar med vilken MCP-kompatibel klient som helst.

Källkod och fullständig dokumentation:

Multi-Saxon

Fri, 28 Mar 2025 00:00:00 +0000

Multi-Saxon: parallell XSLT-bearbetning av stora TEI-korpusar

Multi-Saxon fyller en kännbar lucka bland XML-verktygen genom att möjliggöra parallell körning av XSLT 2.0- och 3.0-transformationer som LXML (ett populärt XML-bibliotek för Python) inte klarar. Multi-Saxon är utformat särskilt för stora samlingar av XML-TEI-dokument och kortar bearbetningstiden avsevärt genom effektiv parallellkörning.

Huvudfunktioner

Avancerat XSLT-stöd: bearbetar XSLT 2.0- och 3.0-transformationer bortom LXML:s förmåga
Parallell bearbetning: kortar transformationstiden dramatiskt för stora dokumentsamlingar genom parallellisering
TEI-optimerat: särskilt konstruerat för XML-dokument enligt Text Encoding Initiative (TEI)
Skalbar prestanda: hanterar effektivt korpusar från hundratals till tusentals dokument
Plattformsoberoende: fungerar i olika operativsystem och miljöer

Problemet Multi-Saxon löser

Forskare inom digital humaniora som arbetar med TEI ställs ofta inför två stora svårigheter:

LXML (ett vanligt XML-bibliotek för Python) stöder bara XSLT 1.0, vilket gör det omöjligt att använda de mer avancerade funktionerna i XSLT 2.0/3.0
Att bearbeta stora TEI-korpusar sekventiellt kan ta oöverkomligt lång tid

Multi-Saxon löser båda problemen genom att utnyttja Saxons avancerade XSLT-funktioner och samtidigt fördela bearbetningen över flera processorkärnor, med betydande prestandavinster som följd.

Implementering

Multi-Saxon kombinerar Python med Javas Saxon-processor i en högpresterande transformationskedja:

använder Javas Saxon-bibliotek för robust XSLT 2.0/3.0-bearbetning
använder multiprocessing för att fördela transformationerna över tillgängliga processorkärnor
hanterar processorpooler effektivt för maximal genomströmning
erbjuder ett enkelt gränssnitt för batchbearbetning av TEI-dokument

Användningsexempel

from multi_saxon import MultiSaxon

# Initialize with your XSLT stylesheet
transformer = MultiSaxon("transform.xsl")

# Transform a single document
transformer.transform("input.xml", "output.xml")

# Transform an entire directory in parallel
transformer.transform_directory("input_dir", "output_dir")

Betydelse för digital humaniora

För projekt inom digital humaniora med stora TEI-samlingar möjliggör Multi-Saxon:

komplexa transformationer av hela korpusar som vore omöjliga med LXML
dramatiskt kortare bearbetningstider (ofta 5–10 gånger snabbare på flerkärniga system)
mer avancerad analys tack vare funktionerna i XSLT 2.0/3.0
ett enklare arbetsflöde för bearbetning av hela dokumentsamlingar

Källkod och dokumentation finns i .

persNamer

Fri, 28 Mar 2025 00:00:00 +0000

persNamer: TEI kopplat till Virtual International Authority File

persNamer är ett specialiserat Python-verktyg som förenklar integrationen av auktoriserade persondata från VIAF (Virtual International Authority File) i TEI-XML-dokument. Genom att omvandla VIAF-identifierare till färdig TEI-uppmärkning minskar persNamer avsevärt det manuella arbetet med att skapa strukturerade personposter för digitala vetenskapliga utgåvor.

Auktoritetskontrollens utmaning i TEI

Digitala vetenskapliga utgåvor kräver ofta exakt identifiering av historiska personer, med standardiserade namnformer och levnadsår. Att upprätthålla en konsekvent auktoritetskontroll genom ett helt projekt kräver att man:

identifierar personerna i de historiska texterna
hittar auktoritetsdata om dem
skapar korrekt formaterade TEI-poster
ser till att hänvisningarna är konsekventa genom hela projektet

Dessa steg är i regel manuella, tidskrävande och känsliga för inkonsekvenser.

Så fungerar persNamer

persNamer automatiserar arbetsflödet genom att:

hämta VIAF-data: utifrån en VIAF-identifierare hämtar verktyget RDF-data via HTTP-innehållsförhandling
extrahera nyckeluppgifter: tolkar RDF-data och plockar ut det föredragna namnet, födelsedatum och dödsdatum
generera TEI-uppmärkning: skapar två centrala XML-utdrag:
- en post för auktoritetsfilen (ett <person>-element med genererat xml:id, <persName>, <birth>, <death> och <idno type="VIAF">)
- en separat annotationstagg (<persName> med ett ref-attribut som pekar på auktoritetsposten)

Den dubbla utmatningen låter utgivaren underhålla en central auktoritetsfil och samtidigt enkelt infoga annotationstaggar i sina TEI-texter.

Huvudfunktioner

Standardiserad ID-generering: skapar konsekventa XML-ID:n i formatet pers-[familyname]-[givenname initial] (t.ex. pers-deteligny-c)
RDF-tolkning: använder rdflib för att hämta uppgifter ur olika RDF-egenskaper (t.ex. rdfs:label, schema:name, viaf:mainHead)
Kommandoradsgränssnitt: körs enkelt med ett VIAF-nummer som enda obligatoriska argument
Utförlig utmatning: ger detaljerad information om bearbetningen vid sidan av den färdiga XML-koden

Exempel

python persNamer.py 314802260

Kommandot ger:

<person xml:id="pers-deteligny-c">
 <persName>Charles deTéligny</persName>
 <birth>1535</birth>
 <death>1572-08-24</death>
 <idno type="VIAF">314802260</idno>
</person>

<persName ref="#pers-deteligny-c">Charles deTéligny</persName>

Användning inom digital humaniora

persNamer är särskilt värdefullt för:

digitala vetenskapliga utgåvor som kräver auktoritetskontroll
TEI-kodningsprojekt som arbetar med historiska personer
initiativ kring länkade data som kopplar dokument till auktoritetsposter
att säkra konsekvens i stora TEI-korpusar
undervisning i auktoritetskontroll på kurser i digital humaniora

Implementering

persNamer är skrivet i Python och bygger på:

requests för HTTP-anrop
rdflib för RDF-tolkning
lxml för XML-hantering

Källkod och dokumentation finns i .

Bibliografisk parsning i stor skala med förtränade språkmodeller

Thu, 07 Jul 2022 19:04:14 +0200

Automatisering är nyckeln till lägre kostnader för projekt inom digital humaniora. Hittills har de repetitiva och enformiga sysslorna i akademiskt utgivningsarbete antingen utförts till hög kostnad av överbelastade forskare eller ”lagts ut” på studenter. I den här hävdar jag att de flesta av dessa otacksamma sysslor inte bara kan utan också bör automatiseras. Automatiserade redaktionella uppgifter sänker totalkostnaden för projekt inom digital humaniora. Framför allt gör de det möjligt för forskare i låginkomstregioner att snabbt och billigt ge ut värdefulla dokument.

I visade jag t.ex. hur förtränade språkmodeller kan sköta merparten av XML-uppmärkningen i en digital utgåva.

I det här inlägget ger jag ett andra exempel, denna gång med bibliografi.

Problemet

Att bygga en bibliografisk databas av de referenser som nämns i en vetenskaplig artikel är ganska enkelt. Man kan söka snabbt i en katalog som , ladda ner referensen i ett visst format eller importera den automatiskt från en lokal databas. Det fungerar bra med en eller två artiklar. Bortom ett visst antal referenser blir uppgiften dock avskräckande och tidsödande. För att råda bot på det kan man använda parsningsalgoritmer som . Men sådana algoritmer kan vara svåra att skala upp. När jag använde anystyle för att konvertera de över 150 vetenskapliga essäer som ingår i vår blev mängden ackumulerade fel helt enkelt ohanterlig. Programmet kände inte igen många av våra källor – det tog t.ex. de långa titlarna på tidigmoderna böcker för något annat – och missade mindre typiska dokument som enskilda webbsidor, videor på nätet osv. Parsrar fungerar bra, förutsatt att författaren slaviskt följer reglerna i en välkänd konvention som Chicago, Turabian eller MLA. Varje avsteg från normen ger fel.

Lösningen

Här kan förtränade språkmodeller hjälpa till, eftersom de snabbt uppfattar mönstren i vilken bibliografisk stil som helst , även en du hittat på själv, och bara behöver några få exempel för att korrekt omvandla stora mängder formaterad bibliografi till en .

I början av 2021 hade jag turen att få tidig tillgång till OpenAI:s . Codex är en modell som låter användaren översätta naturligt språk till kod och tvärtom. OpenAI uppger att den behärskar över ett dussin programspråk, och även om dess API i skrivande stund fortfarande bara är tillgängligt som betaversion driver det redan populära applikationer som GitHubs .

Efter att ha lekt en stund med API:et insåg jag att det också fungerade utmärkt med enklare kod som BibTeX.

Och faktum är att det räckte med fyra exempel i prompten för att det skulle fungera tillförlitligt.

Prompt

References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009.

Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015.

Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. .

Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994.

@incollection{bayle2009,
 author = {Bayle, Ariane},
 booktitle = {Vulgariser la médecine. Du style médical en France et en Italie},
 title = {Patients exemplaires: la correspondance médicale de Fioravanti},
 editor = {Carlino, Andrea and Michel Jeanneret},
 year = {2009},
 address = {Geneva},
 publisher = {Droz},
 langid = {french}
}
@book{berns2015,
 title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth},
 author = {Berns, Andrew D.},
 address = {Cambridge},
 publisher = {Cambridge University Press},
 langid = {english},
 date = {2015}
}
@article{gabler2010,
 author = {Gabler, Hans Walter},
 title = {Theorizing the Digital Scholarly Edition},
 journal = {Literature Compass},
 volume = {7},
 number = {2},
 pages = {43-56},
 doi = {10.1111/j.1741-4113.2009.00675.x},
 langid = {english},
 year = {2010}
}
@book{findlen1994,
 title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy},
 author = {Findlen, Paula},
 address = {Berkeley},
 publisher = {University of California Press},
 langid = {english},
 date = {1994}
}

Resultat

är slående: över 2 000 litteraturhänvisningar konverterade på några dagar. Metoden återgav inte bara troget mönstret i min prompt, den lade också korrekt till post- och fälttyper som inte fanns med där. GPT-3 talar med andra ord flytande BibTeX. Kanske än mer förvånande, för en modell som i huvudsak tränats på engelska: den kände igen alla språk (ryska, franska, italienska, latin, grekiska, tyska, spanska osv.) och lade varje gång till rätt langid-fält.

Obs

GPT-3 har för närvarande begränsad in- och utmatningsstorlek: modellen kan behandla högst 2 048 språkliga token. När den begränsningen väl hävs skulle samma uppgift troligen ta en timme eller mindre.

Något oväntat lade GPT-3 också till uppgifter som inte fanns i originalreferenserna.

Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015.

I den här referensen lade GPT-3 t.ex. till den permanenta länken till det öppna arkivet ( ) där uppsatsen kan läsas, inklusive de särskilda fälten HAL_ID och HAL_VERSION som HAL-arkivet skapat:

@inproceedings{baillot2015,
 title = {Editing for Man and Machine},
 author = {Baillot, Anne and Busch, Anna},
 year = 2015,
 booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting},
 address = {Leicester},
 series = {Variants (Journal of the European Society for Textual Scholarship)},
 volume = 13,
 editor = {Bruhn, Siglinde and Schreiber, Manfred},
 langid = {english},
 hal_id = {halshs-01233380},
 hal_version = {v1}
}

Dessa tillägg visar att GPT-3 inte bara parsar litteraturhänvisningen utan också kompletterar den utifrån vad modellen ursprungligen lärt sig. Det vore i det sammanhanget intressant att se om den beter sig likadant med referenser som är yngre än GPT-3:s träningsdata …

Begränsningar

GPT-3 är dock inte perfekt. Modellen behöver övervakas av en människa. En av dess kända svagheter är : ibland hittar den på saker och gör osannolika antaganden.

I mitt experiment blev GPT-3:s anfall av osammanhang tydliga när modellen på eget bevåg ändrade en författares släktnamn från ”Ruscelli” till ”Ruscello”. Tekniskt sett är det inget fel, eftersom tidigmoderna italienska släktnamn kunde användas i plural och singular utan åtskillnad. Men dagens konvention är att ett släktnamn behålls som det är, vare sig det står i plural eller singular. I dag skulle ingen kalla Machiavelli för Machiavello, precis som vi förväntas skriva Rossello och inte Rosselli. Har GPT-3 struntat i konventionen för att modellen saknar kronologiskt medvetande? Eller gjorde den ett antagande utifrån släktnamnen i närheten, som i just den här delen av bibliografin råkar stå i singular allihop (Bariletto, Cesano, Rossello)? Vem vet.

@book{rossello1565,
 title = {Della summa de’ secreti universali},
 author = {Rossello, Timoteo},
 address = {Venice},
 publisher = {Giovanni Bariletto},
 langid = {italian},
 date = {1565}
}
@book{ruscello1559,
 title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese},
 author = {Ruscello, Girolamo},
 address = {Pesaro},
 publisher = {Bartolomeo Cesano},
 langid = {italian},
 date = {1559}
}

Slutsats

De över 150 essäer som , skrivna under fyra år av intensivt samarbete, ger inte bara avgörande information om den handskrift vi gett ut och översatt utan rymmer också värdefulla bibliografiska uppgifter.

Samlar man dessa referenser i en databas kan utgivaren byta bibliografiskt format på ett ögonblick och får större frihet att visa informationen som hen vill. Databasen säger också något värdefullt om utgåvan och om det projekt som gjort den möjlig, och öppnar därmed nya analytiska perspektiv för forskare. En sådan databas kan färdigställas med hög precision och på rekordtid.

Visst kan en del fel smyga sig in, särskilt på grund av GPT-3:s benägenhet att hallucinera. Men kommande generationer av förtränade språkmodeller kommer att mildra det problemet.

Avviso | Att ge ut nyheterna som gjorde oss moderna (1537—1743)

Sun, 12 Dec 2021 00:00:00 +0000

Huvudsyftet med projektet Avviso är att digitalisera, bevara, katalogisera, ge ut, kontextualisera och sprida de 35 000 tidigmoderna handskrivna nyhetsbreven, kända som avvisi, som ingick i Medicisamlingen och i dag förvaras i Statsarkivet i Florens. Katalogisering, digitalisering och spridning av omkring 35 000 avvisi, tidigmoderna handskrivna nyhetsbrev, via Medici Archive Projects plattform Medici Interactive Archive.

Effektiv utgivning

Sun, 12 Dec 2021 00:00:00 +0000

Digitala kritiska utgåvor är kostsamma. Det transkriptions-, översättnings- och annotationsarbete som en högt kvalificerad arbetsstyrka måste utföra motsvarar tusentals arbetstimmar och kräver betydande finansiering, utöver långsiktigt institutionellt stöd.

På sätt och vis är det en välsignelse att digital humanioras flaggskeppsprojekt kan få de enorma anslag som krävs för att driva dem.

Men ett så tungt beroende av rika stiftelsers, universitets och myndigheters frikostighet, och det långvariga behovet av stora personalresurser, är ingen hållbar ekonomisk modell för framtiden. Även om allt fler forskare har råd att framställa ambitiösa digitala utgåvor av primärkällor förblir denna praxis ett privilegium för ett fåtal rika länder, och befäster därmed deras kulturella hegemoni.

För att göra historiska dokument från hela världen tillgängliga för en bredare allmänhet måste kostnaden för digitala kritiska utgåvor sjunka med flera storleksordningar .

I den här serien blogginlägg utvärderar jag de olika metoder och tekniska byggstenar som forskare världen över kan använda för att ge ut primärkällor snabbare och till minimal kostnad.

Jag kommer särskilt att granska tekniker som maskininlärning, blockkedjor och decentraliserad lagring.

Automatisk uppmärkning i digitala vetenskapliga utgåvor

Mon, 22 Nov 2021 18:15:00 +0000

Inledning

Hur ger man ut digitala vetenskapliga utgåvor utan att ruinera sig? I det här inlägget, det första i en serie om effektiv utgivning, undersöker jag vilken roll förtränade språkmodeller kan spela när man vill automatisera redaktionella uppgifter som semantisk uppmärkning.

Innehållsförteckning

Problemet

Ett kärleksverk

När det gäller kärlek räknar man inte kostnaden … så lyder åtminstone det gamla ordspråket. Det gäller i högsta grad digitala vetenskapliga utgåvor: transkription, översättning och annotation kräver tusentals arbetstimmar, som i fallet utförs av hundratals högt kvalificerade medarbetare.

På sätt och vis är det en välsignelse att digital humanioras flaggskeppsprojekt kan få de enorma anslag som krävs för att driva dem. Men ett så tungt beroende av rika stiftelsers, universitets och myndigheters frikostighet, och det långvariga behovet av stora personalresurser, är ingen hållbar ekonomisk modell för framtiden.

Vill vi uppmuntra forskare världen över att göra historiska dokument tillgängliga för en bredare allmänhet måste i själva verket kostnaden för digitala kritiska utgåvor sjunka med flera storleksordningar .

En hög tröskel

Något paradoxalt kan lösningen komma från just sådana arbetskrävande projekt som , eftersom de utgör ett värdefullt träningsmaterial för att automatisera några av den digitala utgivningens mest avskräckande och repetitiva moment, uppmärkningen till exempel.

Inte för att uppmärkningen skulle vara oviktig. Tvärtom: uppmärkningen har blivit den oumbärliga beståndsdelen i varje seriöst digitalt utgivningsprojekt. Standardiserad av låter den oss registrera så många aspekter som möjligt av dokumentet och den text det förmedlar: struktur, marginalanteckningar, strykningar, varianter, papperskvalitet, fläckar, handstil … ja, vad du vill.

Följande exempel, hämtat ur , visar hur uppmärkningen berikar texten med ytterligare information (kategori, struktur, semantiska fält, strykningar osv.) och därmed ger den digitala utgåvan ett rejält försprång framför sina förfäder på papper.

Plain Text XML Markup

Plain Text	XML Markup
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

Den här informationen är värdefull inte bara för arkivändamål utan också, som jag har visat vid tidigare tillfällen, för syntes och analys. Men annotationen kan vara oerhört tidskrävande, eftersom samma text ofta måste finnas i flera skepnader: som översättning, som transkription, som moderniserad text osv.

Lösningen

Transformers – den enklaste vägen till automatisering?

År 2020 släppte med buller och bång sin senaste familj av storskaliga språkmodeller för allmänt bruk, GPT-3, vilket står för ”Generative Pre-trained Transformer 3”. Transformermodeller är ett ganska nytt genombrott inom artificiell intelligens. De lär sig nya uppgifter förbluffande snabbt – det räcker att de läser en prompt och får se ett mycket begränsat antal exempel. De kan också vidareutbildas med en särskilt sammanställd datamängd (finjustering), vilket förbättrar både svarstid och träffsäkerhet. Därför säger man att GPT-3 och jämförbara transformermodeller är , dvs. lär sig av ett fåtal exempel.

OpenAI uppger att GPT-3 rymmer rekordmånga parametrar, 175 miljarder, och har tränats på mer än 570 GB text, till största delen engelska dokument som förmodligen hämtats från . Tack vare sin blotta storlek har GPT-3 satt en ny standard på området och utför direkt ur lådan de mest skilda uppgifter med oroväckande realism. Den skriver trovärdiga , den i chattrum, , , översätter dokument, förklarar fackjargong och så vidare.

Eftersom jag haft tidig tillgång till OpenAI:s API sedan maj 2021 har jag kunnat pröva modellens förmåga att lösa en rad uppgifter som anses svåra: att översätta fransk poesi och nylatinska texter till engelska, att förklara analogier, och till och med att förenkla fjärde boken av Kants Grundläggning av sedernas metafysik för en sjuåring (om än inte särskilt övertygande).

Codex

En av GPT-3:s senaste utvecklingsgrenar är inriktad på programspråk. Modellen, som heter Codex, översätter naturligt språk till programkod och tvärtom. Om jag t.ex. letar efter ett reguljärt uttryck som låter mig ”hitta ord som bara börjar med stor bokstav”, översätter GPT-3 det raskt till ett fungerande reguljärt uttryck: [A-Z]+\w+.

OpenAI uppger att Codex behärskar ett dussintal programspråk, däribland Python, JavaScript, Go, Perl, PHP, Ruby och Swift. Genom att sömlöst förvandla pseudokod till kod låter Codex oss koncentrera oss inte på programspråkets petiga syntax utan på de logiska steg och strategier som gör att en applikation kan lösa ett problem.

Bortom OpenAI

OpenAI är förstås inte ensamt på plan. Som nämnts tillkännagav Pekings akademi för artificiell intelligens 2021 en ännu större och mer kapabel modell, Wu Dao 2. Nvidia och Microsoft slog sig samman och tog fram den träffande namngivna modellen Megatron-Turing NLG 530B. Mindre uppstartsföretag som och erbjuder också API:er för allmänheten. Värda att nämna är även initiativ med öppen källkod som . AI-scenen förändras naturligtvis i rasande takt; vill du följa nya initiativ på fältet, ta en titt på .

Experimenten

Obs

Syftet med experimenten är att hitta den billigaste vägen till tillförlitlig automatisering av redaktionella uppgifter. Man kan invända att några av dem också skulle kunna automatiseras med övervakad inlärning. Den hypotesen återkommer vi till i ett senare inlägg.

Kan en transformer som GPT-3 lära sig att annotera, säg, en teknisk och vetenskaplig handskrift från 1500-talet?

Experiment 1 – textkategorisering

Vi börjar med något förhållandevis enkelt. Som ”few-shot learner” borde GPT-3 snabbt kunna förstå hur vår redaktion har klassificerat posterna i Ms Fr 640.

Promptdesign

För att träna modellen använde jag en ytterst minimal prompt och valde ut fyra korta poster i ren text som exempel, bl.a. en om ”medicin”, en om ”vapen och rustningar” och en om ”måleri”.

Test

Sedan klistrade jag in ett annat avsnitt som inte ingick i den första sekvensen:

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

Resultatet stämmer helt med innehållet:

<categories="painting">

Prövar vi med en post ur en kategori som inte ens fanns med i det första urvalet av träningstexter blir resultatet överraskande.

<categories="jewelry">

Resultat

Kategorin ”jewelry” (smycken) finns inte i vår utgåva av Ms. Fr. 640. Redaktionen den bredare kategorin ”Stones” (stenar). GPT-3:s intuition är dock god och tyder på att modellen med lite mer träning kan lära sig att kategorisera vilken post som helst i Ms. Fr. 640, och kanske också i liknande tekniska texter från 1500-talet.

Experiment 2 – semantisk uppmärkning

Vi höjer ribban något. Om transformers som GPT-3 kan lära sig att kategorisera texter efter bestämda redaktionella kriterier, kan de då också känna igen en del av textens uppmärkning?

Obs

Secrets of Craft and Nature använder en av semantiska och strukturella etiketter. Tyvärr kan GPT-3 inte bearbeta bilder, till skillnad från andra projekt som . Troligen kommer framtida versioner av GPT att få den förmågan, som är nödvändig för att känna igen de flesta av ett dokuments strukturella och materiella drag. Vi hoppar över just de taggarna och koncentrerar oss på uppmärkning som inte kräver bildigenkänning.

Promptdesign

De semantiska taggarna omfattar hänvisningar till djur, växter, ortnamn, sinnesintryck osv. I träningsprompten valde jag ut några exempel ur utgåvan:

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

Test

Vi prövar några lätta ord med modellen Davinci-codex: Apothecary, smoke, glassmakers, latten och snake. Svaret kommer omedelbart och är felfritt:

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

Ett svårare prov är sammansatta uttryck som copper plates, walnut oil och wood block. Här vill vi se om GPT-3 klarar nästlade taggar.

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

Resultatet är dock blandat: Davinci-codex märkte bara upp walnut oil korrekt och missade de nästlade taggarna tl och m i copper plates och wood block. Som nästa test visar kan sådana fel ändå avhjälpas med en bättre träningsprompt. Efter fem ytterligare exempel på nästlade taggar levererade Davinci-codex ett nästan felfritt resultat med ett enda misstag (oil paintbrushes):

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

Slutsats

Det är viktigt att komma ihåg att testerna gjordes med små textfragment. Jag misstänker att GPT-3-modellerna skulle prestera ännu bättre med mer sammanhang i exemplen och i prompten. Och finjusterar man dessutom modellen med särskilt sammanställda träningsdata förbättras träffsäkerheten utan tvekan ytterligare.
Visserligen skulle experimenten behöva upprepas i större skala för att bevisa de förtränade språkmodellernas tillförlitlighet, men vi kan ändå dra slutsatsen att den här metoden låter utgivare automatisera flera annotationsuppgifter i några få enkla steg, och därmed potentiellt spara enorma mängder tid och pengar.

Visualisera handskrifter 2 (uppdatering)

Sat, 20 Nov 2021 16:00:00 +0000

Som utlovat: en ny version av den interaktiva treemap som presenterades i ett , den här gången med två visningslägen.

Obs

För bästa visning, se till att webbsidan är i ljust läge (klicka på månikonen uppe till höger).

Group folios by category

En visuell bläddrare för arkivet

Sun, 20 Jun 2021 16:00:00 +0000

Problemet

Digitala utgåvor lider av en paradox: de gör visserligen svåråtkomliga dokument tillgängliga för en bredare allmänhet, men förlusten av sinnesintryck som dematerialiseringen för med sig tenderar att desorientera läsarna och rentav avskräcka dem från att ge sig i kast med innehållet. Att navigera i väldiga dokumentsamlingar blir rätt omständligt och avskräckande. Det gäller inte bara ovana arkivanvändare utan också läsare med kognitiva funktionsnedsättningar.

Lösningen

Här kan arkivens metadata hjälpa oss. Sådana data låter oss nämligen skapa interaktiva visuella abstraktioner som ger läsaren ett alternativt sinnesintryck och därmed förbättrar både ergonomi och tillgänglighet. För att göra arkivet visuellt navigerbart duger en treemap, eller vilket diagram som helst som effektivt bryter ner hierarkiska data.

Experimentet

Mitt första experiment anpassar koden för i D3.js och lägger till hyperlänkar. Diagrammet representerar handskriften BnF Ms Fr 640, dess folier och posterna på varje folio. Färgerna står för den dominerande kategorin. Mer data visas när man håller muspekaren över en post, däribland hyperlänken till handskriften.
Så blir treemappen ett interaktivt visuellt register som ger läsaren en mycket snabb och responsiv överblick, inte bara över handskriftens innehåll utan också över hur omfångsrika varje folio och varje post är.
~~Under de kommande månaderna fortsätter jag att experimentera med idén och pröva andra diagram och andra hierarkier … Håll utkik!~~ En ny version av treemappen hittar du .

Obs

För bästa visning, se till att webbsidan är i ljust läge (klicka på månikonen uppe till höger).

Click any cell to zoom in, or the top to zoom out.

Arkivet i ett ögonkast

Mon, 24 May 2021 16:00:00 +0000

Problemet

Historiska arkiv kan vara skrämmande röriga. Mediceo del Principato i är ett typexempel. Bara en liten del av beståndet är inventerad, och många dokument ligger utspridda över mer än 6 500 volymer utan synbar anledning. Till råga på allt får man bara beställa fram ett begränsat antal volymer (eller filze, buntar, som de kallas där). I normala tider är gränsen 4 filze per dag. Under pandemin har den sjunkit till 4 varannan vecka. I brist på detaljerade inventarier tvingar arkivets väldiga omfång forskaren att hitta på strategier för att snabbt lokalisera de dokument hen söker.

Lösningen

Somliga litar till slumpen, andra försöker göra kvalificerade gissningar utifrån kronologi, mottagare, avsändare, arkivbeståndets ursprung, språk osv. Att se alla dessa variabler på en gång kan dock avslöja oväntade mönster i arkivets struktur och vässa våra gissningar. Min erfarenhet är att de metadata forskare brukar samla i ett kalkylark avsevärt skärper överblicken i arkivet, bara man ritar upp dem i diagram.

Experimentet

Min nuvarande forskning gäller korrespondensen från en spion på 1500-talet. Hans brev är utspridda över hundratals filze. De är skrivna under olika identiteter, till olika och ibland oväntade adressater, från olika platser osv. För att hitta de filze som med störst sannolikhet innehåller de brev jag väntar mig har jag byggt en instrumentpanel, en interaktiv webbapplikation för datavisualisering ( ) som kopplar samman alla slags data, däribland geografisk och kronologisk information, med ett hierarkiskt diagram ( ) över arkivbeståndet. Panelen visar mig i ett ögonkast vad som redan hittats och hur mycket det motsvarar, och ger mig en ungefärlig bild av var jag skulle kunna leta efter nya brev. Klickar jag dessutom på enskilda variabler uppdateras alla diagram och visar specifika samband.

Nästa steg

Kanske viktigare är att panelen kan återanvändas som ett visuellt register. När den kritiska utgåvan av breven publiceras på nätet kommer panelen att fungera som en alternativ ingång, där läsarna kan bläddra i materialet. Av sekretesskäl kan jag för närvarande bara visa en maskad skärmbild, men den fullständiga panelen släpper jag nästa år. Under tiden kommer en prototyp snart att finnas tillgänglig. Håll utkik!

Making & Knowing Project

Sun, 27 Dec 2020 00:00:00 +0000

, grundat 2014 av Pamela H. Smith och med hundratals medarbetare, är ett forsknings- och undervisningsinitiativ vid på Columbia University.

Som postdoktor deltog jag i projektet och arbetade bl.a. med den av BnF Ms. Fr. 640. Denna unika franska 1500-talshandskrift ger en förstahandsinblick i hantverk och material från en tid då konstnärerna var vetenskapsmän.

Den digitala utgåvan gör en rikedom av data fritt tillgänglig i sitt . Under det kommande året tänker jag publicera en serie blogginlägg om utgåvan och dess data. Jag ska visa hur lätt man laddar ner och analyserar texten med Python eller R. Håll utkik!

Att visualisera semantisk uppmärkning i BnF Ms. Fr. 640

Sun, 20 Dec 2020 18:15:00 +0000

Översikt

Datarika vetenskapliga utgåvor rymmer värdefulla redaktionella annotationer som man kan extrahera, analysera och visualisera för alla möjliga forskningsändamål. Så är fallet med , som utkom 2020 och vars metadatafil kan laddas ner från projektets GitHub-repo. I det här inlägget visar jag hur man samlar alla dessa variabler i en korrelationsmatris och visualiserar dem på olika sätt.

Data

Making and Knowing Project genererar ett kalkylark med uppdaterad information om handskriftens innehåll: entry_metadata.csv. Filen kan hämtas från Making & Knowings . Alternativt kan man generera skräddarsydda .csv-filer med mer uppmärkning tack vare Matthew Kumars utmärkta , en Python-version av BnF Ms. Fr. 640.

Förbered Python

Vi använder Pandas för att bearbeta data, Matplotlib och seaborn för värmekartorna och slutligen NetworkX för att bygga korrelationsbaserade nätverk.
För den här typen av variabler undviker vi Pearsons metod och använder i stället 𝜙𝐾-metoden. Se till att du denna korrelationsmetod och PhiK, dess motsvarande bibliotek.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

Förbered data

Först laddar vi ner utgåvans senaste metadatafil från mappen metadata i deras . Vi väljer bara ut de kolumner vi behöver. I den här demonstrationen tar jag alla semantiska taggar ur den engelska översättningen tl, men du kan lika gärna välja taggar ur den franska transkriptionen tc eller den normaliserade versionen tcn. Data levereras som semikolonseparerade värden, och vi behöver Python för att räkna dem åt oss. Därför använder vi stack–unstack-metoden med det reguljära uttrycket [^;\s][^\;]*[^;\s]*. För att göra matrisen mer lättläst döper vi om varje kolumn. Har du bråttom kan du hoppa över det steget; kom bara ihåg att vår dataframe i det här skedet heter tagsrn.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

Korrelera

När dataframen är ren kan vi gå vidare och beräkna korrelationskoefficienterna mellan varje par av variabler. Det är viktigt att man i det här skedet förstår sina data och ser till att använda den lämpligaste korrelationsmetoden. Paketet pandas-profiling är särskilt användbart för det.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag är vår korrelationsmatris. Nu kan vi pröva olika typer av visualisering.

Visualisera

Det första vi kan pröva är att visa matrisen som en färgkodad matris med modulen i seaborn.

Korrelationsvärmekarta

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

Känner du texten väl ser du genast att värmekartan är högst rimlig. Namn är t.ex. starkt korrelerade med latin, eftersom det var brukligt, särskilt bland 1500-talets humanister, att latinisera dem.

Somliga kanske invänder att värmekartan bara slår in öppna dörrar. De har inte helt fel, och vid första anblicken ser de medicinska taggarna ut som ett skolexempel: de korrelerar som väntat med kroppsdelar, mått och växter.

Men läser vi värmekartan noggrannare, rad för rad, hittar vi kanske några intressanta och oväntade samband. Att de medicinska taggarna korrelerar med italienska och latinska ord ger oss t.ex. ledtrådar om varifrån de medicinska recepten i Ms. Fr. 640 kommer. På samma sätt visar sambandet mellan yrken, definitioner och mått hur starkt yrkesidentiteten strukturerar 1500-talets tekniska diskurser.

Korrelationsklusterkarta

Värmekartor är bra i ”utforskande” sammanhang, men de kan se lite röriga ut för din publik, särskilt om du diskuterar – eller fortfarande letar efter – specifika semantiska kluster i handskriften. Seaborns modul clustermap kan ge intressanta resultat.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

Förutom att likna en pixlad (jo, ordet står i ordboken) insekt skiljer klusterkartan tydligt isolerade taggar (upptill och till vänster) från dem som hänger ihop mer. Vi urskiljer också isolerade kluster, som musik och poitevin (vem kunde ana!), från mer centrala som mått, material, definitioner och vapen. Yrkena hänger ihop med fler, men ingår, åtminstone i just denna korrelationsmatris, inte i något särskilt kluster.

Korrelationsnätverk

Vill vi sammanfatta korrelationerna i matrisen ännu mer erbjuder nätverksgrafer en elegant lösning. Det gäller särskilt när vi vill kommunicera om handskriftens innehåll.
För det måste vi omvandla matrisen till en lista över kanter och noder och sätta ett tröskelvärde som rensar bort de svagare korrelationerna ur grafen.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

Blir det för många kanter och noder kan du alltid ändra tröskelvärdet för att få ett renare resultat. Annars kan du exportera grafen och leka vidare med den i Gephi, med funktionen .write_gexf().

nx.write_gexf(G, 'graph.gexf')

Resultatet ser du i början av inlägget.

Uppdatering: cirkulärt viktat nätverk

Jag letade efter sätt att visa korrelationsmatriser som viktade nätverk och hittade det här intressanta angreppssättet , vilket jag här anpassar till vår datamängd.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

När vi väl har tagit bort några kanter kan vi bestämma deras färg och tjocklek.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

Vi ger också noderna en storlek som står i proportion till antalet förbindelser.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

Resultatet är en viktad graf som rymmer fler noder och betydligt fler kanter men ändå förblir läsbar och informativ.

Filippo Cavrianas hemliga korrespondens, 1568—1589.

Fri, 27 Dec 2019 00:00:00 +0000

Filippo Cavrianas hemliga brev är ett unikt vittnesbörd om de franska religionskrigen: i över tjugo år följer de intrigerna, slagen, förhandlingarna och konspirationerna som satte takten för livet vid det franska hovet och därbortom.

Breven, som förvaras i , ligger till största delen utspridda i hundratals oinventerade buntar, eller filze som man säger i Florens. Jag har visserligen kunnat upptäcka dussintals nya brev under de senaste åren, men den här sortens arkivforskning blir allt svårare. Det geografiska avståndet till Florens, förfallet i vissa italienska offentliga tjänster och covid-19-pandemin bidrar alla till att göra sådana utgivningsprojekt till en lång och osäker process.

Att ge ut primärkällor bör, trots de växande svårigheterna, förbli en del av historikerns arbete. Men formen för dessa publikationer bör nog utvecklas. Källutgåvorna bör inte bara anpassas till den situation jag beskrivit ovan utan också bättre spegla forskningens stegvisa natur, och göra det möjligt för någon annan att ta vid.

Därav idén att utveckla en ny typ av digitalt utgivningsprojekt som är skalbart, hållbart, pålitligt, plattformsoberoende och potentiellt kollaborativt.

Utgåvan finns nu på nätet: . Den samlar de brev som hittills transkriberats, från statsarkiven i Florens och Mantua samt BnF, och växer i takt med att nya dyker upp. Tankarna bakom dess utformning har jag förklarat i .