Anteckningar |

Stängslet, inte elden

Sun, 06 Sep 2026 00:00:00 +0000

I ett lagerhus i North Las Vegas driver Amazon en maskin som skär ryggen av begagnade böcker. De lösa sidorna går genom en skanner, och sedan skickas papperet i väg för att malas ner till massa. Böcker som förstörs för att mata AI: historien hade allt som krävs för att bli en kulturskandal. jämförde verksamheten med ett modernt bokbål och sparade inte på klichéerna: anspelningar på Savonarola, arkivbilder på till synes sällsynta böcker och, naturligtvis, bålet i Berlin. Kvalitetstidningarna var som väntat svalare men lät samma jämförelse hänga i luften. Men trots all sin indignation kom AI-industrin förvånansvärt lindrigt undan i dessa artiklar. Papperets öde får huvudrollen; vem som äger de digitala bibliotek som blir resultatet kommer knappt in i bilden. Vem får kontrollera den kunskap som skannas? Den frågan får vänta medan vi röjer undan pratet om bokbål.

En skanner är inget bål

Analogin med Savonarolas bål eller nazisternas bokbränning är absurd: att förstöra ett exemplar är inte detsamma som att undertrycka en text. Bålen var offentliga akter av avståndstagande. Den stackars munken Savonarola, som åberopas i varje bokbålskontrovers, uppmanade folk att offra några av sina ägodelar som en offentlig botgöring. Nazisternas bål iscensatte ett annat slags avståndstagande: den offentliga bränningen förkunnade att författarna inte hade någon plats i det tyska kulturlivet. I båda fallen var förstörelsen, hur motbjudande den än var, performativ. Destruktiv skanning, en vanlig metod inom digitaliseringen, tjänar ett annat syfte: exemplaret giljotineras för att innehållet ska bevaras. Boken förstörs; texten dematerialiseras. De som tar till Fahrenheit 451 kunde erinra sig romanens centrala lärdom: en text är inte det papper den är tryckt på.

Djärvare än Daily Mail men inte mindre klumpigt bidrog till larmet genom att sätta ”sällsynta böcker” i rubriken. Men en bokhandlare som citeras i tidningens egen granskning uppgav att dessa bulkbeställningar , vilket i stort sett pekar mot utgåvor publicerade efter att ISBN infördes omkring 1970. Det är loppisarnas och secondhandbutikernas varor, ofta en enda storstädning från soptippen. Innan man utropar en kulturkatastrof kunde man slå i bibliotekskatalogen. Det är precis sådana publikationer pliktleveransbiblioteken finns till för att bevara. Visst garanterar ett ISBN inte att ett pliktexemplar överlevt, men lika lite bevisar knappheten på andrahandsmarknaden att en text försvunnit.

Böcker har naturligtvis en materiell historia. Exemplar vars anteckningar, dedikationer eller proveniens ger dem historisk betydelse förtjänar att identifieras och bevaras. Här har antikvariaten en roll att spela: att känna igen ett sådant exemplar borde vara skäl nog att hålla det utanför en sändning på väg att malas ner. Vi kan också fortsatt oroa oss för den krympande tillgången på fysiska exemplar av titlar som gått ur tryck. Men då bör vi också fråga varför rättsinnehavarna varken trycker om dem eller tillåter åtkomst till befintliga digitala faksimil. Forskare känner frustrationen: Google Books hittar det avsnitt du behöver och bjuder sedan på ett smakprov ur en bok du varken kan köpa ny eller läsa på nätet. Det finns alltså förluster här värda att diskutera, men de gör inte en skanner till ett nazistiskt bokbål.

Bokbranschen har för sin del sedan länge rutinmässigt malt ner osålda böcker. Bara i Frankrike uppskattas , ungefär 60 procent av det tonnage som returnerades osålt till distributörerna. Det kallas lagerhantering. Överskottsexemplar och sällsynta begagnade titlar väcker olika frågor om tillgång, men att förstöra papper är inte i sig censur eller tyranni.

Fler böcker, bättre AI?

Att AI-företag köper och skannar böcker är i själva verket goda nyheter. En teknik som ständigt kritiseras för sin ytliga förståelse av mänsklig kultur skaffar sig mer av den, och man kunde ha väntat sig att forskare skulle välkomna ansträngningen.

Webben är en dålig ersättning för ett språks samlade skriftliga arv. Mycket av ett språks nedtecknade liv, från romaner och memoarer till populära visor och transkriberade samtal, har aldrig tagit sig från trycket till webben. Många av dessa böcker har överlevt sina förlag. Att få in dem i träningsdata betyder mest där lite annat finns att tillgå. Några böcker till på engelska ger kanske marginella förbättringar. Men för ett dåligt representerat språk kan samma böcker avgöra om ett system blir användbart eller värdelöst. Om dessa verktyg hör hemma i våra offentliga tjänster eller vår vardag är en fråga för den offentliga debatten. Men var vi än väljer att använda dem bör vi kunna göra det på vårt eget språk.

Beställningarna som rapporterats från Spanien och Nederländerna visar konkret vad som står på spel för språken. I maj beskrev en bokhandlare i Badalona som fått upprepade beställningar, främst på katalansk facklitteratur: historieböcker, tekniska handböcker och gamla konferensvolymer. I augusti rapporterade nederländska medier om en förfrågan till De Slegte om . Böckernas språk förtjänar minst lika mycket uppmärksamhet som bokbandens öde. Det är kanske för mycket begärt av Daily Mail. Men även de mer sansade tidningarna har haft föga att säga om språken.

Licensavtal med stora förlag kan också ge värdefullt material, men förlagens digitala kataloger täcker bara en bråkdel av allt som utkommit i tryck. Böcker som aldrig digitaliserats, eller vars rättigheter förlaget inte längre innehar, faller utanför erbjudandet. Inte ens ett generöst licensavtal kan ersätta förlagshistorien, än mindre en kulturs historia. Att köpa begagnade exemplar är ett sätt att nå förbi de kommersiella gränserna.

”Stöld” är inget argument

Att kalla det ”stöld” hjälper inte heller. I juni 2025 fann två amerikanska distriktsdomstolar att användningen av böcker för att träna språkmodeller utgjorde fair use i de mål de hade att pröva. I betonade domstolen träningens transformativa karaktär: böckerna användes för att bygga ett system som kan frambringa nya uttryck. Modeller kan memorera passager, men att en bok används i träningen gör inte hela texten hämtbar på begäran. Frånvaron av ordagrann återgivning avfärdar heller inte varje invändning. I varnade domaren för att AI-genererade verk kunde översvämma marknaden och att bevis för sådan skada skulle kunna fälla ett fair use-försvar. Dessa kärande hade dock inte lagt fram några substantiella bevis för sådan skada på sina egna verk. Ingendera domen ger AI-företagen fritt fram eller avgör den etiska tvisten. De kräver att vi skiljer på hur böcker anskaffas, hur kopior behålls och vad träningen gör med dem. Att kalla alltihop ”stöld” lämnar de frågorna obesvarade.

I förbigående sagt ger Anthropic-domen giljotinen en logik. Domstolen godkände digitaliseringen av köpta exemplar men underkände ansamlingen av piratkopierade böcker i ett permanent bibliotek, för vilket företaget senare . Digitaliseringen godkändes delvis för att varje tryckt exemplar förstördes vid omvandlingen: den digitala kopian ersatte det och delades inte utanför företaget. Den förstörelse som upprör somliga så hjälpte Anthropic att få sitt digitaliseringsprogram bedömt som fair use. Att köpa, skanna och kassera var i det fallet en laglig väg. Giljotinen är här ett redskap för regelefterlevnad.

Det finns goda skäl att vilja att AI ska ösa ur fler språk, mer forskning och mer av den värld som fanns före internet. De skälen försvinner inte för att ett företag vi ogillar har sett en affärsmöjlighet i saken.

Lånad indignation

Låt oss då återvända till Daily Mail. Tidningens artikel ingår i , en kampanj från tidningsägare och förlag som vill ha för AI. Två bekväma utbyten gör jobbet: Big Tech får stå för AI, och rättsinnehavarna får stå för ”brittisk kreativitet”. Läsarna inbjuds att försvara kulturen medan förlagen förhandlar om villkoren för dess försäljning. Forskare som delar historien kunde fråga sig vems sak deras indignation tjänar.

Big Tech och grälar om hyran, men ingendera har något emot stängslet. Berättelsen om den ensamma författaren som bestjäls av en teknikjätte skymmer vad dyra licensavtal erbjuder båda bolagslägren: förlagen får betalt, och Big Tech får en marknad där dess mindre konkurrenter inte har råd att vara med. Peter Thiel uttryckte Silicon Valleys preferens rakare: .

Licensiering behöver inte leda dit. Prisvärd, icke-exklusiv tillgång kunde hjälpa mindre utvecklare. Men ett system som tvingar varje ny aktör att förhandla fram dyra avtal med de stora rättsinnehavarna gör köpkraft till ett inträdesvillkor. En betalning som framställs som en eftergift till kulturbranschen slutar med att köpa skydd mot framtida rivaler.

AI tillhör inte Big Tech

Det finns en djupare fråga. Alltför mycket AI-kritik tar de största kommersiella leverantörerna för hela fältet. Produkterna dominerar rubrikerna; forskningen och utvecklingen utanför dessa företag försvinner ur sikte. Big Tech kunde knappast önska sig ett nyttigare missförstånd. Dess ambition att äga fältet blir premissen för den kritik som riktas mot det. Monopolet är ännu inte säkrat. Att behandla det som avgjort gör dessa företag en enorm tjänst. Det leder också uppmärksamheten bort från den öppna källkoden: från dess behov, dess chanser att över huvud taget finnas, dess intressen, dess legitimitet som alternativ.

AI med öppen källkod låter människor bygga och anpassa system som speglar en större mångfald av språk, kulturer och uttrycksformer. För länder i Europa, Afrika, Latinamerika och Asien är det en praktisk grund för teknisk och kulturell suveränitet: förmågan att bestämma hur systemen fungerar, vilka språk de betjänar och var de används. Om AI ska användas, och till vad, bör förbli ett offentligt val, inte ett beslut dikterat av beroendet av ett utländskt oligopol.

Men friheten att ändra ett system betyder föga utan medlen att göra det. Oberoende arbete kräver expertis, datorinfrastruktur och tillgång till träningsmaterial. Det för oss tillbaka till böckerna. Om varje forskargrupp eller offentlig institution måste förhandla fram egna förlagsavtal eller bygga upp ett eget privat bibliotek blir oberoendet oöverkomligt även för somliga rika länder.

Böckerna finns redan här

Bibliotek och arkiv har i generationer samlat det material dessa system behöver. Deras samlingar finns för att tillgången till kunskap ska överleva det kommersiella intresset av att sälja den. Mycket är redan skannat: rymmer omkring nitton miljoner digitaliserade volymer från forskningsbibliotek, många fortfarande upphovsrättsskyddade. Ett bibliotek skannar en bok och behåller den. Ingen där behöver någon giljotin. HathiTrust men har också aviserat , ett projekt som ska ge korpusåtkomst för icke-kommersiell AI-forskning och AI-utveckling. Tillgång på de villkoren skulle ändå lämna en del oberoende utvecklare utanför.

Att äga böckerna ger dock inte ett bibliotek rätt att sprida deras upphovsrättsskyddade innehåll som träningskorpus. tillåter forskningsinstitutioner och bibliotek att utvinna text och data ur lagligt tillgängliga verk för vetenskaplig forskning, och medger bredare utvinning där rättsinnehavarna inte förbehållit sig sina rättigheter. : dess undantag för utvinning omfattar icke-kommersiell forskning och begränsar överföringen av kopior. Ingetdera regelverket ger biblioteken någon allmän rätt att dela sina upphovsrättsskyddade bestånd för andra att bygga vidare på.

Vi kunde också ompröva hur länge rättsinnehavare ska kontrollera datorbaserad användning av böcker. Läkemedelspatenten bygger på en uppgörelse: tillfällig ensamrätt belönar innovation, sedan blir uppfinningen fri för andra att använda. Deras normala tjugoåriga löptid är långt kortare än upphovsrättens skydd under författarens livstid och sjuttio år därefter. Varför inte tillämpa en liknande princip på datorbaserad användning av böcker? Efter, säg, tjugo år från första utgivningen kunde en bok bli tillgänglig för text- och datautvinning utan licensavgifter, medan rättigheterna till nyutgivning och försäljning förblev skyddade. Författare kunde fortsätta tjäna på sina böcker utan att generationer av forskare behövde förhandla om tillstånd för att analysera dem.

För två år sedan hävdade jag i att kulturarvsdata bör behandlas som en kollektiv nyttighet. Staterna bör finansiera bibliotek och arkiv så att de kan digitalisera, transkribera och dokumentera sina samlingar, och ge dem den rättsliga befogenheten att göra de resulterande korpusarna tillgängliga för andra att bygga vidare på. Big Tech kunde bidra till notan genom en särskild avgift.

Offentlig finansiering bör åtföljas av publicerade samlingspolicyer och åtkomstregler som täcker både akademiskt och kommersiellt arbete, utan exklusiva avtal eller privilegierad tillgång för donatorer. Tillgång för träning behöver inte betyda obegränsad vidarespridning av upphovsrättsskyddade böcker. Författarna bör vara med och utforma det offentliga systemet, inklusive hur det hanterar samtycke, ersättning och konkurrens med deras verk. Fri tillgång för användarna behöver inte utesluta offentligt finansierad ersättning till författarna. Biblioteksersättningen – i Storbritannien – som betalar författare ur offentliga medel när deras böcker lånas ut, är ett prejudikat. Elden var aldrig historien. Det är stängslet.

Kära redaktörer: vill ni ha min röst, ge mig tillbaka mitt språk

Thu, 27 Aug 2026 00:00:00 +0000

Ny dag, ny tidskrift som basunerar ut sin AI-policy. Den här gången är det Progress in Human Geography, vars redaktörer har publicerat med varningen att den som använder AI som ersättning för sitt eget läsande, tänkande och skrivande begår ”ett brott mot den akademiska etiken, jämförbart med plagiat”. Artiklar som befinns ha brutit mot regeln ”kan komma att dras tillbaka”; i bästa fall rättas de, med en notis tryckt i tidskriften. Författarna, tillägger redaktörerna, bör ”noga överväga om de vill se sina namn förknippade med tillbakadraganden och rättelsenotiser”.

Den meningen förtjänar en stunds eftertanke. Tillbakadragandet (retraktionen) är den strängaste sanktion det vetenskapliga publiceringsväsendet känner, det straff som annars är förbehållet fabricering och fusk. Här knyts det till en förseelse som samma ledare inte förmår definiera. Det finns, medger redaktörerna, ”verkliga gråzoner” och ”inga tydliga linjer som avgränsar zonen för ’oansvarighet’”. Tillämpningen kommer att vila på ”bedömningar som kan reta upp somliga författare, vilka kommer att hävda att de inte använt AI på ett otillbörligt sätt” – ens egen försäkran kan med andra ord köras över. Rådet som följer är att hålla sig ”tryggt inom zonen för ’ansvarighet’”, och till trygghet manar man bara där fara hotar. Att straffa människor för att de korsar en linje man erkänner att man inte kan dra är begripligt bara om avsikten är att regera med skräck. Lägg det på minnet.

Rösten som förevändning

Hur ser ansvarsfull användning ut? Författarna uppmanas: ”stor omsorg måste ägnas … åt att bevara den egna rösten”. Missbruk är att ta AI till hjälp ”för att skriva på ett språk författarna själva normalt aldrig skulle använda”. För den som har engelska som modersmål är det rimligt: låtsas inte vara något du inte är. Men för utlänningar som måste skriva på ett språk som inte är deras eget motsäger påbudet sig självt. Den röst regeln vill skydda är just det som tidskriftens egna regler förvägrar oss.

Ta mig som testfall. Engelska är mitt fjärde språk, precis ett sådant jag aldrig skulle använda ”normalt”. Engelskspråkiga universitet drillade mig i att skriva den kort, med tydliga vägvisare, nästan mekaniskt: kärnmeningen först, garderingar på de godkända ställena, övergångar från den godkända listan. Drillen fungerade: det har aldrig funnits någon röst i min engelska att skydda; den var det första som fick stryka på foten. Enligt redaktörernas egen definition vore allt jag skrivit på engelska otillbörlig användning, med eller utan maskin.

Rävsaxen

Redaktörerna säger sig ha tänkt på oss: policyn erkänner att den som inte har engelska som modersmål har nytta av att AI kontrollerar engelskan, ja rentav av dess ”översättnings-, skriv- och redigeringstjänster”. Ändå ska AI:s inblandning i skrivandet ”på sin höjd uppgå till hjälp med redigering och korrekturläsning” och får inte leda till ”stora sjok av AI-skriven text”. En maskinöversatt artikel är AI-skriven från första ordet till det sista; den består av inget annat än sådana sjok. Eftergiften håller alltså bara om översättning inte är skrivande. Var går den linjen? Det har de redan sagt oss: ”inga tydliga linjer”.

Det blir värre, för misstanken är inte bara omöjlig att vederlägga. Den spelar dessutom med falska tärningar. År 2023 prövade ett forskarlag från Stanford sju vanliga AI-detektorer på uppsatser skrivna av människor: detektorerna flaggade i genomsnitt 61 % av TOEFL-uppsatserna av icke-modersmålstalare som maskingenererade, medan de klassificerade modersmålstalarnas uppsatser nästan felfritt; en detektor flaggade 97,8 % av TOEFL-materialet ( ). Skälet är lärorikt. Detektorerna mäter förutsägbarhet, och andraspråksengelska, tränad mot medelvärdet, är förutsägbar till sin konstruktion: det mest sannolika ordet i den mest sannolika ordningen. Samma studie fann signalen i verklig forskning, i form av lägre språklig variation i konferensbidrag med icke-modersmålstalare som förstaförfattare. De stildrag som läses som ”AI” är den kompetenta andraspråksengelskans stildrag, och en mänsklig bedömning läser samma drag som maskinen. Rävsaxen har slagit igen: skriver jag min egen engelska ser jag ut som en maskin; tar jag maskinen till hjälp bryter jag mot deras regel.

Språkskatten

Paradoxen vore harmlös om den inte åtföljdes av hot. Men hoten blottar ett djupare och äldre problem som policyn aldrig nämner vid namn: enspråkigheten. efterfrågar ”bredast möjliga internationella täckning”, medan det på samma sida heter att ”tidskriftens språk är engelska”.

Kostnaden för det arrangemanget är inte hypotetisk. I en enkät bland 908 miljöforskare fann Amano och hans kollegor att forskare utan engelska som modersmål lägger upp till 51 % mer tid på att skriva en artikel, får den refuserad 2,5 gånger så ofta och ombeds revidera den 12,5 gånger så ofta, enbart av språkliga skäl ( ). Den skatten tas ut innan någon AI-policy ens kommit på tal; deklarationsblanketten och dess hot är en skatterevision ovanpå.

Fin d’empire

Enspråkigheten är det axiom ingen diskuterar. Den är ett imperialt arv som med tiden fick en praktisk motivering: översättning var långsam och dyr, och ingen redaktion kunde bedöma vad den inte kunde läsa. Men inget av detta överlever maskinöversättningens framsteg. Dagens bästa maskinöversättning kan användas som ett tillförlitligt mellanled mellan författare och redaktörer.

Den idealiska utvägen är mänsklig: forskare borde läsa mer än ett språk. I stället väljer de engelskspråkiga universiteten att lägga ner sina institutioner för moderna språk. Märk väl att nedläggningarna är ett angloamerikanskt fenomen: forskare på andra håll har aldrig haft råd med enspråkighetens lyx. Och märk tidpunkten. Att lägga ner en språkinstitution är att slå vad – om att engelskan har vunnit för gott och att inget läsvärt någonsin mer kommer att skrivas på något annat språk. Det vadet ingås vid precis fel tidpunkt, och det av två skäl. För det första för att maskinöversättningen för första gången gör det möjligt att helt klara sig utan ett lingua franca; för det andra för att den ordning som gjorde engelskan till självklarhet är på reträtt: den engelskspråkiga världen vänder sig inåt, globaliseringen ebbar ut, frihandeln ifrågasätts i sina egna hemländer, och en multipolär värld tar form där de läsvärda språken kommer att bli fler. Universiteten utbildar forskare som bara läser engelska för en värld där engelskan inte kommer att räcka. Redaktionerna blir de första att ärva den förlusten.

Ett prov för redaktörerna

När en redaktion beklagar att den inte kan höra sina författares egen röst ligger kanske en del av problemet hos redaktionen själv.

Det är en allvarlig anklagelse, och den kommer med ett allvarligt prov. Skulle Progress in Human Geography låta sakkunniggranska ett bidrag skrivet på franska, italienska eller japanska, åtföljt av en maskinöversatt engelsk version? Tidskriftens egna anvisningar erkänner ju de ”översättningstjänster” som gör det möjligt. Ett ja gör slut på problemet. Ett nej skulle avslöja vad policyn egentligen skyddar.

Hur som helst är valet redaktörernas. Om rösten betyder något, som de påstår, bör tidskriften ta emot artiklar på de språk författarna tänker på. Om den inte gör det bör deklarationsblanketten bort, och hoten med den.

En upplevd geografi över Levanten

Sat, 29 Oct 2022 10:02:52 -0500

Inledning

Levante – Levanten – är en undflyende plats. Den definieras vanligen i förhållande till – eller i motsats till – ett annat territorium, och dess innebörd har sällan varit stabil: den har frammanat olika geografier beroende på var och när ordet använts. Men även om en objektiv och exakt definition är svår att formulera kan man ändå hoppas kunna rita en subjektiv karta över regionen, med de samband som finns inom en given textkorpus som underlag. Med andra ord: vilket rum kunde Levante frammana hos en bestämd krets av läsare?
I det här inlägget visar jag hur man med data från Medici Archive Projects kan visualisera vilka platser ortnamnet förknippades med.

MIA-databasen

MIA-databasen är en samarbetsplattform för forskare som vill ladda upp och dela sina egna fotografier av arkivmaterial från . Under det gångna året har vårt team, med stöd av , fotograferat, transkriberat, sammanfattat och klassificerat tusentals dokument ur avvisi-avdelningen i arkivet Mediceo del Principato i Florens. Databasen var visserligen inte i första hand tänkt för statistisk analys, men de metadata vi gjort tillgängliga kan ändå laddas ner och användas som datamängder.

Datamängden

I det här fallet täcker den datamängd jag skapade alla nyheter från Levante mellan 1543 och 1566, dvs. från den första avviso som finns registrerad i arkivet till det år då sultan dör. Här är ett utdrag ur de data jag hämtade från servern. De består av tre kolumner: ett unikt dokumentnummer, ett ortnamn och ett datum.

57386 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57386 Modon / Messinias, Nomos / Peloponnisos / Ellas 1565-1-3
57386 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57386 Evvoia / Evvoias, Nomos / Sterea Ellas-Evvoia / Ellas 1565-1-3
57386 Venetian Republic / Italia / Europe / World 1565-1-3
57386 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57386 Black Sea / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Otranto / Lecce / Puglia / Italia 1565-1-3
57389 Nisoi Aiyaiou / Ellas / Europe / World 1565-1-3
57389 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57389 Buda / Budapest / Budapest / Magyarorszag 1565-1-3
57389 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57389 Kipros / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Rodhos / Rodos, Nisos / Sporadhes / Nisoi Aiyaiou 1565-1-3
57389 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57389 Çorlu / Thraki / Ellas / Europe 1565-1-3

Att städa data

För att kunna visualisera dessa data måste vi göra dem läsbara som csv (kommaseparerade värden). Den geografiska informationen måste dessutom omvandlas till ett mer ”maskinvänligt” format: GPS-koordinater. Eftersom datamängden rymmer hundratals poster vill vi helst automatisera processen. Det går ganska snabbt och rätt exakt med förtränade språkmodeller som , eller , för att bara nämna några. Momentet måste dock övervakas noga, eftersom förtränade språkmodeller har en viss benägenhet att hallucinera.

documentId,latitude,longitude,documentDate
57386,35.899167,14.514167,1565-1-3
57386,37.05,22.116667,1565-1-3
57386,31.200028,29.918719,1565-1-3
57386,38.366667,23.666667,1565-1-3
57386,45.438333,12.331333,1565-1-3
57386,41.018611,28.984444,1565-1-3
57386,42.7,18.8,1565-1-3
57389,40.216667,18.166667,1565-1-3
57389,37.966667,23.716667,1565-1-3
57389,35.899167,14.514167,1565-1-3
57389,47.4925,19.051389,1565-1-3
57389,31.200028,29.918719,1565-1-3
57389,34.916667,33.616667,1565-1-3
57389,36.405419,28.227778,1565-1-3
57389,41.018611,28.984444,1565-1-3
57389,41.133333,27.416667,1565-1-3

Densitetskartan

En densitetskarta är en visualisering som lyfter fram hur ofta en plats nämns i en given datamängd. Den är särskilt användbar när man vill förstå inte bara sina datas geografiska räckvidd utan också deras tyngdpunkter. Vilka platser på kartan nämns oftast, och vilka bara sporadiskt? Var ligger centrum, och hur långt bort är periferin? Var på kartan är det troligast att en läsares uppmärksamhet fastnade?

För det här experimentet – och eftersom jag hade bråttom – använde jag ett av API:er. Men många visualiseringsbibliotek och geografiska informationssystem låter dig framställa samma slags densitetskarta.

Några iakttagelser

Resultatet är snarare en impressionistisk tavla än en exakt bild av ett klart definierbart begrepp, och det är just det jag tycker om med experimentet. Ty datavetenskapen kan visserligen vara en mäktig bundsförvant för humaniora, men vi är inte tvungna att spela efter dess regler.

En annan intressant sida av experimentet är att kartan visar ett Levante som är helt integrerat med resten av Europa och Medelhavet. Den framhäver också Edirnes centrala plats i Osmanska rikets politiska geografi. Dessutom är Spaniens viktigaste stad på kartan varken Madrid eller Escorial utan Neapel. Sist men inte minst tycks öar och små stadsstater som Ragusa ha spelat en viktig förmedlande roll mellan regionens makter.

Hur man hämtar data från MIA

MIA är ett utmärkt samarbetsverktyg för forskare, men de data som lagras på dess servrar är inte lättåtkomliga. Dess back-end är t.ex. inte publicerad i något öppet kodförråd. Du kan ändå få ut data genom att registrera dig hos MIA och skicka förfrågningar till servern med Python.

Förfrågan

url = "https://mia.medici.org/Mia/json/de/advancedsearch/advancedSearchResults/0/90/docYear/asc/?isNewsFeedSearch=False"
payload = [{"searchSection":"archivalLocationSearch","type":"archivalLocationAdvancedSearch","isActiveFilter":True,"repository":None,"collection":"Mediceo del Principato","series":None,"volume":"2863","insert":None},{"searchSection":"categoryAndTypologySearch","type":"categoryAndTypologyAdvancedSearch","isActiveFilter":True,"category":"News","typology":None},{"searchSection":"transcriptionSearch","type":"transcriptionAdvancedSearch","isActiveFilter":False,"transcription":""},{"isActiveFilter":False,"searchSection":"synopsisSearch","type":"synopsisAdvancedSearch","synopsis":""},{"searchSection":"placesSearch","type":"placesAdvancedSearch","isActiveFilter":False,"places":[]},{"searchSection":"peopleSearch","type":"peopleAdvancedSearch","isActiveFilter":False,"people":[]},{"searchSection":"topicsSearch","type":"topicsAdvancedSearch","isActiveFilter":True,"topics":[{"topicTitle":"Place Index","topicId":"51","placeAllId":""}]},{"searchSection":"dateSearch","type":"dateAdvancedSearch","isActiveFilter":False,"dateFilterType":"","dateYear":"","dateMonth":"","dateDay":"","dateBYear":"","dateBMonth":"","dateBDay":""},{"searchSection":"documentOwnerSearch","type":"documentOwnerAdvancedSearch","isActiveFilter":False,"editType":"owner","account":""},{"searchSection":"languagesSearch","type":"languagesAdvancedSearch","isActiveFilter":False,"languages":[]}]
headers = {'Content-type': 'application/json', 'Accept': '*/*'}
r = requests.post(url, data=json.dumps(payload), headers=headers, auth=('LOGIN','PASSWORD'))

Byt ut LOGIN och PASSWORD mot dina egna inloggningsuppgifter.

Skriv svaret till fil

with open('response.json', 'wb') as fd:
 for chunk in r.iter_content(chunk_size=128):
 fd.write(chunk)

Öppna JSON-filen

f = open('response.json', encoding="utf8")

Returnera JSON-objektet som en dictionary

json_complete = json.load(f)

Välj ut data ur JSON-filen och skriv ut dem i CSV-format

with open('results.csv', 'w', newline='') as csvfile:
 fieldnames = ['documentId', 'placeCited', 'documentDate']
 writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
 writer.writeheader()
 for i in json_complete['data']:
 if i['topics'] != None:
 for x in i['topics']:
 documentId=x['documentId']
 placeCited=x['topicPlaceName']
 year=i['date']['docYear']
 month=i['date']['docMonth']
 day=i['date']['docDay']
 documentDate=str(year)+ "-" + str(month)+"-" + str(day)
 writer.writerow({'documentId': documentId, 'placeCited': placeCited, 'documentDate': documentDate})

När du har laddat ner filen results.csv kan du städa data enligt anvisningarna ovan.

Visualisera handskrifter 2 (uppdatering)

Sat, 20 Nov 2021 16:00:00 +0000

Som utlovat: en ny version av den interaktiva treemap som presenterades i ett , den här gången med två visningslägen.

Obs

För bästa visning, se till att webbsidan är i ljust läge (klicka på månikonen uppe till höger).

Group folios by category

En visuell bläddrare för arkivet

Sun, 20 Jun 2021 16:00:00 +0000

Problemet

Digitala utgåvor lider av en paradox: de gör visserligen svåråtkomliga dokument tillgängliga för en bredare allmänhet, men förlusten av sinnesintryck som dematerialiseringen för med sig tenderar att desorientera läsarna och rentav avskräcka dem från att ge sig i kast med innehållet. Att navigera i väldiga dokumentsamlingar blir rätt omständligt och avskräckande. Det gäller inte bara ovana arkivanvändare utan också läsare med kognitiva funktionsnedsättningar.

Lösningen

Här kan arkivens metadata hjälpa oss. Sådana data låter oss nämligen skapa interaktiva visuella abstraktioner som ger läsaren ett alternativt sinnesintryck och därmed förbättrar både ergonomi och tillgänglighet. För att göra arkivet visuellt navigerbart duger en treemap, eller vilket diagram som helst som effektivt bryter ner hierarkiska data.

Experimentet

Mitt första experiment anpassar koden för i D3.js och lägger till hyperlänkar. Diagrammet representerar handskriften BnF Ms Fr 640, dess folier och posterna på varje folio. Färgerna står för den dominerande kategorin. Mer data visas när man håller muspekaren över en post, däribland hyperlänken till handskriften.
Så blir treemappen ett interaktivt visuellt register som ger läsaren en mycket snabb och responsiv överblick, inte bara över handskriftens innehåll utan också över hur omfångsrika varje folio och varje post är.
~~Under de kommande månaderna fortsätter jag att experimentera med idén och pröva andra diagram och andra hierarkier … Håll utkik!~~ En ny version av treemappen hittar du .

Obs

För bästa visning, se till att webbsidan är i ljust läge (klicka på månikonen uppe till höger).

Click any cell to zoom in, or the top to zoom out.

Arkivet i ett ögonkast

Mon, 24 May 2021 16:00:00 +0000

Problemet

Historiska arkiv kan vara skrämmande röriga. Mediceo del Principato i är ett typexempel. Bara en liten del av beståndet är inventerad, och många dokument ligger utspridda över mer än 6 500 volymer utan synbar anledning. Till råga på allt får man bara beställa fram ett begränsat antal volymer (eller filze, buntar, som de kallas där). I normala tider är gränsen 4 filze per dag. Under pandemin har den sjunkit till 4 varannan vecka. I brist på detaljerade inventarier tvingar arkivets väldiga omfång forskaren att hitta på strategier för att snabbt lokalisera de dokument hen söker.

Lösningen

Somliga litar till slumpen, andra försöker göra kvalificerade gissningar utifrån kronologi, mottagare, avsändare, arkivbeståndets ursprung, språk osv. Att se alla dessa variabler på en gång kan dock avslöja oväntade mönster i arkivets struktur och vässa våra gissningar. Min erfarenhet är att de metadata forskare brukar samla i ett kalkylark avsevärt skärper överblicken i arkivet, bara man ritar upp dem i diagram.

Experimentet

Min nuvarande forskning gäller korrespondensen från en spion på 1500-talet. Hans brev är utspridda över hundratals filze. De är skrivna under olika identiteter, till olika och ibland oväntade adressater, från olika platser osv. För att hitta de filze som med störst sannolikhet innehåller de brev jag väntar mig har jag byggt en instrumentpanel, en interaktiv webbapplikation för datavisualisering ( ) som kopplar samman alla slags data, däribland geografisk och kronologisk information, med ett hierarkiskt diagram ( ) över arkivbeståndet. Panelen visar mig i ett ögonkast vad som redan hittats och hur mycket det motsvarar, och ger mig en ungefärlig bild av var jag skulle kunna leta efter nya brev. Klickar jag dessutom på enskilda variabler uppdateras alla diagram och visar specifika samband.

Nästa steg

Kanske viktigare är att panelen kan återanvändas som ett visuellt register. När den kritiska utgåvan av breven publiceras på nätet kommer panelen att fungera som en alternativ ingång, där läsarna kan bläddra i materialet. Av sekretesskäl kan jag för närvarande bara visa en maskad skärmbild, men den fullständiga panelen släpper jag nästa år. Under tiden kommer en prototyp snart att finnas tillgänglig. Håll utkik!

Att visualisera semantisk uppmärkning i BnF Ms. Fr. 640

Sun, 20 Dec 2020 18:15:00 +0000

Översikt

Datarika vetenskapliga utgåvor rymmer värdefulla redaktionella annotationer som man kan extrahera, analysera och visualisera för alla möjliga forskningsändamål. Så är fallet med , som utkom 2020 och vars metadatafil kan laddas ner från projektets GitHub-repo. I det här inlägget visar jag hur man samlar alla dessa variabler i en korrelationsmatris och visualiserar dem på olika sätt.

Data

Making and Knowing Project genererar ett kalkylark med uppdaterad information om handskriftens innehåll: entry_metadata.csv. Filen kan hämtas från Making & Knowings . Alternativt kan man generera skräddarsydda .csv-filer med mer uppmärkning tack vare Matthew Kumars utmärkta , en Python-version av BnF Ms. Fr. 640.

Förbered Python

Vi använder Pandas för att bearbeta data, Matplotlib och seaborn för värmekartorna och slutligen NetworkX för att bygga korrelationsbaserade nätverk.
För den här typen av variabler undviker vi Pearsons metod och använder i stället 𝜙𝐾-metoden. Se till att du denna korrelationsmetod och PhiK, dess motsvarande bibliotek.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

Förbered data

Först laddar vi ner utgåvans senaste metadatafil från mappen metadata i deras . Vi väljer bara ut de kolumner vi behöver. I den här demonstrationen tar jag alla semantiska taggar ur den engelska översättningen tl, men du kan lika gärna välja taggar ur den franska transkriptionen tc eller den normaliserade versionen tcn. Data levereras som semikolonseparerade värden, och vi behöver Python för att räkna dem åt oss. Därför använder vi stack–unstack-metoden med det reguljära uttrycket [^;\s][^\;]*[^;\s]*. För att göra matrisen mer lättläst döper vi om varje kolumn. Har du bråttom kan du hoppa över det steget; kom bara ihåg att vår dataframe i det här skedet heter tagsrn.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

Korrelera

När dataframen är ren kan vi gå vidare och beräkna korrelationskoefficienterna mellan varje par av variabler. Det är viktigt att man i det här skedet förstår sina data och ser till att använda den lämpligaste korrelationsmetoden. Paketet pandas-profiling är särskilt användbart för det.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag är vår korrelationsmatris. Nu kan vi pröva olika typer av visualisering.

Visualisera

Det första vi kan pröva är att visa matrisen som en färgkodad matris med modulen i seaborn.

Korrelationsvärmekarta

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

Känner du texten väl ser du genast att värmekartan är högst rimlig. Namn är t.ex. starkt korrelerade med latin, eftersom det var brukligt, särskilt bland 1500-talets humanister, att latinisera dem.

Somliga kanske invänder att värmekartan bara slår in öppna dörrar. De har inte helt fel, och vid första anblicken ser de medicinska taggarna ut som ett skolexempel: de korrelerar som väntat med kroppsdelar, mått och växter.

Men läser vi värmekartan noggrannare, rad för rad, hittar vi kanske några intressanta och oväntade samband. Att de medicinska taggarna korrelerar med italienska och latinska ord ger oss t.ex. ledtrådar om varifrån de medicinska recepten i Ms. Fr. 640 kommer. På samma sätt visar sambandet mellan yrken, definitioner och mått hur starkt yrkesidentiteten strukturerar 1500-talets tekniska diskurser.

Korrelationsklusterkarta

Värmekartor är bra i ”utforskande” sammanhang, men de kan se lite röriga ut för din publik, särskilt om du diskuterar – eller fortfarande letar efter – specifika semantiska kluster i handskriften. Seaborns modul clustermap kan ge intressanta resultat.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

Förutom att likna en pixlad (jo, ordet står i ordboken) insekt skiljer klusterkartan tydligt isolerade taggar (upptill och till vänster) från dem som hänger ihop mer. Vi urskiljer också isolerade kluster, som musik och poitevin (vem kunde ana!), från mer centrala som mått, material, definitioner och vapen. Yrkena hänger ihop med fler, men ingår, åtminstone i just denna korrelationsmatris, inte i något särskilt kluster.

Korrelationsnätverk

Vill vi sammanfatta korrelationerna i matrisen ännu mer erbjuder nätverksgrafer en elegant lösning. Det gäller särskilt när vi vill kommunicera om handskriftens innehåll.
För det måste vi omvandla matrisen till en lista över kanter och noder och sätta ett tröskelvärde som rensar bort de svagare korrelationerna ur grafen.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

Blir det för många kanter och noder kan du alltid ändra tröskelvärdet för att få ett renare resultat. Annars kan du exportera grafen och leka vidare med den i Gephi, med funktionen .write_gexf().

nx.write_gexf(G, 'graph.gexf')

Resultatet ser du i början av inlägget.

Uppdatering: cirkulärt viktat nätverk

Jag letade efter sätt att visa korrelationsmatriser som viktade nätverk och hittade det här intressanta angreppssättet , vilket jag här anpassar till vår datamängd.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

När vi väl har tagit bort några kanter kan vi bestämma deras färg och tjocklek.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

Vi ger också noderna en storlek som står i proportion till antalet förbindelser.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

Resultatet är en viktad graf som rymmer fler noder och betydligt fler kanter men ändå förblir läsbar och informativ.