Note |

Il recinto, non il rogo

Sun, 06 Sep 2026 00:00:00 +0000

In un capannone di North Las Vegas, Amazon fa girare una macchina che taglia il dorso ai libri usati. I fogli sciolti passano nello scanner, poi la carta va al macero. Il ha paragonato l’operazione a un rogo di libri dei nostri giorni, senza risparmiarsi un solo luogo comune: Savonarola, foto di repertorio di volumi dall’aria antica e, si capisce, la pira di Berlino. I giornali seri, com’era prevedibile, hanno tenuto un tono più freddo, ma hanno lasciato aleggiare lo stesso paragone. E per quanta indignazione sfoggino, con l’industria dell’IA questi articoli hanno usato il guanto di velluto. Chi controllerà il sapere che passa sotto lo scanner? La domanda dovrà attendere che ci siamo tolti di mezzo la sciocchezza del rogo.

Uno scanner non è un rogo

Distruggere una copia non basta a fare della scansione distruttiva l’equivalente moderno dei falò di Savonarola o dei roghi nazisti. Quegli atti traevano il loro senso da ciò che veniva condannato, e dal perché. Il povero frate, trascinato in ogni polemica sui libri bruciati, chiedeva alla gente di dare alle fiamme una parte dei propri beni come penitenza pubblica. I roghi nazisti mettevano in scena un ripudio d’altro genere: bruciare i libri in piazza voleva dire che i loro autori non avevano posto nella vita culturale tedesca. In entrambi i casi la distruzione era un gesto, una rappresentazione. La scansione distruttiva, metodo corrente nella digitalizzazione, serve a tutt’altro: si sacrifica la copia per salvarne il contenuto. Il libro è distrutto; il testo è smaterializzato. Chi tira in ballo Fahrenheit 451 farebbe bene a ricordare che i pompieri di Bradbury non mettevano da parte il testo per dopo.

ha alimentato l’allarme mettendo «libri rari» nel titolo, e le altre testate hanno ripetuto la formula a pappagallo. Eppure un libraio citato nella stessa inchiesta ha spiegato che quegli ordini all’ingrosso : il che rimanda per lo più a edizioni uscite dopo l’introduzione dell’ISBN, attorno al 1970. Roba da bancarelle e mercatini dell’usato, che al prossimo sgombero di cantina finirebbe in discarica. Prima di proclamare la catastrofe culturale, si potrebbe dare un’occhiata al catalogo di una biblioteca: sono esattamente le pubblicazioni che le biblioteche di deposito legale esistono per conservare. Un ISBN, si capisce, non garantisce che la copia di deposito sia sopravvissuta; ma neppure la rarità sul mercato dell’usato prova che un testo sia scomparso.

Il macero distrugge la copia fisica, dediche e note a margine comprese. Gli esemplari con annotazioni o provenienze di rilievo storico meritano di essere individuati e messi al sicuro, possibilmente prima che finiscano sul mercato dell’usato. Ci si può inquietare anche per l’assottigliarsi delle copie fisiche dei titoli fuori catalogo; ma allora bisogna chiedersi perché i titolari dei diritti non li ristampino, né autorizzino l’accesso ai facsimili digitali che già esistono. Gli studiosi conoscono la scena: Google Books trova il passo che vi serve e poi vi offre un frammento di un libro che non potete né comprare nuovo né leggere in rete. Ci sono, qui, perdite di cui vale la pena discutere. Ma non trasformano uno scanner in un rogo nazista.

L’editoria, intanto, manda al macero gli invenduti da sempre, come normale routine. Nella sola Francia si stima che nel 2023 siano state , circa il 60 per cento delle rese ai distributori. Si chiama gestione delle scorte. Le copie in eccesso e i titoli usati ormai rari pongono questioni di accesso diverse; ma distruggere carta non è, di per sé, né censura né tirannia.

Più libri, IA migliore?

Che le aziende di IA comprino e scansionino libri è, a ben vedere, una buona notizia. Una tecnologia rimproverata di continuo per la sua presa superficiale sulla cultura umana ne sta acquisendo di più; ci si sarebbe aspettati che gli studiosi ne fossero contenti.

Il web è un surrogato scadente della memoria scritta di una lingua. Gran parte di ciò che una lingua ha registrato – romanzi e memorie, canzoni popolari, conversazioni trascritte – non è mai passato dalla carta alla rete, e molti di quei libri sono sopravvissuti ai loro editori. Portarli nei dati di addestramento conta soprattutto dove non c’è quasi altro. Qualche libro in più in inglese porterà miglioramenti al margine; in una lingua poco rappresentata, gli stessi libri possono fare la differenza fra un sistema utilizzabile e uno inservibile. Se questi strumenti abbiano posto nei servizi pubblici o nella vita di tutti i giorni è materia di dibattito pubblico. Ma dovunque scegliamo di usarli, dovremmo poterlo fare nella nostra lingua.

Gli ordini segnalati in Spagna e nei Paesi Bassi rendono concreta la posta linguistica. A maggio ha raccontato di un libraio di Badalona che riceveva ordini a ripetizione, soprattutto di saggistica in catalano: libri di storia, manuali tecnici, vecchi atti di convegno. Ad agosto la stampa olandese riferiva di una richiesta a De Slegte di . La lingua dei libri merita almeno tanta attenzione quanto la sorte delle loro rilegature. Forse è chiedere troppo al Daily Mail; ma perfino i giornali più sobri hanno avuto poco da dire sulle lingue in gioco.

Anche gli accordi di licenza con i grandi editori possono fornire materiale prezioso, ma i loro cataloghi digitali coprono solo una frazione di quanto è uscito a stampa. I libri mai digitalizzati, o di cui l’editore non detiene più i diritti, restano fuori dall’offerta. Nemmeno la licenza più generosa può tener luogo della storia dell’editoria, e tanto meno della storia di una cultura. Comprare copie usate è un modo per scavalcare quei confini commerciali.

«Furto» non è un argomento

Nemmeno gridare al «furto» aiuta. Nel giugno 2025 due tribunali distrettuali statunitensi hanno stabilito che, nei casi loro sottoposti, usare libri per addestrare modelli linguistici rientrava nel fair use. In la corte ha insistito sul carattere trasformativo dell’addestramento: i libri servivano a costruire un sistema capace di produrre espressione nuova. I modelli possono memorizzare dei passi, ma usare un libro per l’addestramento non rende l’intero testo recuperabile a comando. D’altra parte, l’assenza di riproduzione letterale non liquida ogni obiezione: in il giudice ha avvertito che le opere generate dall’IA potrebbero inondare il mercato, e che la prova di un danno del genere potrebbe far cadere la difesa fondata sul fair use; solo che quei querelanti non avevano portato prove significative di un simile danno alle proprie opere. Nessuna delle due sentenze concede alle aziende di IA un lasciapassare, né chiude la disputa etica. Ci obbligano piuttosto a distinguere come i libri vengono acquisiti, come le copie vengono conservate e che cosa l’addestramento ne fa. Chiamare tutto questo «furto» lascia quelle domande senza risposta.

Per inciso, la sentenza Anthropic fornisce alla ghigliottina la sua ragion d’essere. La corte ha convalidato la digitalizzazione delle copie acquistate e ha bocciato l’accumulo di libri piratati in una biblioteca permanente, per il quale l’azienda ha poi . La digitalizzazione è passata anche perché ogni copia a stampa veniva distrutta nella conversione: la copia digitale la sostituiva, e non usciva dall’azienda. La distruzione che tanto indigna ha aiutato Anthropic a far riconoscere il suo programma di digitalizzazione come fair use. Comprare, scansionare e buttare era, in quel caso, la via legale: la ghigliottina è qui uno strumento di conformità alla legge. Comprare copie può risolvere il problema dell’acquisizione; ma non dà a nessuno, di per sé, il permesso di condividere il corpus che ne risulta.

Ci sono buone ragioni per volere un’IA che attinga a più lingue, a più ricerca, a più di quel mondo che esisteva prima di internet. E non svaniscono perché un’azienda che ci sta antipatica ci ha visto un affare.

Indignazione di seconda mano

Torniamo dunque al Daily Mail. Il suo articolo rientra in , una campagna di editori di giornali e di libri che chiedono per l’IA . Due comode sostituzioni fanno tutto il lavoro: Big Tech sta per l’IA, e i titolari dei diritti stanno per la creatività britannica. Il lettore è invitato a difendere la cultura mentre gli editori ne contrattano il prezzo di vendita. Gli studiosi che rilanciano la notizia potrebbero chiedersi a quale causa stia servendo la loro indignazione.

Big Tech e i bisticciano sull’affitto, ma nessuno dei due ha nulla da ridire sul recinto. La favola dell’autore solitario derubato dal gigante tecnologico nasconde ciò che le licenze costose offrono a entrambi gli schieramenti: gli editori incassano, e Big Tech ottiene un mercato in cui i concorrenti più piccoli non possono permettersi di entrare. Peter Thiel ha espresso la preferenza della Silicon Valley con maggiore franchezza: .

Le licenze non devono per forza finire così. Un accesso a prezzi abbordabili e non esclusivo potrebbe aiutare gli sviluppatori più piccoli. Ma un sistema che obbliga ogni nuovo arrivato a trattare accordi costosi con i grandi titolari dei diritti trasforma il potere d’acquisto in biglietto d’ingresso. Un pagamento presentato come concessione alle industrie culturali finisce per comprare protezione dai concorrenti di domani.

L’IA non appartiene a Big Tech

C’è una questione più di fondo. Troppa critica dell’IA scambia i suoi maggiori fornitori commerciali per l’intero campo. I prodotti occupano i titoli; la ricerca e lo sviluppo fuori da quelle aziende spariscono dalla vista. Big Tech non potrebbe desiderare equivoco più comodo: la sua ambizione di possedere il campo diventa la premessa della critica che le si rivolge. Il monopolio non è ancora cosa fatta; trattarlo come tale è un enorme favore reso a quelle aziende.

L’IA open source permette di costruire e adattare sistemi che rispecchino una maggiore varietà di lingue, culture e forme d’espressione. Per i paesi d’Europa, d’Africa e d’America Latina, come per la Corea del Sud, il Giappone e l’India, è una base concreta di sovranità tecnologica e culturale: poter decidere come funzionano i sistemi, quali lingue servono e dove si usano. Se usare l’IA, e per quali fini, dovrebbe restare una scelta pubblica, non una decisione dettata dalla dipendenza da un fornitore straniero.

Ma la libertà di modificare un sistema vale poco senza i mezzi per farlo. Il lavoro indipendente ha bisogno di competenze, di infrastrutture di calcolo e di accesso al materiale di addestramento. E qui si torna ai libri. Se ogni gruppo di ricerca o istituzione pubblica deve negoziare da sé i propri accordi con gli editori, o mettere insieme una biblioteca privata, l’indipendenza resta un privilegio di chi può pagarsela.

I libri ci sono già

Biblioteche e archivi hanno impiegato generazioni a raccogliere il materiale di cui questi sistemi hanno bisogno. Le loro collezioni esistono perché l’accesso al sapere deve durare più dell’interesse commerciale a venderlo. Molto è già stato scansionato: custodisce circa diciannove milioni di volumi digitalizzati provenienti da biblioteche di ricerca, molti ancora sotto diritto d’autore. Una biblioteca scansiona un libro e lo tiene: nessuno, lì, ha bisogno di una ghigliottina. HathiTrust , ma ha anche annunciato , un progetto per dare accesso ai corpora alla ricerca e allo sviluppo non commerciali sull’IA. Un accesso a quelle condizioni lascerebbe comunque fuori una parte degli sviluppatori indipendenti.

Possedere i libri, però, non dà a una biblioteca il diritto di distribuirne i contenuti protetti come corpus di addestramento. Il consente a istituti di ricerca e biblioteche di estrarre testo e dati dalle opere cui accedono legalmente, a fini di ricerca scientifica, e ammette un’estrazione più ampia dove i titolari non si siano riservati i diritti. La : la sua eccezione copre la ricerca non commerciale e limita il trasferimento delle copie. Nessuno dei due ordinamenti dà alle biblioteche un diritto generale di condividere i propri fondi protetti perché altri vi costruiscano sopra.

Si potrebbe anche ripensare per quanto tempo i titolari dei diritti debbano controllare gli usi computazionali dei libri. I brevetti farmaceutici offrono un termine di paragone: la loro durata normale di vent’anni è ben più breve della protezione del diritto d’autore, che dura tutta la vita dell’autore e settant’anni oltre. I libri potrebbero diventare disponibili per l’estrazione di testo e dati, senza licenze a pagamento, dopo – poniamo – vent’anni dalla prima pubblicazione, mentre i diritti di ripubblicazione e di vendita restano protetti? Tutelare il diritto di un autore a vendere il proprio libro non deve per forza significare controllare per generazioni ogni uso che se ne può fare.

Due anni fa, su , ho sostenuto che i dati del patrimonio culturale vanno trattati come un bene pubblico. I governi dovrebbero finanziare biblioteche e archivi perché digitalizzino, trascrivano e documentino le loro collezioni, e dar loro l’autorità legale di mettere i corpora così ottenuti a disposizione di chi voglia costruirvi sopra. Big Tech potrebbe contribuire al conto con un prelievo dedicato.

Il finanziamento pubblico dovrebbe accompagnarsi a politiche di raccolta e regole di accesso pubblicate, valide per il lavoro accademico come per quello commerciale, senza accordi esclusivi né corsie preferenziali per i donatori. Accesso per l’addestramento non significa per forza ridistribuzione illimitata dei libri protetti. Gli autori dovrebbero partecipare al disegno dello schema pubblico, compreso il modo in cui affronta consenso, remunerazione e concorrenza con le loro opere. L’accesso gratuito per gli utenti non esclude una remunerazione degli autori a carico dello Stato: il , che paga gli autori con fondi pubblici quando i loro libri vengono presi in prestito, è già un precedente. Il rogo non è mai stato la notizia. La notizia è il recinto.

Cari direttori: se volete la mia voce, ridatemi la mia lingua

Thu, 27 Aug 2026 00:00:00 +0000

Non passa giorno senza che una rivista strombazzi la propria politica sull’IA. Stavolta tocca a Progress in Human Geography, i cui direttori hanno pubblicato in cui avvertono che servirsi dell’IA in sostituzione della propria lettura, del proprio pensiero e della propria scrittura è «una violazione dell’etica accademica assimilabile al plagio». Gli articoli colti in fallo «potranno essere ritirati»; nel migliore dei casi saranno corretti, con tanto di avviso stampato sulla rivista. Gli autori, aggiungono i direttori, farebbero bene a «ponderare con cura se desiderano che il loro nome sia associato a ritiri e avvisi di correzione».

Quella frase merita che ci si fermi un momento. La ritrattazione è la sanzione massima dell’editoria accademica, la pena riservata di norma alla fabbricazione dei dati e alla frode. Qui viene agganciata a un’infrazione che lo stesso editoriale non riesce a definire. Esistono, ammettono i direttori, «autentiche zone grigie» e «nessuna linea netta che delimiti la zona dell’“irresponsabilità”». L’applicazione della regola poggerà su «giudizi discrezionali che potrebbero scontentare qualche autore, il quale sosterrà di non aver fatto un uso improprio dell’IA»: la vostra dichiarazione, in altre parole, potrà essere scavalcata. Segue il consiglio di restare «al sicuro nella zona della “responsabilità”»; e si raccomanda la sicurezza soltanto dove c’è un pericolo. Punire chi oltrepassa una linea che si confessa di non saper tracciare ha senso solo se si vuole regnare con la paura. Tenetelo a mente: ci torneremo.

Il pretesto della voce

Che cos’è, allora, un uso responsabile? Agli autori si dice che «occorre grande cura … per conservare la propria voce». L’abuso è ricorrere all’IA «per scrivere in una lingua che gli autori non impiegherebbero mai normalmente». Per un madrelingua il precetto fila: non fingere di essere ciò che non sei. Ma per lo straniero costretto a scrivere in una lingua non sua, l’ingiunzione si morde la coda. La voce che la politica dice di proteggere è esattamente ciò che le regole della rivista ci negano.

Prendete me come banco di prova. L’inglese è la mia quarta lingua: proprio il genere di lingua che non impiegherei mai «normalmente». Le università anglofone mi hanno addestrato a scriverlo corto, segnaletico, quasi meccanico: la frase-tema in apertura, le attenuazioni nei punti prescritti, i connettivi presi dalla lista approvata. L’addestramento ha funzionato: nel mio inglese non c’è mai stata una voce da proteggere; è stata la prima cosa a dover sparire. Stando alla definizione dei direttori, tutto ciò che ho scritto in inglese è uso improprio, con o senza macchina.

Presi in tenaglia

I direttori dicono di aver pensato a noi: la politica riconosce che chi non è madrelingua trae vantaggio dall’IA che gli corregge l’inglese, e perfino dai suoi «servizi di traduzione, scrittura e revisione». Eppure il contributo dell’IA alla scrittura «dovrebbe limitarsi, al più, a un aiuto nella revisione e nella correzione delle bozze», senza arrivare a «grandi porzioni di testo scritto dall’IA». Ora, un articolo tradotto a macchina è scritto dall’IA dalla prima all’ultima parola: non è fatto d’altro che di simili porzioni. La concessione regge dunque soltanto se tradurre non è scrivere. E dove passa quella linea? Ce l’hanno già detto: «nessuna linea netta».

C’è di peggio, perché il sospetto non è soltanto infalsificabile: è truccato. Nel 2023 un gruppo di Stanford ha messo alla prova sette rilevatori di IA di largo uso su saggi scritti da esseri umani: in media, i rilevatori hanno bollato come prodotto della macchina il 61% dei saggi TOEFL di non madrelingua, mentre classificavano quasi senza errori quelli dei madrelingua; uno di essi ha segnalato il 97,8% del corpus TOEFL ( ). La ragione è istruttiva. I rilevatori misurano la prevedibilità, e l’inglese di chi lo ha imparato come seconda lingua, addestrato verso la media, è prevedibile per costruzione: la parola più probabile nell’ordine più probabile. Lo stesso studio ha ritrovato il segnale nella produzione scientifica vera e propria, con una minore variabilità linguistica negli articoli di convegno il cui primo autore non è madrelingua. Gli indizi stilistici che «sanno di IA» sono gli indizi di un buon inglese da seconda lingua, e un giudizio umano, per quanto discrezionale, legge gli stessi indizi della macchina. La tenaglia è chiusa: se scrivo il mio inglese sembro una macchina; se uso la macchina infrango la loro regola.

La tassa sulla lingua

Il paradosso sarebbe innocuo se non fosse accompagnato da minacce. Ma le minacce portano alla luce un problema più profondo e più antico, che la politica non nomina mai: il monolinguismo. Le chiedono «la più ampia copertura internazionale possibile» e, nella stessa pagina, avvertono che «la lingua della rivista è l’inglese».

Il costo di questo assetto non è ipotetico. Intervistando 908 scienziati ambientali, Amano e colleghi hanno rilevato che i non madrelingua impiegano fino al 51% di tempo in più per scrivere un articolo, se lo vedono respingere 2,5 volte più spesso e ricevono richieste di revisione 12,5 volte più spesso, per ragioni puramente linguistiche ( ). Questa tassa si paga prima che arrivi qualsiasi politica sull’IA; il modulo di dichiarazione e le sue minacce sono una verifica fiscale in più.

Fin d’empire

Il monolinguismo è l’assioma di cui nessuno discute. È un’eredità imperiale che col tempo si è data una giustificazione pratica: la traduzione era lenta e costosa, e nessun comitato poteva valutare ciò che non sapeva leggere. Ma nulla di tutto questo sopravvive ai progressi della traduzione automatica, che allo stato dell’arte può fare da strato affidabile fra autori e direttori.

La via d’uscita ideale è umana: gli studiosi dovrebbero leggere più di una lingua. Le università anglofone preferiscono invece chiudere i dipartimenti di lingue moderne. Si noti che le chiusure sono un fenomeno angloamericano: altrove gli studiosi non hanno mai avuto il lusso del monolinguismo. E si noti il momento. Chiudere un dipartimento di lingue è fare una scommessa: che l’inglese abbia vinto per sempre, e che nulla che valga la pena di leggere verrà mai più scritto in un’altra lingua. Una scommessa fatta nel momento sbagliato, e per due ragioni. Primo, perché la traduzione automatica rende possibile, per la prima volta, fare a meno di una lingua franca; secondo, perché l’ordine che ha fatto dell’inglese la lingua di default si sta ritirando: l’anglosfera si chiude in se stessa, la globalizzazione rifluisce, il libero scambio è contestato nelle sue stesse patrie e prende forma un mondo multipolare in cui le lingue che vale la pena di leggere si moltiplicheranno. Le università sfornano studiosi che leggono solo l’inglese per un mondo in cui l’inglese non basterà. E i comitati di redazione saranno i primi a pagarne il conto.

Una prova per i direttori

Quando un comitato di redazione lamenta di non riuscire a sentire la voce dei suoi autori, forse una parte del problema sta nel comitato.

È un’accusa seria, e viene con una prova altrettanto seria. Progress in Human Geography manderebbe ai revisori un articolo scritto in francese, in italiano o in giapponese, accompagnato da una versione inglese tradotta a macchina? Le stesse norme della rivista riconoscono i servizi «di traduzione» che lo renderebbero possibile. Un sì chiude la questione. Un no ci direbbe che cosa la politica protegge davvero.

In un caso come nell’altro, la scelta spetta ai direttori. Se la voce conta, come sostengono, la rivista accetti gli articoli nelle lingue in cui gli autori pensano. Se non conta, via il modulo di dichiarazione, e con esso le minacce.

Una geografia percettiva del Levante

Sat, 29 Oct 2022 10:02:52 -0500

Introduzione

Il Levante è un luogo che sfugge. Lo si definisce quasi sempre in rapporto – o in contrapposizione – a un altro territorio, e il suo significato è stato di rado stabile: evoca geografie diverse a seconda del luogo e del momento in cui la parola viene usata. Se però una definizione oggettiva e precisa è difficile da formulare, si può almeno tentare una mappa soggettiva di quella regione, fondata sulle correlazioni interne a un dato corpus di testi. In altre parole: quale spazio evocava il Levante per un determinato gruppo di lettori?
In questo post mostro come usare i dati della del Medici Archive Project per visualizzare i luoghi a cui il toponimo era associato.

La banca dati MIA

MIA è una piattaforma collaborativa per gli studiosi che vogliono caricare e condividere le proprie fotografie di documenti dell’ . Nell’ultimo anno, col patrocinio del , il nostro gruppo ha fotografato, trascritto, riassunto e classificato migliaia di documenti della sezione degli avvisi del fondo Mediceo del Principato. La banca dati non nasce per l’analisi statistica; ma i metadati che abbiamo reso disponibili si possono scaricare e usare come veri e propri insiemi di dati.

L’insieme di dati

Nel nostro caso, l’insieme di dati che ho costruito raccoglie tutte le notizie «dal Levante» fra il 1543 e il 1566, cioè dal primo avviso registrato nell’archivio fino all’anno della morte del sultano . Ecco un campione di quanto ho estratto dal server: tre colonne, con il numero univoco del documento, un nome di luogo e una data.

57386 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57386 Modon / Messinias, Nomos / Peloponnisos / Ellas 1565-1-3
57386 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57386 Evvoia / Evvoias, Nomos / Sterea Ellas-Evvoia / Ellas 1565-1-3
57386 Venetian Republic / Italia / Europe / World 1565-1-3
57386 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57386 Black Sea / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Otranto / Lecce / Puglia / Italia 1565-1-3
57389 Nisoi Aiyaiou / Ellas / Europe / World 1565-1-3
57389 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57389 Buda / Budapest / Budapest / Magyarorszag 1565-1-3
57389 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57389 Kipros / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Rodhos / Rodos, Nisos / Sporadhes / Nisoi Aiyaiou 1565-1-3
57389 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57389 Çorlu / Thraki / Ellas / Europe 1565-1-3

Ripulire i dati

Per visualizzarli, i dati vanno resi leggibili come csv (valori separati da virgola), e l’informazione geografica va convertita in un formato più digeribile per la macchina: le coordinate GPS. Trattandosi di centinaia di voci, conviene automatizzare. Lo si fa abbastanza in fretta, e con buona precisione, con modelli linguistici pre-addestrati come , o , per citarne solo alcuni; ma l’operazione va sorvegliata da vicino, perché questi modelli hanno una certa propensione ad allucinare.

documentId,latitude,longitude,documentDate
57386,35.899167,14.514167,1565-1-3
57386,37.05,22.116667,1565-1-3
57386,31.200028,29.918719,1565-1-3
57386,38.366667,23.666667,1565-1-3
57386,45.438333,12.331333,1565-1-3
57386,41.018611,28.984444,1565-1-3
57386,42.7,18.8,1565-1-3
57389,40.216667,18.166667,1565-1-3
57389,37.966667,23.716667,1565-1-3
57389,35.899167,14.514167,1565-1-3
57389,47.4925,19.051389,1565-1-3
57389,31.200028,29.918719,1565-1-3
57389,34.916667,33.616667,1565-1-3
57389,36.405419,28.227778,1565-1-3
57389,41.018611,28.984444,1565-1-3
57389,41.133333,27.416667,1565-1-3

La mappa di densità

Una mappa di densità è una visualizzazione che mette in risalto la frequenza con cui un luogo viene citato in un insieme di dati. Serve a capire non soltanto l’estensione geografica dei propri dati, ma anche i loro punti focali. Quali luoghi ricorrono di più, e quali sono solo episodici? Dove sono i centri, e quanto è lontana la periferia? Su quale punto della mappa si concentrerebbe, con ogni probabilità, l’attenzione di un lettore?

Per questo esperimento – e perché avevo fretta – ho usato una delle API di . Ma molte librerie di visualizzazione e molti sistemi informativi geografici producono lo stesso tipo di mappa.

Qualche osservazione

Il risultato è più un quadro impressionista che la rappresentazione esatta di un concetto ben definibile; ed è proprio questo che mi piace dell’esperimento. Perché la scienza dei dati può essere una potente alleata delle discipline umanistiche, ma non siamo obbligati a giocare secondo le sue regole.

Un altro aspetto interessante: la mappa restituisce un Levante perfettamente integrato con il resto dell’Europa e del Mediterraneo. Mette in luce la centralità di Edirne nella geografia politica dell’Impero ottomano; e rivela che la città più rilevante della Spagna, sulla mappa, non è Madrid né l’Escorial, ma Napoli. Da ultimo, le isole e le piccole città-stato come Ragusa sembrano avere un ruolo importante di mediazione fra le potenze della regione.

Come richiedere i dati a MIA

MIA è uno strumento collaborativo eccellente, ma i dati che custodisce sui suoi server non sono facili da raggiungere: il back-end, per dire, non è pubblicato su alcun repository pubblico. Si possono comunque ottenere registrandosi a MIA e interrogando il server con Python.

Richiesta

url = "https://mia.medici.org/Mia/json/de/advancedsearch/advancedSearchResults/0/90/docYear/asc/?isNewsFeedSearch=False"
payload = [{"searchSection":"archivalLocationSearch","type":"archivalLocationAdvancedSearch","isActiveFilter":True,"repository":None,"collection":"Mediceo del Principato","series":None,"volume":"2863","insert":None},{"searchSection":"categoryAndTypologySearch","type":"categoryAndTypologyAdvancedSearch","isActiveFilter":True,"category":"News","typology":None},{"searchSection":"transcriptionSearch","type":"transcriptionAdvancedSearch","isActiveFilter":False,"transcription":""},{"isActiveFilter":False,"searchSection":"synopsisSearch","type":"synopsisAdvancedSearch","synopsis":""},{"searchSection":"placesSearch","type":"placesAdvancedSearch","isActiveFilter":False,"places":[]},{"searchSection":"peopleSearch","type":"peopleAdvancedSearch","isActiveFilter":False,"people":[]},{"searchSection":"topicsSearch","type":"topicsAdvancedSearch","isActiveFilter":True,"topics":[{"topicTitle":"Place Index","topicId":"51","placeAllId":""}]},{"searchSection":"dateSearch","type":"dateAdvancedSearch","isActiveFilter":False,"dateFilterType":"","dateYear":"","dateMonth":"","dateDay":"","dateBYear":"","dateBMonth":"","dateBDay":""},{"searchSection":"documentOwnerSearch","type":"documentOwnerAdvancedSearch","isActiveFilter":False,"editType":"owner","account":""},{"searchSection":"languagesSearch","type":"languagesAdvancedSearch","isActiveFilter":False,"languages":[]}]
headers = {'Content-type': 'application/json', 'Accept': '*/*'}
r = requests.post(url, data=json.dumps(payload), headers=headers, auth=('LOGIN','PASSWORD'))

Ricordate di sostituire LOGIN e PASSWORD con le vostre credenziali.

Scrittura della risposta su file

with open('response.json', 'wb') as fd:
 for chunk in r.iter_content(chunk_size=128):
 fd.write(chunk)

Apertura del JSON

f = open('response.json', encoding="utf8")

Conversione dell’oggetto JSON in dizionario

json_complete = json.load(f)

Selezione dei dati dal JSON e scrittura in formato CSV

with open('results.csv', 'w', newline='') as csvfile:
 fieldnames = ['documentId', 'placeCited', 'documentDate']
 writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
 writer.writeheader()
 for i in json_complete['data']:
 if i['topics'] != None:
 for x in i['topics']:
 documentId=x['documentId']
 placeCited=x['topicPlaceName']
 year=i['date']['docYear']
 month=i['date']['docMonth']
 day=i['date']['docDay']
 documentDate=str(year)+ "-" + str(month)+"-" + str(day)
 writer.writerow({'documentId': documentId, 'placeCited': placeCited, 'documentDate': documentDate})

Scaricato il file results.csv, potete passare alla pulizia dei dati come spiegato sopra.

Visualizzare i manoscritti 2 (aggiornamento)

Sat, 20 Nov 2021 16:00:00 +0000

Come promesso, ecco la nuova versione della treemap interattiva presentata in un : questa volta con due modalità di visualizzazione.

Nota

Per una resa migliore, impostate la pagina in modalità chiara (cliccate sull’icona della luna in alto a destra).

Group folios by category

Un navigatore visivo per l’archivio

Sun, 20 Jun 2021 16:00:00 +0000

Il problema

Le edizioni digitali vivono di un paradosso: rendono accessibili a un pubblico più ampio documenti reconditi, ma la perdita di stimoli sensoriali che accompagna la loro smaterializzazione tende a disorientare i lettori, e persino a distoglierli dal contenuto. Muoversi in vasti depositi di documenti diventa macchinoso, quando non intimidatorio; e non solo per chi è a digiuno di ricerca d’archivio, ma anche per i lettori con disabilità cognitive.

La soluzione

È qui che i metadati archivistici ci vengono in aiuto. Con essi si possono costruire astrazioni visive interattive che offrono al lettore uno stimolo sensoriale alternativo, a vantaggio insieme dell’ergonomia e dell’accessibilità. Per rendere l’archivio navigabile con gli occhi basta una treemap, o qualunque altro diagramma che scomponga con efficacia dati gerarchici.

L’esperimento

Il mio primo esperimento adatta il per D3.js, aggiungendovi i collegamenti ipertestuali. Rappresenta il manoscritto BnF Ms. Fr. 640, i suoi fogli e le voci di ciascun foglio; i colori indicano la categoria dominante, e passando il cursore su una voce compaiono altri dati, compreso il collegamento al manoscritto.
La treemap diventa così un indice visivo interattivo, che dà al lettore, in un colpo d’occhio, una panoramica non solo dei contenuti del manoscritto ma anche delle dimensioni di ciascun foglio e di ciascuna voce.
~~Nei prossimi mesi continuerò a sperimentare con questa idea, provando altri diagrammi e altre gerarchie… A presto!~~ Una nuova versione della treemap è .

Nota

Per una resa migliore, impostate la pagina in modalità chiara (cliccate sull’icona della luna in alto a destra).

Click any cell to zoom in, or the top to zoom out.

L’archivio a colpo d’occhio

Mon, 24 May 2021 16:00:00 +0000

Il problema

Gli archivi storici possono essere di un disordine che scoraggia. Il Mediceo del Principato dell’ ne è l’esempio perfetto: solo una piccola parte del fondo è inventariata, e molti documenti sono sparsi senza ragione apparente in più di 6.500 volumi. Come se non bastasse, l’archivio consente di consultare soltanto un numero limitato di volumi – o filze, come si dice a Firenze. In tempi normali il limite è di 4 filze al giorno; in tempo di pandemia è sceso a 4 ogni due settimane. In mancanza di inventari dettagliati, la mole dell’archivio obbliga chi vi fa ricerca a escogitare strategie per arrivare in fretta ai documenti che cerca.

La soluzione

C’è chi si affida al caso, e chi prova a fare congetture ragionate su cronologia, destinatari, autori, provenienza del fondo, lingua e via dicendo. Ma guardare tutte queste variabili insieme può far emergere regolarità inattese nella struttura dell’archivio e affinare le congetture. La mia esperienza dice che i metadati che i ricercatori raccolgono di solito in un foglio di calcolo, una volta messi in grafico, aiutano sensibilmente a orientarsi in archivio: si sa dove si è, e che cosa si sta cercando.

L’esperimento

La mia ricerca attuale verte sulla corrispondenza di una spia del Cinquecento. Le sue lettere sono disperse in centinaia di filze: scritte sotto identità diverse, a destinatari diversi e talvolta inaspettati, da luoghi diversi, e così via. Per individuare le filze in cui è più probabile trovarle, ho messo in piedi una dashboard, cioè un’applicazione web di visualizzazione interattiva dei dati ( ) che collega informazioni di ogni genere – geografiche, cronologiche – a un diagramma gerarchico ( ) del fondo archivistico. A colpo d’occhio la dashboard mi dice che cosa è già stato trovato, quanto pesa sul totale, e mi dà un’idea approssimativa di dove potrei cercare lettere nuove. Cliccando su una variabile, poi, tutti i diagrammi si aggiornano e mostrano le correlazioni corrispondenti.

Prossimi passi

Ma forse la cosa più importante è che la dashboard può trasformarsi in un indice visivo. Quando l’edizione critica delle lettere sarà online, farà da porta d’ingresso alternativa, da cui i lettori potranno esplorare i dati. Per ragioni di riservatezza al momento posso mostrare soltanto una schermata parzialmente oscurata, ma l’anno prossimo pubblicherò la dashboard completa; nel frattempo sarà presto disponibile un prototipo. A presto!

Visualizzare la marcatura semantica del BnF Ms. Fr. 640

Sun, 20 Dec 2020 18:15:00 +0000

Panoramica

Le edizioni critiche ricche di dati contengono annotazioni editoriali preziose, che si possono estrarre, analizzare e visualizzare per gli scopi più diversi. È il caso di , uscita nel 2020, che mette a disposizione il proprio file di metadati sul suo repository GitHub. In questo post mostro come raccogliere tutte quelle variabili in una matrice di correlazione e visualizzarle in più modi.

I dati

Il Making and Knowing Project produce un foglio di calcolo con informazioni aggiornate sul contenuto del manoscritto: entry_metadata.csv. Il file si scarica dal del Making & Knowing; in alternativa, si possono generare file .csv su misura, con più marcatura, grazie all’eccellente di Matthew Kumar, una versione Python del BnF Ms. Fr. 640.

Preparare Python

Useremo Pandas per la manipolazione dei dati, Matplotlib e seaborn per le heatmap, e infine NetworkX per costruire reti basate sulle correlazioni.
Con variabili di questo tipo eviteremo il metodo di Pearson e useremo invece il metodo 𝜙𝐾. Vi conviene su questo metodo di correlazione e su PhiK, la libreria corrispondente.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

Preparare i dati

Per prima cosa scarichiamo dal dell’edizione, nella cartella metadata, l’ultimo file di metadati. Terremo solo le colonne che ci servono. Per questa dimostrazione prendo tutti i tag semantici della traduzione inglese tl, ma potete scegliere anche quelli della trascrizione francese tc o della versione normalizzata tcn. I dati arrivano come valori separati da punto e virgola, e dobbiamo farli contare a Python: useremo il metodo stack-unstack con l’espressione regolare [^;\s][^\;]*[^;\s]*. Per rendere la matrice più leggibile rinominiamo ogni colonna. Se avete fretta potete saltare questo passaggio; tenete solo a mente che a questo punto il nostro dataframe si chiama tagsrn.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

Correlare

Pulito il dataframe, si passa a calcolare i coefficienti di correlazione fra le variabili. A questo punto è essenziale conoscere i propri dati e scegliere il metodo di correlazione più adatto; il pacchetto pandas-profiling è di grande aiuto.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag è la nostra matrice di correlazione. Possiamo ora provare vari tipi di visualizzazione.

Visualizzare

La prima cosa da provare è visualizzarla come matrice a colori, con il di seaborn.

Heatmap di correlazione

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

Se conoscete bene il testo, vedrete subito che la heatmap torna. I nomi di persona, per esempio, sono fortemente correlati al latino: era consuetudine, soprattutto fra gli umanisti del Cinquecento, latinizzarli.

Qualcuno obietterà che la heatmap non fa che dire l’ovvio. Non ha tutti i torti; e a prima vista i tag medici sembrano dargli ragione, dato che si correlano, com’era prevedibile, con parti del corpo, misure e piante.

Ma a leggere la heatmap con più attenzione, riga per riga, saltano fuori correlazioni interessanti e inattese. Che i tag medici siano correlati con le parole italiane e latine, per esempio, dice qualcosa sull’origine delle ricette mediche del Ms. Fr. 640. Allo stesso modo, la correlazione fra professioni, definizioni e misure mostra quanto l’identità professionale strutturi il discorso tecnico del Cinquecento.

Clustermap di correlazione

Le heatmap servono in fase «esplorativa», ma al vostro pubblico possono sembrare confuse, soprattutto se state discutendo – o ancora cercando – raggruppamenti semantici precisi nel manoscritto. Il modulo clustermap di seaborn può dare risultati interessanti.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

Oltre a somigliare a un insetto pixelato (sì, la parola è nell’OED), la clustermap separa nettamente i tag isolati (in alto e a sinistra) da quelli più interconnessi. Si distinguono anche raggruppamenti isolati, come musica e poitevino (chi l’avrebbe detto!), da altri più centrali come misure, materiali, definizioni e armi. Le professioni sono più interconnesse, ma non appartengono, almeno in questa matrice, a un raggruppamento particolare.

Rete di correlazione

Se vogliamo condensare ancora di più le correlazioni della matrice, i grafi offrono una soluzione elegante, soprattutto quando si tratta di comunicare il contenuto del manoscritto.
Occorre trasformare la matrice in una lista di archi e nodi, e fissare una soglia per escludere dal grafo le correlazioni più deboli.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

Se archi e nodi sono troppi, si può sempre ritoccare la soglia per un risultato più pulito. Altrimenti si esporta il grafo per lavorarci in Gephi, con la funzione .write_gexf().

nx.write_gexf(G, 'graph.gexf')

Il risultato lo vedete in apertura di questo post.

Aggiornamento: rete circolare pesata

Cercavo un modo di rappresentare le matrici di correlazione come reti pesate, e ho trovato questo approccio interessante , che adatto qui al nostro insieme di dati.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

Tolti alcuni archi, possiamo stabilirne colore e spessore.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

Diamo inoltre ai nodi una dimensione proporzionale al numero di connessioni.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

Il risultato è un grafo pesato che ammette più nodi e molti più archi, restando leggibile e informativo.