Notes |

La tanca, no la foguera

Sun, 06 Sep 2026 00:00:00 +0000

En un magatzem de North Las Vegas, Amazon fa anar una màquina que talla el llom dels llibres de segona mà. Les pàgines soltes passen per un escàner i després el paper se’n va a la pastera. Destruir llibres per alimentar la IA: la història tenia tots els ingredients per convertir-se en un escàndol cultural. El va comparar aquesta activitat amb una crema de llibres moderna, sense estalviar-se cap tòpic: al·lusions a Savonarola, fotos d’arxiu de llibres aparentment rars i, com no podia ser altrament, la foguera de Berlín. Com era d’esperar, la premsa seriosa va ser més freda, però va deixar la mateixa comparació surant en l’aire. Ara bé, per molta indignació que hi posin, aquests articles tenen la màniga ben ampla amb la indústria de la IA. El destí del paper ocupa el centre de l’escena; la propietat de les biblioteques digitals resultants gairebé no hi apareix. Qui controlarà el coneixement que s’està escanejant? Aquesta pregunta haurà d’esperar mentre ens desfem de la bajanada de la crema de llibres.

Un escàner no és una foguera

L’analogia amb les fogueres de Savonarola o amb la crema de llibres nazi és absurda: destruir un exemplar no és suprimir un text. Les fogueres eren actes públics de repudi. Aquell pobre frare, Savonarola, invocat en cada polèmica sobre crema de llibres, demanava a la gent que sacrifiqués algunes de les seves possessions com a acte públic de penitència. Les fogueres nazis escenificaven un repudi d’una altra mena: cremar els llibres en públic proclamava que els seus autors no tenien lloc en la vida cultural alemanya. En tots dos casos, per desagradable que fos, la destrucció era performativa. L’escaneig destructiu, un mètode molt estès en digitalització, té un altre propòsit: es guillotina l’exemplar per conservar-ne el contingut. El llibre es destrueix; el text es desmaterialitza. Els qui invoquen Fahrenheit 451 farien bé de recordar-ne la lliçó central: un text no és el paper on està imprès.

Més atrevit que el Daily Mail però no menys maldestre, va afegir llenya a l’alarma posant «llibres rars» al titular. Tanmateix, un llibreter citat en la seva pròpia investigació va dir que aquestes comandes a l’engròs , cosa que apunta sobretot a edicions publicades d’ençà de la introducció de l’ISBN, cap al 1970. Això és material de mercat de vell i de botiga de segona mà, que sovint a la primera neteja de casa acaba a la deixalleria. Abans d’anunciar una catàstrofe cultural, convindria consultar el catàleg de la biblioteca. Són precisament les publicacions que les biblioteques de dipòsit legal existeixen per preservar. Cert que un ISBN no garanteix que hagi sobreviscut un exemplar de dipòsit, però l’escassetat al mercat de segona mà tampoc no demostra la desaparició d’un text.

Els llibres tenen, és clar, una història material. Els exemplars a què les anotacions, les dedicatòries o la procedència donen una significació històrica mereixen ser identificats i preservats. Els llibreters de vell hi tenen un paper: reconèixer un exemplar així hauria de ser motiu per no incloure’l en una remesa destinada a la pastera. També ens pot preocupar, encara, la minva d’exemplars físics dels títols descatalogats. Però en aquest cas també hauríem de preguntar-nos per què els titulars dels drets ni els reediten ni n’autoritzen l’accés als facsímils digitals existents. Els estudiosos coneixen bé la frustració: Google Books troba el passatge que necessites i després t’ofereix un fragment d’un llibre que no pots ni comprar nou ni llegir en línia. Hi ha pèrdues, doncs, que val la pena discutir, però no converteixen un escàner en una foguera nazi.

Mentrestant, el sector del llibre fa temps que envia a la pastera els llibres no venuts com a pràctica rutinària. Només a França, s’estima que , aproximadament el 60 % del tonatge retornat sense vendre als distribuïdors. D’això se’n diu gestionar l’estoc. Els exemplars sobrants i els títols de segona mà escassos plantegen qüestions d’accés diferents, però destruir paper no equival per si mateix a censura ni a tirania.

Més llibres, millor IA?

Que les empreses d’IA comprin i escanegin llibres és, de fet, una bona notícia. Una tecnologia criticada habitualment per la seva comprensió superficial de la cultura humana n’està adquirint més, i hom hauria esperat que els estudiosos celebressin l’esforç.

La web és un mal substitut del registre acumulat d’una llengua. Bona part de la vida documentada d’una llengua, de les novel·les i les memòries a les cançons populars i les converses transcrites, no ha passat mai de la impremta a la web. Molts d’aquests llibres han sobreviscut als seus editors. Incorporar-los a les dades d’entrenament importa sobretot allà on hi ha poca cosa més. Uns quants llibres més en anglès potser aporten millores marginals. En una llengua poc representada, en canvi, aquests llibres poden marcar la diferència entre un sistema útil i un d’inservible. Si aquestes eines tenen lloc en els nostres serveis públics o en la nostra vida quotidiana és una qüestió de debat públic. Però allà on decidim fer-les servir, hauríem de poder fer-ho en la nostra pròpia llengua.

Les comandes de què s’ha informat a Espanya i als Països Baixos fan concretes les implicacions lingüístiques. Al maig, descrivia un llibreter de Badalona que rebia comandes repetides, sobretot de no-ficció en català: llibres d’història, manuals tècnics i velles actes de congressos. A l’agost, la premsa neerlandesa descrivia una petició a De Slegte de . La llengua dels llibres mereix si més no tanta atenció com el destí de les seves enquadernacions. Potser és demanar massa al Daily Mail. Fins i tot els diaris més assenyats han dit ben poca cosa de les llengües implicades.

Els acords de llicència amb les grans editorials també poden aportar material valuós, però els seus catàlegs digitals només cobreixen una fracció del que s’ha publicat en paper. Els llibres mai digitalitzats, o aquells de què l’editorial ja no té els drets, queden fora de l’oferta. Ni tan sols un acord de llicència generós pot substituir la història de l’edició, i encara menys la història d’una cultura. Comprar exemplars de segona mà és una manera d’arribar més enllà d’aquestes fronteres comercials.

«Robatori» no és un argument

Dir-ne «robatori» tampoc no ajuda. Al juny de 2025, dos tribunals de districte dels Estats Units van dictaminar que fer servir llibres per entrenar models de llengua era un ús legítim (fair use) en els casos que tenien davant. A , el tribunal va subratllar el caràcter transformador de l’entrenament: els llibres s’havien fet servir per construir un sistema capaç de produir expressió nova. Els models poden memoritzar passatges, però fer servir un llibre per entrenar no fa que el text sencer sigui recuperable a demanda. L’absència de reproducció literal tampoc no elimina totes les objeccions. A , el jutge va advertir que les obres generades per IA podien inundar el mercat i que les proves d’un perjudici així podrien invalidar una defensa d’ús legítim. Aquells demandants, però, no havien aportat proves significatives d’aquest perjudici per a les seves pròpies obres. Cap de les dues sentències no dona a les empreses d’IA un permís il·limitat ni resol la disputa ètica. Ens obliguen a distingir com s’adquireixen els llibres, com es conserven les còpies i què en fa l’entrenament. Dir-ne «robatori» de tot plegat deixa aquestes preguntes sense resposta.

Per cert, la sentència del cas Anthropic dona una raó de ser a la guillotina. El tribunal va avalar la digitalització dels exemplars comprats i va rebutjar l’acumulació de llibres pirates en una biblioteca permanent, per la qual l’empresa va . La digitalització va passar el filtre en part perquè cada exemplar imprès es destruïa en la conversió: la còpia digital el substituïa i no es compartia fora de l’empresa. La destrucció que tant molesta alguns va ajudar Anthropic a establir que el seu programa de digitalització era un ús legítim. Comprar, escanejar i llençar va oferir en aquell cas una via legal. La guillotina, aquí, és un instrument de compliment normatiu.

Hi ha bones raons per voler que la IA begui de més llengües, de més recerca acadèmica i de més d’aquell món que existia abans d’internet. Aquestes raons no desapareixen perquè una empresa que no ens agrada hi hagi trobat una oportunitat comercial.

Indignació manllevada

Tornem, doncs, al Daily Mail. El seu article forma part de , una campanya de propietaris de diaris i editorials que reclama per a la IA. Dues substitucions convenients fan la feina: les grans tecnològiques passen per la IA, i els titulars de drets passen per la «creativitat britànica». Es convida els lectors a defensar la cultura mentre les editorials negocien els termes de la seva venda. Els estudiosos que comparteixen la notícia farien bé de preguntar-se a quina causa serveix la seva indignació.

Les grans tecnològiques i les editorials es barallen pel lloguer, però cap de les dues parts no posa objeccions a la tanca. La història de l’autor solitari robat per un gegant tecnològic amaga el que els cars acords de llicència ofereixen a tots dos bàndols corporatius: les editorials cobren, i les grans tecnològiques obtenen un mercat en què els seus rivals més petits no es poden permetre competir. Peter Thiel va expressar la preferència de Silicon Valley sense embuts: .

Les llicències no han de produir necessàriament aquest resultat. Un accés assequible i no exclusiu podria ajudar els desenvolupadors petits. Però un sistema que obliga cada nouvingut a negociar acords costosos amb els grans titulars de drets converteix el poder adquisitiu en condició d’entrada. Un pagament presentat com una concessió a les indústries culturals acaba comprant protecció contra futurs rivals.

La IA no és propietat de les grans tecnològiques

Hi ha un problema més de fons. Massa crítiques a la IA prenen els seus principals proveïdors comercials pel conjunt del camp. Els productes dominen els titulars; la recerca i el desenvolupament que hi ha més enllà d’aquestes empreses desapareixen de la vista. Les grans tecnològiques no podrien demanar un malentès més útil. La seva ambició de posseir el camp esdevé la premissa de la crítica que se’ls adreça. El monopoli encara no està assegurat. Donar-lo per fet és fer-los un favor enorme. I també desvia l’atenció del codi obert: de les seves necessitats, de les seves possibilitats d’existir, dels seus interessos, de la seva legitimitat com a alternativa.

La IA de codi obert permet construir i adaptar sistemes que reflecteixen una diversitat més gran de llengües, cultures i formes d’expressió. Per als països d’Europa, Àfrica, Amèrica Llatina i Àsia, això és una base pràctica per a la sobirania tecnològica i cultural: la capacitat de decidir com funcionen els sistemes, quines llengües serveixen i on es fan servir. Si s’ha de fer servir la IA, i amb quines finalitats, hauria de continuar sent una decisió pública, no una decisió dictada per la dependència d’un oligopoli estranger.

Però la llibertat de modificar un sistema significa ben poc sense els mitjans per fer-ho. La feina independent necessita expertesa, infraestructura de càlcul i accés a material d’entrenament. I això ens torna als llibres. Si cada equip de recerca o cada institució pública ha de negociar els seus propis acords editorials o muntar la seva pròpia biblioteca privada, la independència esdevindrà inassequible fins i tot per a alguns països rics.

Els llibres ja són aquí

Les biblioteques i els arxius han dedicat generacions a reunir el material que aquests sistemes necessiten. Les seves col·leccions existeixen perquè l’accés al coneixement ha de sobreviure a l’interès comercial de vendre’l. Molt ja s’ha escanejat: conserva uns dinou milions de volums digitalitzats procedents de biblioteques de recerca, molts encara sota drets d’autor. Una biblioteca escaneja un llibre i el conserva. Allà ningú no necessita cap guillotina. HathiTrust , però també ha anunciat , un projecte per donar accés al corpus a la recerca i el desenvolupament d’IA no comercials. Un accés en aquests termes encara deixaria fora alguns desenvolupadors independents.

Posseir els llibres, però, no dona a una biblioteca el dret de distribuir-ne el contingut protegit per drets d’autor com a corpus d’entrenament. La permet a les institucions de recerca i a les biblioteques fer mineria d’obres legalment accessibles amb finalitats de recerca científica, i permet una mineria més àmplia quan els titulars no s’han reservat els drets. : la seva excepció de mineria cobreix la recerca no comercial i restringeix la transferència de còpies. Cap dels dos marcs no dona a les biblioteques un dret general a compartir els seus fons protegits perquè altres hi construeixin al damunt.

També podríem reconsiderar durant quant de temps els titulars de drets haurien de controlar els usos computacionals dels llibres. Les patents farmacèutiques encarnen un pacte: l’exclusivitat temporal recompensa la innovació, i després la invenció queda a disposició dels altres. El seu termini habitual de vint anys és molt més curt que la protecció dels drets d’autor, que dura tota la vida de l’autor i setanta anys més. Per què no aplicar un principi semblant als usos computacionals dels llibres? Passats, posem, vint anys de la primera publicació, un llibre podria quedar disponible per a la mineria de textos i de dades sense taxes de llicència, mentre els drets de reedició i de venda continuessin protegits. Els autors podrien continuar guanyant diners amb els seus llibres sense que generacions d’investigadors haguessin de negociar permisos per analitzar-los.

Fa dos anys vaig sostenir a que les dades del patrimoni s’haurien de tractar com un bé públic. Els governs haurien de finançar les biblioteques i els arxius perquè digitalitzin, transcriguin i documentin les seves col·leccions, i donar-los l’autoritat legal per posar els corpus resultants a disposició dels altres. Les grans tecnològiques podrien ajudar a pagar la factura mitjançant una taxa específica.

El finançament públic hauria d’anar acompanyat de polítiques de col·lecció i regles d’accés publicades, que cobrissin el treball acadèmic i el comercial sense acords exclusius ni accés privilegiat per als donants. L’accés per a l’entrenament no ha de significar la redistribució il·limitada dels llibres protegits. Els autors haurien de participar en el disseny del sistema públic, incloent-hi com tracta el consentiment, la remuneració i la competència amb la seva obra. L’accés gratuït per als usuaris no ha d’excloure necessàriament una remuneració dels autors amb fons públics. El , que paga els autors amb fons públics quan es presten els seus llibres, n’ofereix un precedent. La foguera no ha estat mai la història. La tanca, sí.

Benvolguts editors: si voleu la meva veu, torneu-me la meva llengua

Thu, 27 Aug 2026 00:00:00 +0000

Un dia més, una altra revista que proclama a so de trompeta la seva política d’IA. Aquesta vegada és Progress in Human Geography, els editors de la qual han publicat on adverteixen que fer servir la IA com a substitut de la lectura, el pensament i l’escriptura pròpies és «una infracció de l’ètica acadèmica equiparable al plagi». Els articles en què es detecti la infracció «podran ser retirats»; en el millor dels casos, es corregiran, amb un avís publicat a la revista. Els autors, afegeixen els editors, haurien de «sospesar amb cura si volen que el seu nom s’associï a retirades i avisos de correcció».

Aquesta frase mereix que ens hi aturem. La retractació és la sanció màxima de l’edició acadèmica, la que normalment es reserva a la fabricació de dades i al frau. Aquí s’aplica a una falta que el mateix editorial no sap definir. Hi ha, reconeixen els editors, «autèntiques zones grises» i «cap línia clara que delimiti la zona d’“irresponsabilitat”». L’aplicació dependrà de «judicis que potser molestaran alguns autors, que al·legaran no haver fet cap ús indegut de la IA»: la declaració de cadascú, dit d’una altra manera, pot ser desautoritzada. El consell que segueix és mantenir-se «ben a resguard dins la zona de “responsabilitat”», i només s’aconsella resguard on hi ha perill. Sancionar la gent per haver creuat una línia que s’admet no saber traçar només té sentit si el que es vol és fer regnar la por. No ho perdem de vista.

El pretext de la veu

Com és l’ús responsable? Als autors se’ls diu: «cal posar molta cura… a conservar la pròpia veu». L’ús indegut és recórrer a la IA «per escriure en una llengua que els autors mateixos no farien servir mai normalment». Per a un parlant nadiu, això té sentit: no fingeixis ser el que no ets. Però per als estrangers que han d’escriure en una llengua que no és la seva, la consigna es contradiu a si mateixa. La veu que la política protegeix és justament l’única cosa que les normes de la revista ens neguen.

Prenem el meu cas com a prova. L’anglès és la meva quarta llengua, exactament la mena de llengua que jo no faria servir mai «normalment». Les universitats anglòfones em van ensenyar a escriure’l curt, senyalitzat, gairebé mecànic: la frase temàtica al davant, els matisos als llocs aprovats, les transicions tretes de la llista aprovada. L’entrenament va funcionar: en el meu anglès no hi ha hagut mai cap veu a protegir; va ser la primera cosa que va haver de desaparèixer. Segons la definició mateixa dels editors, tot el que he escrit en anglès seria un ús inadequat, amb màquina o sense.

Entre l’espasa i la paret

Els editors diuen que han pensat en nosaltres: la política reconeix que els no nadius es beneficien que la IA els revisi l’anglès, i fins i tot dels seus «serveis de traducció, redacció i edició». Però la intervenció de la IA en l’escriptura «hauria de limitar-se, com a màxim, a l’assistència en l’edició i la correcció», i no pot arribar a «grans fragments de text escrits per IA». Un article traduït automàticament és text escrit per IA de la primera paraula a l’última; no és res més que aquests fragments. La concessió, doncs, només s’aguanta si traduir no és escriure. Per on passa aquesta línia? Ja ens ho han dit: «cap línia clara».

Hi ha una cosa pitjor, perquè la sospita no només és infalsable: juga amb els daus carregats. El 2023, un equip de Stanford va posar a prova set detectors d’IA molt utilitzats amb assaigs escrits per humans: els detectors van marcar, de mitjana, el 61 % dels assaigs del TOEFL escrits per no nadius com a generats per màquina, mentre que classificaven gairebé a la perfecció els assaigs dels nadius; un detector va marcar el 97,8 % del conjunt del TOEFL ( ). La raó és instructiva. Els detectors mesuren la previsibilitat, i l’anglès com a segona llengua, entrenat cap a la mitjana, és previsible per disseny: la paraula més probable en l’ordre més probable. El mateix estudi va trobar el senyal en la recerca real, amb una variabilitat lingüística més baixa en les comunicacions de congrés amb un primer autor no nadiu. Els indicis estilístics que es llegeixen com a «IA» són els indicis d’un anglès competent com a segona llengua, i un judici humà llegeix els mateixos indicis que la màquina. L’espasa i la paret, doncs: si escric el meu propi anglès, semblo una màquina; si faig servir la màquina, infringeixo la seva norma.

L’impost lingüístic

La paradoxa seria benigna si no anés acompanyada d’amenaces. Però les amenaces revelen un problema més profund i més antic que la política no anomena mai: el monolingüisme. Les demanen «la cobertura internacional més àmplia possible» mentre que, a la mateixa pàgina, «la llengua de la revista és l’anglès».

El cost d’aquest arranjament no és hipotètic. En una enquesta a 908 científics ambientals, Amano i els seus col·legues van trobar que els parlants no nadius d’anglès dediquen fins a un 51 % més de temps a escriure un article, veuen com els el rebutgen 2,5 vegades més sovint i els demanen revisar-lo 12,5 vegades més sovint, només per motius de llengua ( ). Aquest impost es cobra abans que arribi cap política d’IA; el formulari de declaració i les seves amenaces són una auditoria que s’hi afegeix al damunt.

Fin d’empire

El monolingüisme és l’axioma que ningú no discuteix. És una herència imperial que amb el temps va adquirir una justificació pràctica: la traducció era lenta i cara, i cap consell editorial no podia avaluar el que no sabia llegir. Res d’això, però, no sobreviu als avenços de la traducció automàtica. La traducció automàtica d’última generació es pot fer servir com una capa fiable entre autors i editors.

La sortida ideal és humana: els estudiosos haurien de llegir més d’una llengua. En comptes d’això, les universitats anglòfones prefereixen tancar les facultats de llengües modernes. Cal notar que els tancaments són un fenomen angloamericà: els estudiosos d’altres llocs no s’han pogut permetre mai el luxe del monolingüisme. I cal notar el moment. Tancar una facultat de llengües és fer una aposta: que l’anglès ha guanyat per sempre i que mai més no s’escriurà res que valgui la pena llegir en cap altra llengua. Aquesta aposta es fa precisament en el pitjor moment, i per partida doble. Primer, perquè la traducció automàtica està fent possible, per primera vegada, prescindir del tot d’una llengua franca; segon, perquè l’ordre que va fer de l’anglès la llengua per defecte està reculant: l’anglosfera es tanca en si mateixa, la globalització reflueix, el lliure comerç és qüestionat a les seves pròpies terres d’origen, i pren forma un món multipolar en què les llengües que val la pena llegir es multiplicaran. Les universitats produeixen estudiosos que només llegeixen anglès per a un món en què l’anglès no serà suficient. Els consells editorials seran els primers a heretar aquesta pèrdua.

Una prova per als editors

Quan un consell editorial es lamenta que no pot llegir la veu pròpia dels seus autors, potser una part del problema és al consell mateix.

És una acusació seriosa, i va acompanyada d’una prova seriosa. Progress in Human Geography avaluaria un article escrit en francès, italià o japonès, acompanyat d’una versió anglesa traduïda automàticament? Les mateixes normes de la revista reconeixen els serveis «de traducció» que ho fan possible. Un sí acaba amb el problema. Un no ens diria què protegeix realment la política.

Sigui com sigui, la decisió és dels editors. Si la veu importa, com afirmen, la revista hauria d’acceptar articles en les llengües en què pensen els autors. Si no importa, el formulari de declaració hauria de desaparèixer, i les amenaces amb ell.

Una geografia perceptiva del Levante

Sat, 29 Oct 2022 10:02:52 -0500

Introducció

El Levante és un lloc esquiu. Definit habitualment en relació amb – o per oposició a – un altre territori, el seu significat poques vegades ha estat estable, i ha evocat geografies diferents segons el lloc i el moment en què es feia servir el terme. Ara bé, si costa articular-ne una definició objectiva i precisa, sempre es pot aspirar a dibuixar un mapa subjectiu d’aquesta regió, prenent com a base les correlacions que existeixen dins d’un corpus de textos determinat. Dit d’una altra manera: quin espai podia evocar el Levante a un grup concret de lectors?
En aquesta entrada mostraré com fer servir les dades de la del Medici Archive Project per visualitzar els llocs concrets amb què s’associava el topònim.

La base de dades MIA

La base de dades MIA és una plataforma col·laborativa per als estudiosos que volen pujar-hi i compartir les seves pròpies fotografies de material d’arxiu de l’ . Durant l’últim any, i sota el patrocini del , el nostre equip ha fotografiat, transcrit, resumit i classificat milers de documents conservats a la secció d’avvisi de l’arxiu Mediceo del Principato de Florència. Tot i que la nostra base de dades no es va pensar en primer lloc per a l’anàlisi estadística, les metadades que hem posat a disposició es poden descarregar i fer servir com a conjunts de dades.

El conjunt de dades

En aquest cas, el conjunt de dades que he creat cobreix totes les notícies del Levante de 1543 a 1566, és a dir, des del primer avviso registrat als arxius fins a l’any de la mort del sultà . Heus aquí una mostra de les dades que he extret del servidor. Amb tres columnes, les dades consisteixen en un número de document únic, un nom de lloc i una data.

57386 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57386 Modon / Messinias, Nomos / Peloponnisos / Ellas 1565-1-3
57386 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57386 Evvoia / Evvoias, Nomos / Sterea Ellas-Evvoia / Ellas 1565-1-3
57386 Venetian Republic / Italia / Europe / World 1565-1-3
57386 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57386 Black Sea / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Otranto / Lecce / Puglia / Italia 1565-1-3
57389 Nisoi Aiyaiou / Ellas / Europe / World 1565-1-3
57389 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57389 Buda / Budapest / Budapest / Magyarorszag 1565-1-3
57389 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57389 Kipros / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Rodhos / Rodos, Nisos / Sporadhes / Nisoi Aiyaiou 1565-1-3
57389 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57389 Çorlu / Thraki / Ellas / Europe 1565-1-3

Netejar les dades

Per visualitzar aquestes dades, cal fer-les llegibles com a conjunt de dades csv (valors separats per comes). També cal convertir la informació geogràfica que contenen a un format més «amable per a les màquines»: les coordenades GPS. Com que el conjunt de dades conté centenars d’entrades, val més automatitzar el procés. Això es pot fer força de pressa i amb bastanta precisió amb models de llengua preentrenats com ara , o , per esmentar-ne només uns quants. Aquesta operació, però, s’ha de supervisar de prop, perquè els models de llengua preentrenats tenen una lleugera tendència a al·lucinar.

documentId,latitude,longitude,documentDate
57386,35.899167,14.514167,1565-1-3
57386,37.05,22.116667,1565-1-3
57386,31.200028,29.918719,1565-1-3
57386,38.366667,23.666667,1565-1-3
57386,45.438333,12.331333,1565-1-3
57386,41.018611,28.984444,1565-1-3
57386,42.7,18.8,1565-1-3
57389,40.216667,18.166667,1565-1-3
57389,37.966667,23.716667,1565-1-3
57389,35.899167,14.514167,1565-1-3
57389,47.4925,19.051389,1565-1-3
57389,31.200028,29.918719,1565-1-3
57389,34.916667,33.616667,1565-1-3
57389,36.405419,28.227778,1565-1-3
57389,41.018611,28.984444,1565-1-3
57389,41.133333,27.416667,1565-1-3

El mapa de densitat.

Un mapa de densitat és un tipus de visualització que destaca la freqüència amb què s’esmenta un lloc en un conjunt de dades determinat. És especialment útil per entendre no només l’abast geogràfic de les dades, sinó també els seus punts focals. Quins llocs del mapa s’esmenten més sovint? I quins són més episòdics? On són els centres, i fins on arriba la perifèria? En quin punt del mapa és més probable que es concentri l’atenció del lector?

Per a aquest experiment – i com que tenia pressa – vaig fer servir una de les API de . Tanmateix, moltes biblioteques de visualització i sistemes d’informació geogràfica permeten produir el mateix tipus de mapa de densitat.

Unes quantes observacions

El resultat és més un quadre impressionista que la representació precisa d’un concepte clarament definible, i això és justament el que m’agrada d’aquest experiment. En efecte, si bé la ciència de dades pot ser una aliada poderosa de les humanitats, no necessàriament ens hem de sotmetre a les seves regles.

Un altre aspecte interessant d’aquest experiment és que el mapa revela un Levante completament integrat amb la resta d’Europa i de la Mediterrània. També posa en relleu la centralitat d’Edirne en la geografia política de l’Imperi Otomà. A més, la ciutat espanyola més rellevant del mapa no és Madrid ni l’Escorial, sinó Nàpols. I, per acabar, les illes i les petites ciutats estat com ara Ragusa semblen tenir un paper important com a mediadores entre les diferents potències de la regió.

Com sol·licitar dades a MIA

Tot i que MIA és una eina col·laborativa excel·lent per als investigadors, les dades que emmagatzema als seus servidors no són fàcilment accessibles. El seu back-end, per exemple, no està publicat en repositoris públics. Tanmateix, es poden obtenir les dades registrant-se a MIA i fent peticions al servidor amb Python.

Petició

url = "https://mia.medici.org/Mia/json/de/advancedsearch/advancedSearchResults/0/90/docYear/asc/?isNewsFeedSearch=False"
payload = [{"searchSection":"archivalLocationSearch","type":"archivalLocationAdvancedSearch","isActiveFilter":True,"repository":None,"collection":"Mediceo del Principato","series":None,"volume":"2863","insert":None},{"searchSection":"categoryAndTypologySearch","type":"categoryAndTypologyAdvancedSearch","isActiveFilter":True,"category":"News","typology":None},{"searchSection":"transcriptionSearch","type":"transcriptionAdvancedSearch","isActiveFilter":False,"transcription":""},{"isActiveFilter":False,"searchSection":"synopsisSearch","type":"synopsisAdvancedSearch","synopsis":""},{"searchSection":"placesSearch","type":"placesAdvancedSearch","isActiveFilter":False,"places":[]},{"searchSection":"peopleSearch","type":"peopleAdvancedSearch","isActiveFilter":False,"people":[]},{"searchSection":"topicsSearch","type":"topicsAdvancedSearch","isActiveFilter":True,"topics":[{"topicTitle":"Place Index","topicId":"51","placeAllId":""}]},{"searchSection":"dateSearch","type":"dateAdvancedSearch","isActiveFilter":False,"dateFilterType":"","dateYear":"","dateMonth":"","dateDay":"","dateBYear":"","dateBMonth":"","dateBDay":""},{"searchSection":"documentOwnerSearch","type":"documentOwnerAdvancedSearch","isActiveFilter":False,"editType":"owner","account":""},{"searchSection":"languagesSearch","type":"languagesAdvancedSearch","isActiveFilter":False,"languages":[]}]
headers = {'Content-type': 'application/json', 'Accept': '*/*'}
r = requests.post(url, data=json.dumps(payload), headers=headers, auth=('LOGIN','PASSWORD'))

Assegura’t de substituir LOGIN i PASSWORD per les teves pròpies credencials.

Escriure la resposta en un fitxer

with open('response.json', 'wb') as fd:
 for chunk in r.iter_content(chunk_size=128):
 fd.write(chunk)

Obrir el JSON

f = open('response.json', encoding="utf8")

Retornar l’objecte JSON com a diccionari

json_complete = json.load(f)

Seleccionar les dades del JSON i imprimir-les en format CSV

with open('results.csv', 'w', newline='') as csvfile:
 fieldnames = ['documentId', 'placeCited', 'documentDate']
 writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
 writer.writeheader()
 for i in json_complete['data']:
 if i['topics'] != None:
 for x in i['topics']:
 documentId=x['documentId']
 placeCited=x['topicPlaceName']
 year=i['date']['docYear']
 month=i['date']['docMonth']
 day=i['date']['docDay']
 documentDate=str(year)+ "-" + str(month)+"-" + str(day)
 writer.writerow({'documentId': documentId, 'placeCited': placeCited, 'documentDate': documentDate})

Un cop descarregat el fitxer results.csv, pots passar a netejar les dades tal com s’ha explicat més amunt.

Visualitzar manuscrits 2 (actualització)

Sat, 20 Nov 2021 16:00:00 +0000

Tal com havia promès, heus aquí una nova versió del treemap interactiu presentat en una , aquesta vegada amb dos modes de visualització.

Nota

Per a una millor experiència de visualització, comprova que la pàgina estigui en mode clar (clica la icona de la lluna, a dalt a la dreta).

Group folios by category

Un navegador visual per a l’arxiu

Sun, 20 Jun 2021 16:00:00 +0000

El problema

Les edicions digitals viuen en una paradoxa: posen documents recòndits a l’abast d’un públic més ampli, però la pèrdua d’estímuls sensorials que comporta la desmaterialització tendeix a desorientar els lectors i fins i tot a dissuadir-los d’endinsar-se en el contingut. Fan que navegar per grans dipòsits de documents sigui feixuc i intimidant. I això no val només per als usuaris sense experiència en la recerca d’arxiu, sinó també per als lectors amb dificultats cognitives.

La solució

És aquí on les metadades arxivístiques ens poden ajudar. Aquestes dades permeten crear abstraccions visuals interactives que ofereixen als lectors un estímul sensorial alternatiu, i milloren així alhora l’ergonomia i l’accessibilitat. Per fer l’arxiu navegable visualment, un treemap (mapa d’arbre), o qualsevol diagrama que descompongui eficaçment dades jeràrquiques, pot fer el fet.

L’experiment

El meu primer experiment adapta el per a D3.js i hi afegeix hipervincles. Representa el manuscrit BnF Ms Fr 640, els seus folis i les entrades de cada foli. Els colors indiquen la categoria dominant. En passar el cursor per sobre de cada entrada s’hi mostren més dades, inclòs l’enllaç al manuscrit.
D’aquesta manera, el treemap esdevé un índex visual interactiu que ofereix als lectors una visió de conjunt molt ràpida i àgil, no només del contingut del manuscrit, sinó també de les dimensions de cada foli i de cada entrada.
~~En els propers mesos continuaré experimentant amb aquesta idea, provant altres diagrames i altres jerarquies… Continuarà!~~ Per veure una nova versió del treemap, clica .

Nota

Per a una millor experiència de visualització, comprova que la pàgina estigui en mode clar (clica la icona de la lluna, a dalt a la dreta).

Click any cell to zoom in, or the top to zoom out.

L’arxiu d’un cop d’ull

Mon, 24 May 2021 16:00:00 +0000

El problema

Els arxius històrics poden ser d’un desordre aclaparador. El Mediceo del Principato de l’ n’és un bon exemple. Només una petita part està inventariada, i molts dels seus documents es troben escampats per més de 6.500 volums sense cap raó aparent. Per acabar-ho d’adobar, l’arxiu només permet consultar un nombre limitat de volums (o filze, com en diuen allà: lligalls). En temps normals, el límit és de 4 filze al dia. En temps de pandèmia, però, la xifra ha baixat a 4 cada dues setmanes. Sense inventaris detallats, la mida considerable de l’arxiu obliga els investigadors a idear estratègies per trobar de pressa els documents que busquen.

La solució

Hi ha qui confia en l’atzar; d’altres proven també de fer conjectures fonamentades a partir de la cronologia, els destinataris, els autors, l’origen del fons arxivístic, la llengua, etc. Ara bé, mirar totes aquestes variables alhora pot revelar patrons inesperats en l’estructura de l’arxiu i afinar les nostres conjectures. La meva experiència demostra que, un cop representades gràficament, les metadades que els investigadors solen recollir en un full de càlcul poden augmentar notablement la consciència situacional a l’arxiu.

L’experiment

La meva recerca actual gira entorn de la correspondència d’un espia del segle XVI. Les seves cartes estan escampades per centenars de filze. Les va escriure amb identitats diferents, a destinataris diversos i de vegades inesperats, des de llocs diferents, etc. Per localitzar les filze amb més probabilitats de contenir les cartes que busco, he muntat un tauler de control, una aplicació web de visualització interactiva de dades ( ) que relaciona tota mena d’informació, geogràfica i cronològica inclosa, amb un diagrama jeràrquic ( ) del fons arxivístic. El tauler em diu d’un cop d’ull què s’ha trobat ja, quant representa, i em dona una idea aproximada d’on podria buscar cartes noves. A més, en clicar sobre variables concretes, tots els diagrames s’actualitzen per mostrar correlacions específiques.

Propers passos

Potser més important encara, aquest tauler es pot reconvertir en un índex visual. Quan l’edició crítica d’aquestes cartes es publiqui en línia, el tauler farà de porta d’entrada alternativa des d’on els lectors podran navegar per les dades. Per raons de confidencialitat, de moment només en puc mostrar una captura de pantalla parcialment emmascarada, però l’any que ve publicaré el tauler complet. Mentrestant, aviat n’hi haurà disponible un prototip. Continuarà!

Visualitzar el marcatge semàntic del BnF Ms. Fr. 640

Sun, 20 Dec 2020 18:15:00 +0000

Visió general

Les edicions acadèmiques riques en dades contenen anotacions editorials valuoses que es poden extreure, analitzar i visualitzar amb tota mena de finalitats acadèmiques. És el cas de , publicada el 2020, que posa a disposició el seu fitxer de metadades per descarregar-lo des del seu repositori de GitHub. En aquesta entrada mostro com reunir totes aquestes variables en una matriu de correlació i visualitzar-les de maneres diferents.

Les dades

El Making and Knowing Project genera un full de càlcul amb informació actualitzada sobre el contingut del manuscrit: entry_metadata.csv. El fitxer es pot obtenir al del Making & Knowing. També es poden generar fitxers .csv a mida, amb més marcatge, gràcies a l’excel·lent de Matthew Kumar, una versió en Python del BnF Ms. Fr. 640.

Preparar Python

Farem servir Pandas per manipular les dades, Matplotlib i seaborn per als mapes de calor i, finalment, NetworkX per produir xarxes basades en correlacions.
Per a aquest tipus de variables evitarem el mètode de Pearson i farem servir, en canvi, el mètode 𝜙𝐾. Val la pena sobre aquest mètode de correlació i sobre PhiK, la biblioteca corresponent.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

Preparar les dades

Primer, descarreguem el fitxer de metadades més recent de l’edició des del seu , a la carpeta metadata. Seleccionarem només les columnes que ens calen. Per a aquesta demostració trio totes les etiquetes semàntiques de la traducció anglesa tl, però també es poden triar les de la transcripció francesa tc o les de la versió normalitzada tcn. Les dades arriben com a valors separats per punt i coma, i necessitem que Python els compti per nosaltres. Ho farem amb el mètode stack-unstack i l’expressió regular [^;\s][^\;]*[^;\s]*. Per fer la matriu més llegible, reanomenem cada columna. Si tens pressa pots saltar-te aquest pas; només cal recordar que, en aquest punt, el nostre dataframe es diu tagsrn.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

Correlacionar

Un cop net el dataframe, podem passar a calcular els coeficients de correlació entre cada parell de variables. En aquest punt és important entendre bé les dades i assegurar-se que es fa servir el mètode de correlació més adequat. El paquet pandas-profiling és especialment útil per a aquesta tasca.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag és la nostra matriu de correlació. Ara podem provar diferents tipus de visualització.

Visualitzar

La primera cosa que podem provar és visualitzar-la com una matriu codificada per colors, amb el de seaborn.

Mapa de calor de correlacions

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

Qui conegui bé el text veurà de seguida que el mapa de calor té molt de sentit. Per exemple, els noms de persona estan fortament correlacionats amb el llatí, perquè era costum, sobretot entre els humanistes del segle XVI, llatinitzar-los.

Hi haurà qui digui que aquest mapa de calor no fa sinó constatar l’evident. No li faltarà part de raó: a primer cop d’ull, les etiquetes mèdiques en semblen un bon exemple, ja que, com era d’esperar, es correlacionen amb les parts del cos, les mesures i les plantes.

Però si llegim el mapa de calor amb més atenció, línia per línia, hi podem trobar correlacions interessants i inesperades. Que les etiquetes mèdiques, per exemple, es correlacionin amb paraules italianes i llatines ens dona pistes sobre l’origen de les receptes mèdiques del Ms. Fr. 640. De la mateixa manera, la correlació entre professions, definicions i mesures mostra fins a quin punt la identitat professional estructura els discursos tècnics del segle XVI.

Mapa de clústers de correlacions

Els mapes de calor van bé en contextos «exploratoris», però al públic li poden semblar una mica embolicats, sobretot si el que es discuteix – o el que encara es busca – són clústers semàntics concrets dins del manuscrit. El mòdul clustermap de Seaborn pot donar resultats interessants.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

A banda de semblar un insecte pixelat (sí, «pixelat» surt al diccionari), el mapa de clústers distingeix clarament les etiquetes aïllades (a dalt i a l’esquerra) de les més interconnectades. També hi distingim clústers aïllats, com ara la música i el poiteví (qui ho hauria dit!), d’altres de més centrals com ara les mesures, els materials, les definicions i les armes. Les professions estan més interconnectades, però no formen part, si més no en aquesta matriu de correlació concreta, de cap clúster en particular.

Xarxa de correlacions

Si volem sintetitzar encara més les correlacions de la matriu, els grafs de xarxa ofereixen una solució elegant, sobretot quan es tracta de comunicar el contingut del manuscrit.
Per fer-ho, cal convertir la matriu en una llista d’arestes i de nodes, i definir un llindar per eliminar del graf les correlacions més febles.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

Si hi ha massa arestes i nodes, sempre es pot modificar el llindar per obtenir un resultat més net. Altrament, es pot exportar el graf per jugar-hi a Gephi amb la funció .write_gexf().

nx.write_gexf(G, 'graph.gexf')

El resultat es pot veure al començament d’aquesta entrada.

Actualització: xarxa circular ponderada

Buscava maneres de mostrar matrius de correlació com a xarxes ponderades i vaig trobar aquest enfocament interessant , que adapto aquí al nostre conjunt de dades.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

Un cop eliminades unes quantes arestes, podem determinar-ne el color i el gruix.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

També donem als nodes una mida proporcional al seu nombre de connexions.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

El resultat és un graf ponderat que admet més nodes i força més arestes, i que continua sent llegible i informatiu.