Notas |

El cercado, no la hoguera

Sun, 06 Sep 2026 00:00:00 +0000

En un almacén de North Las Vegas, Amazon tiene una máquina que corta el lomo de libros de segunda mano. Las hojas sueltas pasan por un escáner y el papel va después a la pasta. El comparó la operación con una moderna quema de libros, sin ahorrarse un solo cliché por el camino: alusiones a Savonarola, fotos de archivo de libros con aspecto de raros y, cómo no, la pira de Berlín. Los periódicos serios, como cabía esperar, fueron más comedidos, pero dejaron la misma comparación flotando en el aire. Con toda su indignación, estos artículos dejaron que la industria de la IA se fuera de rositas. ¿Quién va a controlar el conocimiento que se está escaneando? Esa pregunta tendrá que esperar a que despachemos la sandez de la quema de libros.

Un escáner no es una hoguera

Destruir un ejemplar no convierte, por sí solo, el escaneado destructivo en el equivalente moderno de las hogueras de Savonarola o de las quemas nazis. Aquellos actos tomaban su sentido de lo que se condenaba y de por qué se condenaba. El pobre fraile Savonarola, arrastrado a todas las polémicas sobre quemas de libros, pedía a la gente que quemase parte de sus posesiones como acto público de penitencia. Las hogueras nazis escenificaban un repudio de otra clase: quemar los libros en público era declarar que sus autores no tenían sitio en la vida cultural alemana. En ambos casos la destrucción era performativa. El escaneado destructivo, un método corriente en digitalización, persigue otra cosa: se sacrifica el ejemplar para conservar su contenido. El libro se destruye; el texto se desmaterializa. A quien invoque Fahrenheit 451 le vendrá bien recordar que los bomberos de Bradbury no guardaban el texto para más tarde.

alimentó la alarma poniendo «libros raros» en su titular, descripción que otros medios repitieron obedientemente. Sin embargo, un librero citado en esa misma investigación explicó que aquellos pedidos al por mayor , lo que apunta sobre todo a ediciones posteriores a la introducción del ISBN, hacia 1970. Es la mercancía de los rastros y las tiendas de beneficencia, a menudo a una limpieza de trastero del contenedor. Antes de proclamar una catástrofe cultural, convendría consultar el catálogo de la biblioteca: esas son precisamente las publicaciones que las bibliotecas de depósito legal existen para conservar. Un ISBN no garantiza, es cierto, que sobreviva un ejemplar de depósito; pero tampoco la escasez en el mercado de segunda mano demuestra que un texto haya desaparecido.

La trituración destruye el ejemplar, con sus dedicatorias y sus anotaciones marginales. Los ejemplares con marginalia o procedencia de interés histórico merecen identificarse y conservarse, a ser posible antes de que lleguen al mercado de segunda mano. Puede inquietarnos, además, la menguante oferta de ejemplares de títulos descatalogados. Pero entonces habría que preguntarse también por qué sus titulares de derechos ni los reimprimen ni autorizan el acceso a los facsímiles digitales que ya existen. Los investigadores conocen bien la frustración: Google Books encuentra el pasaje que uno necesita y a continuación le ofrece un retazo de un libro que no se puede comprar nuevo ni leer en línea. Hay aquí pérdidas que merecen discutirse. Ninguna convierte un escáner en una hoguera nazi.

El comercio del libro, por su parte, lleva mucho tiempo enviando a la pasta los libros no vendidos como cosa de rutina. Solo en Francia se calcula que , cerca del 60 % del tonelaje devuelto sin vender a los distribuidores. A eso se le llama gestionar las existencias. Los excedentes y los títulos escasos de segunda mano plantean cuestiones de acceso distintas, pero destruir papel no es, en sí, ni censura ni tiranía.

¿Más libros, mejor IA?

Que las empresas de IA compren y escaneen libros es, en realidad, una buena noticia. Una tecnología a la que se reprocha sin cesar su comprensión superficial de la cultura humana está adquiriendo más cultura, y cabría esperar que los académicos celebraran el empeño.

La web es un pobre sustituto del registro acumulado de una lengua. Buena parte de la vida escrita de una lengua —novelas y memorias, canciones populares, conversaciones transcritas— nunca ha pasado del papel a la web. Muchos de esos libros han sobrevivido a sus editoriales. Incorporarlos a los datos de entrenamiento importa sobre todo allí donde apenas hay otra cosa. Unos cuantos libros más en inglés aportarán, si acaso, una mejora marginal; en una lengua poco representada pueden marcar la diferencia entre un sistema utilizable y otro inservible. Que estas herramientas tengan cabida en nuestros servicios públicos o en nuestra vida diaria es asunto de debate público. Pero allí donde decidamos usarlas, deberíamos poder hacerlo en nuestra propia lengua.

Los pedidos de que se ha dado noticia en España y en los Países Bajos vuelven concreto lo que está en juego para las lenguas. En mayo, describía a un librero de Badalona que recibía pedidos reiterados, sobre todo de no ficción en catalán: libros de historia, manuales técnicos, viejas actas de congresos. En agosto, la prensa neerlandesa hablaba de un encargo a De Slegte de . La lengua de los libros merece por lo menos tanta atención como la suerte de sus encuadernaciones. Quizá sea mucho pedir al Daily Mail; pero tampoco los diarios más sobrios han tenido gran cosa que decir sobre las lenguas en cuestión.

Los acuerdos de licencia con las grandes editoriales también pueden aportar material valioso, pero sus catálogos digitales cubren solo una fracción de cuanto se ha impreso. Los libros nunca digitalizados, o cuyos derechos la editorial ya no posee, quedan fuera de la oferta. Ni el acuerdo de licencia más generoso puede suplir la historia de la edición, y menos aún la historia de una cultura. Comprar ejemplares de segunda mano es una manera de traspasar esas fronteras comerciales.

«Robo» no es un argumento

Tampoco ayuda llamarlo «robo». En junio de 2025, dos tribunales federales de distrito de Estados Unidos sostuvieron que, en los casos que tenían delante, entrenar modelos de lenguaje con libros era uso legítimo (fair use). En , el tribunal subrayó el carácter transformador del entrenamiento: los libros se usaron para construir un sistema capaz de producir expresión nueva. Los modelos pueden memorizar pasajes, pero entrenar con un libro no hace que el texto entero pueda recuperarse a voluntad. Tampoco la ausencia de reproducción literal zanja todas las objeciones: en , el juez advirtió de que las obras generadas por IA podrían inundar el mercado y de que la prueba de tal perjuicio podría echar abajo una defensa de uso legítimo; pero aquellos demandantes no habían aportado pruebas significativas de ese perjuicio a sus propias obras. Ninguna de las dos sentencias da a las empresas de IA carta blanca ni zanja la disputa ética. Lo que exigen es distinguir cómo se adquieren los libros, cómo se conservan las copias y qué hace con ellas el entrenamiento. Llamar «robo» a todo ello deja esas preguntas sin responder.

Por cierto: la sentencia del caso Anthropic ofrece una justificación para la guillotina. El tribunal avaló la digitalización de ejemplares comprados y rechazó la acumulación de libros pirateados en una biblioteca permanente, por la que la empresa . La digitalización pasó el examen, en parte, porque cada ejemplar impreso se destruía en la conversión: la copia digital lo sustituía y no salía de la empresa. La destrucción que tanto escandaliza a algunos ayudó a Anthropic a demostrar que su programa de digitalización era uso legítimo. Comprar, escanear y desechar ofreció en ese caso una vía legal. La guillotina, aquí, es un instrumento de cumplimiento de la ley. Comprar ejemplares puede resolver el problema de la adquisición; no da a nadie, por sí solo, permiso para compartir el corpus resultante.

Hay buenas razones para querer que la IA beba de más lenguas, de más investigación y de más de ese mundo que existía antes de internet. Esas razones no se evaporan porque una empresa que nos cae mal haya visto en ello una oportunidad de negocio.

Indignación prestada

Volvamos, pues, al Daily Mail. Su artículo forma parte de , una campaña de propietarios de periódicos y editoriales que reclama para la IA. Dos sustituciones oportunas hacen el trabajo: las grandes tecnológicas pasan por la IA, y los titulares de derechos pasan por la creatividad británica. Se invita al lector a defender la cultura mientras las editoriales negocian las condiciones de su venta. Los académicos que comparten la noticia harían bien en preguntarse a qué causa sirve su indignación.

Las grandes tecnológicas y las discuten por el precio del alquiler, pero ninguna de las dos pone reparos al cercado. La historia del autor solitario expoliado por un gigante tecnológico esconde lo que los costosos acuerdos de licencia ofrecen a ambos bandos corporativos: las editoriales cobran, y las grandes tecnológicas se aseguran un mercado en el que sus rivales más pequeños no pueden permitirse competir. Peter Thiel resumió sin rodeos la preferencia de Silicon Valley: .

Las licencias no tienen por qué acabar así. Un acceso asequible y no exclusivo podría ayudar a los desarrolladores pequeños. Pero un sistema que obliga a cada recién llegado a negociar acuerdos costosos con los grandes titulares de derechos convierte el poder adquisitivo en condición de entrada. Un pago presentado como concesión a las industrias culturales acaba comprando protección frente a futuros rivales.

La IA no es de las grandes tecnológicas

Hay una cuestión más de fondo. Demasiadas críticas a la IA toman a sus mayores proveedores comerciales por el campo entero. Los productos acaparan los titulares; la investigación y el desarrollo que se hacen fuera de esas empresas desaparecen de la vista. Las grandes tecnológicas no podrían pedir un malentendido más útil: su ambición de adueñarse del campo se convierte en la premisa de la crítica que se les dirige. El monopolio no está asegurado todavía; darlo por hecho les hace un favor enorme.

La IA de código abierto permite construir y adaptar sistemas que reflejen una mayor diversidad de lenguas, culturas y formas de expresión. Para los países de Europa, África y América Latina, igual que para Corea del Sur, Japón o la India, esa es una base práctica de soberanía tecnológica y cultural: la capacidad de decidir cómo funcionan los sistemas, a qué lenguas sirven y dónde se usan. Si usar la IA, y para qué, debería seguir siendo una elección pública, no una decisión dictada por la dependencia de un proveedor extranjero.

Pero la libertad de modificar un sistema vale poco sin los medios para hacerlo. El trabajo independiente necesita conocimientos, infraestructura de cálculo y acceso a material de entrenamiento. Y eso nos devuelve a los libros. Si cada equipo de investigación o institución pública tiene que negociar sus propios acuerdos editoriales o reunir su propia biblioteca privada, la independencia seguirá siendo un privilegio de quien pueda pagarla.

Los libros ya están aquí

Bibliotecas y archivos llevan generaciones reuniendo el material que estos sistemas necesitan. Sus colecciones existen porque el acceso al conocimiento debe durar más que el interés comercial en venderlo. Mucho está ya escaneado: custodia unos diecinueve millones de volúmenes digitalizados procedentes de bibliotecas de investigación, muchos aún bajo derechos de autor. Una biblioteca escanea un libro y lo conserva; allí nadie necesita guillotina. HathiTrust , pero ha anunciado también , un proyecto para dar acceso a corpus con fines de investigación y desarrollo no comerciales en IA. Un acceso en esos términos seguiría dejando fuera a algunos desarrolladores independientes.

Ahora bien, poseer los libros no da a una biblioteca derecho a distribuir su contenido protegido como corpus de entrenamiento. La permite a las instituciones de investigación y a las bibliotecas hacer minería de obras legalmente accesibles con fines de investigación científica, y una minería más amplia cuando los titulares no se han reservado los derechos. : su excepción cubre la investigación no comercial y restringe la transferencia de copias. Ninguno de los dos marcos da a las bibliotecas un derecho general a compartir sus fondos protegidos para que otros construyan sobre ellos.

Cabría también reconsiderar durante cuánto tiempo deben controlar los titulares de derechos los usos computacionales de los libros. Las patentes farmacéuticas ofrecen un término de comparación: sus veinte años de vigencia ordinaria son mucho menos que la protección del derecho de autor, que dura toda la vida del autor y setenta años más. ¿Podrían los libros quedar libres para la minería de textos y datos, sin pagar licencia, al cabo de, digamos, veinte años desde su primera publicación, mientras los derechos de reedición y venta siguen protegidos? Proteger el derecho de un autor a vender un libro no tiene por qué significar controlar durante generaciones cada uso que pueda darse a su contenido.

Hace dos años sostuve en que los datos patrimoniales deberían tratarse como un bien público. Los gobiernos deberían financiar a bibliotecas y archivos para que digitalicen, transcriban y documenten sus colecciones, y darles autoridad legal para poner los corpus resultantes a disposición de quien quiera construir sobre ellos. Las grandes tecnológicas podrían contribuir a pagar la factura mediante un gravamen específico.

La financiación pública debería ir acompañada de políticas de colección y normas de acceso publicadas, que cubran tanto el trabajo académico como el comercial, sin acuerdos exclusivos ni accesos privilegiados para los donantes. Dar acceso para el entrenamiento no tiene por qué significar redistribuir sin límite libros protegidos. Los autores deberían participar en el diseño del sistema público, incluido el modo en que trate el consentimiento, la remuneración y la competencia con su obra. El acceso gratuito para los usuarios no excluye una remuneración de los autores con cargo a fondos públicos: el , que paga a los autores con dinero público cuando se prestan sus libros, ofrece un precedente. La hoguera nunca fue la noticia. La noticia es el cercado.

Estimados editores: si quieren mi voz, devuélvanme mi lengua

Thu, 27 Aug 2026 00:00:00 +0000

Otro día, otra revista que proclama a los cuatro vientos su política sobre IA. Esta vez le toca a Progress in Human Geography, cuyos editores han publicado en la que advierten de que usar la IA como sustituto de la lectura, el pensamiento y la escritura propios es «una violación de la ética académica equiparable al plagio». Los artículos en que se detecte «podrán ser retirados»; en el mejor de los casos se corregirán, con la correspondiente nota publicada en la revista. Los autores, añaden los editores, harían bien en «sopesar con cuidado si desean que su nombre quede asociado a retiradas y notas de corrección».

Detengámonos un momento en esa frase. La retractación es la sanción máxima de la publicación académica, la pena reservada normalmente a la fabricación de datos y al fraude. Aquí se asocia a una falta que el propio editorial es incapaz de definir. Hay, conceden los editores, «auténticas zonas grises» y «ninguna línea clara que delimite la zona de “irresponsabilidad”». La aplicación de la norma descansará en «juicios de valor que podrían molestar a algunos autores, quienes alegarán que no han hecho un uso indebido de la IA»: la declaración del propio autor, en otras palabras, podrá ser desautorizada. El consejo que sigue es mantenerse «a salvo en la zona de “responsabilidad”», y solo se aconseja ponerse a salvo donde hay peligro. Castigar a alguien por cruzar una línea que uno confiesa no saber trazar solo tiene sentido si de lo que se trata es de gobernar por el miedo. Quédense con esa idea.

El pretexto de la voz

¿Y en qué consiste un uso responsable? Se pide a los autores «gran cuidado … para conservar su propia voz». Uso indebido es recurrir a la IA «para escribir en una lengua que los autores nunca emplearían normalmente por sí mismos». Para un hablante nativo, la regla se entiende: no finjas ser lo que no eres. Pero para los extranjeros que debemos escribir en una lengua ajena, el precepto se contradice a sí mismo: la voz que la política protege es justo lo que las normas de la revista nos niegan.

Tómenme como caso de prueba. El inglés es mi cuarta lengua, exactamente de las que nunca emplearía «normalmente». Las universidades anglófonas me enseñaron a escribirlo corto, señalizado, casi mecánico: la oración temática al frente, los atenuantes en los lugares aprobados, las transiciones sacadas de la lista aprobada. El adiestramiento dio resultado: nunca hubo en mi inglés una voz que proteger; fue lo primero que hubo que sacrificar. Según la definición de los propios editores, todo lo que he escrito en inglés sería un uso indebido, con máquina o sin ella.

Entre la espada y la pared

Los editores dicen haber pensado en nosotros: la política reconoce que a los hablantes no nativos les conviene que la IA revise su inglés, e incluso sus «servicios de traducción, redacción y edición». Y sin embargo la intervención de la IA en la escritura «debería limitarse, como mucho, a una ayuda de edición y corrección», sin llegar a «grandes fragmentos de texto escrito por IA». Un artículo traducido automáticamente está escrito por la IA de la primera palabra a la última; no es más que una sucesión de tales fragmentos. La concesión, pues, solo se sostiene si traducir no es escribir. ¿Y por dónde pasa esa línea? Ya nos lo han dicho: «ninguna línea clara».

Hay algo peor, porque la sospecha no es solo infalsable: está cargada de antemano. En 2023, un equipo de Stanford sometió siete detectores de IA de uso corriente a ensayos escritos por humanos: los detectores marcaron como obra de una máquina, en promedio, el 61 % de los ensayos del TOEFL escritos por no nativos, mientras clasificaban casi sin error los de hablantes nativos; uno de ellos marcó el 97,8 % del conjunto TOEFL ( ). La razón es instructiva. Los detectores miden la previsibilidad, y el inglés de segunda lengua, adiestrado para tender a la media, es previsible por diseño: la palabra más probable en el orden más probable. El mismo estudio encontró la señal en la producción académica real, con menor variabilidad lingüística en las ponencias de congreso cuyo primer autor no es nativo. Los rasgos de estilo que se leen como «IA» son los de un inglés competente de segunda lengua, y un juicio humano lee los mismos rasgos que la máquina. El cerco se cierra: si escribo mi propio inglés, parezco una máquina; si uso la máquina, infrinjo su norma.

El impuesto de la lengua

La paradoja sería inofensiva si no viniera acompañada de amenazas. Pero las amenazas delatan un problema más hondo y más viejo, que la política nunca nombra: el monolingüismo. Las piden «la mayor cobertura internacional posible» mientras, en la misma página, «la lengua de la revista es el inglés».

El coste de ese arreglo no es hipotético. Tras encuestar a 908 científicos ambientales, Amano y sus colegas comprobaron que los hablantes no nativos de inglés dedican hasta un 51 % más de tiempo a escribir un artículo, se lo rechazan 2,5 veces más y les piden revisarlo 12,5 veces más a menudo, solo por razones de lengua ( ). Ese impuesto se cobra antes de que llegue ninguna política sobre IA; el formulario de declaración y sus amenazas son una auditoría que se le añade encima.

Fin d’empire

El monolingüismo es el axioma que nadie discute. Es una herencia imperial que fue adquiriendo, con el tiempo, una justificación práctica: traducir era lento y caro, y ningún consejo editorial podía evaluar lo que no sabía leer. Nada de eso resiste a los avances de la traducción automática, que en su estado actual puede servir de capa fiable entre autores y editores.

La salida ideal es humana: que los investigadores lean más de una lengua. Las universidades anglófonas prefieren, en cambio, cerrar sus departamentos de lenguas modernas. Nótese que los cierres son un fenómeno angloamericano: en el resto del mundo, los investigadores nunca tuvieron el lujo de ser monolingües. Y nótese el momento. Cerrar un departamento de lenguas es hacer una apuesta: que el inglés ha ganado para siempre y que nunca más se escribirá nada digno de leerse en otra lengua. Esa apuesta se hace en el peor momento posible, y por partida doble. Primero, porque la traducción automática permite por primera vez prescindir del todo de una lengua franca; segundo, porque el orden que hizo del inglés la opción por defecto se bate en retirada: la anglosfera se repliega, la globalización refluye, el libre comercio está en entredicho en sus propias cunas y va tomando forma un mundo multipolar en el que se multiplicarán las lenguas que merezca la pena leer. Las universidades forman investigadores que solo leen inglés para un mundo en el que el inglés no bastará. Los consejos editoriales serán los primeros en heredar esa pérdida.

Una prueba para los editores

Cuando un consejo editorial se lamenta de no poder oír la voz de sus autores, quizá parte del problema esté en el propio consejo.

Es una acusación grave, y viene con una prueba a la altura. ¿Aceptaría Progress in Human Geography someter a revisión por pares un manuscrito escrito en francés, italiano o japonés, acompañado de una versión inglesa traducida automáticamente? Las propias normas de la revista reconocen los servicios «de traducción» que lo hacen posible. Un sí acaba con el problema. Un no nos diría qué protege en realidad la política.

Sea como fuere, la decisión está en manos de los editores. Si la voz importa, como dicen, la revista debería aceptar artículos en las lenguas en que piensan sus autores. Si no importa, sobra el formulario de declaración, y con él las amenazas.

Una geografía perceptiva del Levante

Sat, 29 Oct 2022 10:02:52 -0500

Introducción

El Levante es un lugar escurridizo. Definido casi siempre en relación con otro territorio —o por oposición a él—, su sentido rara vez ha sido estable: evoca geografías distintas según el lugar y la época en que se usa la palabra. Ahora bien, si una definición objetiva y precisa del término se nos resiste, cabe al menos trazar un mapa subjetivo de esa región a partir de las correlaciones que existen dentro de un corpus de textos determinado. Dicho de otro modo: ¿qué espacio evocaba el Levante para un grupo concreto de lectores?
En esta entrada mostraré cómo usar los datos de la del Medici Archive Project para visualizar los lugares concretos con que se asociaba el topónimo.

La base de datos MIA

MIA es una plataforma colaborativa en la que los investigadores suben y comparten sus propias fotografías de documentos del . A lo largo del último año, con el patrocinio del , nuestro equipo ha fotografiado, transcrito, resumido y clasificado miles de documentos de la sección de avvisi del fondo Mediceo del Principato, en Florencia. La base de datos no se concibió para el análisis estadístico, pero los metadatos que hemos puesto a disposición del público pueden descargarse y usarse como conjuntos de datos.

El conjunto de datos

El conjunto que preparé para esta ocasión abarca todas las noticias llegadas de Levante entre 1543 y 1566, esto es, desde el primer avviso que registra el archivo hasta el año de la muerte del sultán . He aquí una muestra de lo que extraje del servidor: tres columnas con un número único de documento, un nombre de lugar y una fecha.

57386 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57386 Modon / Messinias, Nomos / Peloponnisos / Ellas 1565-1-3
57386 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57386 Evvoia / Evvoias, Nomos / Sterea Ellas-Evvoia / Ellas 1565-1-3
57386 Venetian Republic / Italia / Europe / World 1565-1-3
57386 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57386 Black Sea / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Otranto / Lecce / Puglia / Italia 1565-1-3
57389 Nisoi Aiyaiou / Ellas / Europe / World 1565-1-3
57389 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57389 Buda / Budapest / Budapest / Magyarorszag 1565-1-3
57389 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57389 Kipros / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Rodhos / Rodos, Nisos / Sporadhes / Nisoi Aiyaiou 1565-1-3
57389 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57389 Çorlu / Thraki / Ellas / Europe 1565-1-3

Limpieza de los datos

Para visualizar estos datos hay que convertirlos en un csv (valores separados por comas) legible, y traducir la información geográfica a un formato más «digerible» para la máquina: coordenadas GPS. Como el conjunto tiene cientos de entradas, más vale automatizar la operación, lo que puede hacerse con bastante rapidez y precisión mediante modelos de lenguaje preentrenados como , o , por citar solo algunos. Eso sí: conviene vigilar de cerca, porque estos modelos tienen cierta propensión a alucinar.

documentId,latitude,longitude,documentDate
57386,35.899167,14.514167,1565-1-3
57386,37.05,22.116667,1565-1-3
57386,31.200028,29.918719,1565-1-3
57386,38.366667,23.666667,1565-1-3
57386,45.438333,12.331333,1565-1-3
57386,41.018611,28.984444,1565-1-3
57386,42.7,18.8,1565-1-3
57389,40.216667,18.166667,1565-1-3
57389,37.966667,23.716667,1565-1-3
57389,35.899167,14.514167,1565-1-3
57389,47.4925,19.051389,1565-1-3
57389,31.200028,29.918719,1565-1-3
57389,34.916667,33.616667,1565-1-3
57389,36.405419,28.227778,1565-1-3
57389,41.018611,28.984444,1565-1-3
57389,41.133333,27.416667,1565-1-3

El mapa de densidad

Un mapa de densidad es una visualización que resalta la frecuencia con que un lugar aparece en un conjunto de datos. Sirve para apreciar no solo el alcance geográfico de los datos, sino también sus puntos focales. ¿Qué lugares del mapa se mencionan más a menudo, y cuáles solo de tanto en tanto? ¿Dónde están los centros, y a qué distancia queda la periferia? ¿En qué zona del mapa tenderá a fijarse la atención de un lector?

Para este experimento —y porque tenía prisa— recurrí a una de las API de . Muchas bibliotecas de visualización y sistemas de información geográfica permiten, con todo, producir el mismo tipo de mapa.

Algunas observaciones

El resultado tiene más de cuadro impresionista que de representación exacta de un concepto bien delimitado, y eso es justamente lo que me gusta de este experimento. Porque, si bien la ciencia de datos puede ser una gran aliada de las humanidades, no estamos obligados a jugar con sus reglas.

Otro aspecto interesante: el mapa revela un Levante plenamente integrado en el resto de Europa y del Mediterráneo. Subraya también la centralidad de Edirne en la geografía política del Imperio otomano. Por lo demás, la ciudad más relevante de la Monarquía española en el mapa no es Madrid ni El Escorial, sino Nápoles. Y no es lo de menos que las islas y las pequeñas ciudades-estado como Ragusa parezcan desempeñar un papel importante de mediación entre las distintas potencias de la región.

Cómo pedir datos a MIA

MIA es una herramienta colaborativa excelente para los investigadores, pero los datos que guarda en sus servidores no son de fácil acceso: su back-end, por ejemplo, no está publicado en ningún repositorio público. Aun así, puede obtenerlos registrándose en MIA y lanzando peticiones al servidor con Python.

Petición

url = "https://mia.medici.org/Mia/json/de/advancedsearch/advancedSearchResults/0/90/docYear/asc/?isNewsFeedSearch=False"
payload = [{"searchSection":"archivalLocationSearch","type":"archivalLocationAdvancedSearch","isActiveFilter":True,"repository":None,"collection":"Mediceo del Principato","series":None,"volume":"2863","insert":None},{"searchSection":"categoryAndTypologySearch","type":"categoryAndTypologyAdvancedSearch","isActiveFilter":True,"category":"News","typology":None},{"searchSection":"transcriptionSearch","type":"transcriptionAdvancedSearch","isActiveFilter":False,"transcription":""},{"isActiveFilter":False,"searchSection":"synopsisSearch","type":"synopsisAdvancedSearch","synopsis":""},{"searchSection":"placesSearch","type":"placesAdvancedSearch","isActiveFilter":False,"places":[]},{"searchSection":"peopleSearch","type":"peopleAdvancedSearch","isActiveFilter":False,"people":[]},{"searchSection":"topicsSearch","type":"topicsAdvancedSearch","isActiveFilter":True,"topics":[{"topicTitle":"Place Index","topicId":"51","placeAllId":""}]},{"searchSection":"dateSearch","type":"dateAdvancedSearch","isActiveFilter":False,"dateFilterType":"","dateYear":"","dateMonth":"","dateDay":"","dateBYear":"","dateBMonth":"","dateBDay":""},{"searchSection":"documentOwnerSearch","type":"documentOwnerAdvancedSearch","isActiveFilter":False,"editType":"owner","account":""},{"searchSection":"languagesSearch","type":"languagesAdvancedSearch","isActiveFilter":False,"languages":[]}]
headers = {'Content-type': 'application/json', 'Accept': '*/*'}
r = requests.post(url, data=json.dumps(payload), headers=headers, auth=('LOGIN','PASSWORD'))

No olvide sustituir LOGIN y PASSWORD por sus propias credenciales.

Guardar la respuesta en un archivo

with open('response.json', 'wb') as fd:
 for chunk in r.iter_content(chunk_size=128):
 fd.write(chunk)

Abrir el JSON

f = open('response.json', encoding="utf8")

Devolver el objeto JSON como diccionario

json_complete = json.load(f)

Seleccionar los datos del JSON e imprimirlos en formato CSV

with open('results.csv', 'w', newline='') as csvfile:
 fieldnames = ['documentId', 'placeCited', 'documentDate']
 writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
 writer.writeheader()
 for i in json_complete['data']:
 if i['topics'] != None:
 for x in i['topics']:
 documentId=x['documentId']
 placeCited=x['topicPlaceName']
 year=i['date']['docYear']
 month=i['date']['docMonth']
 day=i['date']['docDay']
 documentDate=str(year)+ "-" + str(month)+"-" + str(day)
 writer.writerow({'documentId': documentId, 'placeCited': placeCited, 'documentDate': documentDate})

Una vez descargado results.csv, puede pasar a limpiar los datos como se explicó más arriba.

Visualizar manuscritos 2 (actualización)

Sat, 20 Nov 2021 16:00:00 +0000

Como prometí, aquí va una nueva versión del treemap interactivo que presenté en una , esta vez con dos modos de visualización.

Nota

Para verlo mejor, asegúrese de que la página está en modo claro (pulse el icono de la luna, arriba a la derecha).

Group folios by category

Un navegador visual para el archivo

Sun, 20 Jun 2021 16:00:00 +0000

El problema

Las ediciones digitales viven en una paradoja: ponen documentos recónditos al alcance de un público más amplio, pero la pérdida de estímulos sensoriales que acarrea su desmaterialización tiende a desorientar al lector, cuando no a disuadirlo de adentrarse en su contenido. Moverse por vastos repositorios documentales resulta engorroso e intimidante, y no solo para quien carece de experiencia en la investigación de archivo: también para los lectores con deficiencias cognitivas.

La solución

Aquí es donde los metadatos archivísticos pueden sernos útiles. Con ellos se construyen abstracciones visuales interactivas que ofrecen al lector una entrada sensorial alternativa y mejoran, de paso, la ergonomía y la accesibilidad. Para que el archivo pueda recorrerse con la vista, un treemap (mapa de árbol), o cualquier diagrama que desglose con eficacia datos jerárquicos, puede servir.

El experimento

Mi primer experimento adapta el para D3.js y le añade hipervínculos. Representa el manuscrito BnF Ms. Fr. 640, sus folios y las entradas de cada folio; los colores indican la categoría dominante, y al pasar el cursor por una entrada aparecen más datos, incluido el enlace al manuscrito.
El treemap se convierte así en un índice visual interactivo que ofrece al lector una visión de conjunto, rápida y ágil, no solo del contenido del manuscrito, sino también de las dimensiones de cada folio y de cada entrada.
~~En los próximos meses seguiré dándole vueltas a esta idea con otros diagramas y otras jerarquías… ¡No se lo pierdan!~~ Para una nueva versión del treemap, pulse .

Nota

Para verlo mejor, asegúrese de que la página está en modo claro (pulse el icono de la luna, arriba a la derecha).

Click any cell to zoom in, or the top to zoom out.

El archivo de un vistazo

Mon, 24 May 2021 16:00:00 +0000

El problema

Los archivos históricos pueden ser de un desorden desalentador. El Mediceo del Principato del es un buen ejemplo: solo una pequeña parte está inventariada, y muchos de sus documentos andan dispersos, sin razón aparente, por más de 6500 volúmenes. Para colmo, el archivo solo permite consultar un número limitado de volúmenes —o filze, como los llaman allí—: cuatro filze al día en tiempos normales; en tiempos de pandemia, cuatro cada dos semanas. A falta de inventarios detallados, las dimensiones del archivo obligan al investigador a idear estrategias para dar pronto con los documentos que busca.

La solución

Unos se fían del azar; otros hacen además conjeturas fundadas a partir de la cronología, los destinatarios, los autores, el origen del fondo, la lengua, etc. Ahora bien, mirar todas esas variables a la vez puede sacar a la luz pautas insospechadas en la estructura del archivo y afinar nuestras conjeturas. Mi experiencia dice que los metadatos que los investigadores suelen acumular en una hoja de cálculo, una vez representados gráficamente, aumentan de forma notable la conciencia situacional en el archivo.

El experimento

Mi investigación actual gira en torno a la correspondencia de un espía del siglo XVI. Sus cartas están repartidas por cientos de filze: escritas bajo identidades distintas, a destinatarios distintos y a veces inesperados, desde lugares distintos, etc. Para localizar las filze con más probabilidades de contener las cartas que busco, he montado un panel (dashboard), una aplicación web de visualización interactiva ( ) que conecta datos de toda índole —geográficos y cronológicos, entre otros— con un diagrama jerárquico ( ) del fondo. El panel me dice de un vistazo qué se ha encontrado ya, cuánto representa y dónde podría, a grandes rasgos, buscar nuevas cartas. Y al pulsar sobre una variable concreta, todos los diagramas se actualizan para mostrar correlaciones específicas.

Próximos pasos

Más importante aún: el panel puede reconvertirse en índice visual. Cuando la edición crítica de estas cartas se publique en línea, servirá de punto de entrada alternativo desde el que los lectores podrán recorrer los datos. Por razones de confidencialidad, de momento solo puedo mostrar una captura de pantalla con partes tapadas, pero el año que viene publicaré el panel completo. Mientras tanto, pronto habrá un prototipo disponible. ¡No se lo pierdan!

Visualizar el marcado semántico del BnF Ms. Fr. 640

Sun, 20 Dec 2020 18:15:00 +0000

Panorama

Las ediciones críticas ricas en datos guardan valiosas anotaciones editoriales que se pueden extraer, analizar y visualizar con fines académicos de toda índole. Es el caso de , publicada en 2020, cuyo archivo de metadatos puede descargarse de su repositorio de GitHub. En esta entrada muestro cómo reunir todas esas variables en una matriz de correlación y visualizarlas de varias maneras.

Los datos

El Making and Knowing Project genera una hoja de cálculo con información actualizada sobre el contenido del manuscrito: entry_metadata.csv. El archivo está en el de Making & Knowing. También pueden generarse archivos .csv a medida, con más marcado, gracias al excelente de Matthew Kumar, una versión en Python del BnF Ms. Fr. 640.

Preparar Python

Usaremos Pandas para manipular los datos, Matplotlib y seaborn para los mapas de calor y, por último, NetworkX para construir redes a partir de las correlaciones.
Para variables de este tipo evitaremos el método de Pearson y recurriremos al método 𝜙𝐾. No deje de sobre este método de correlación y sobre PhiK, la biblioteca correspondiente.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

Preparar los datos

Descarguemos primero el último archivo de metadatos de la edición, en la carpeta metadata de su . Nos quedaremos solo con las columnas que necesitamos. Para esta demostración elijo todas las etiquetas semánticas de la traducción inglesa tl, pero también pueden tomarse las de la transcripción francesa tc o las de la versión normalizada tcn. Los datos vienen como valores separados por punto y coma, y necesitamos que Python los cuente por nosotros; lo haremos con el método stack-unstack y la expresión regular [^;\s][^\;]*[^;\s]*. Para que la matriz resulte más legible, renombramos cada columna. Si tiene prisa puede saltarse este paso; recuerde solo que, a estas alturas, nuestro dataframe se llama tagsrn.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

Correlacionar

Con el dataframe limpio, podemos calcular los coeficientes de correlación entre cada par de variables. En este punto es importante entender bien los datos y elegir el método de correlación más adecuado; el paquete pandas-profiling ayuda mucho en esa tarea.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag es nuestra matriz de correlación. Ahora podemos ensayar distintos tipos de visualización.

Visualizar

Lo primero que se puede probar es representarla como una matriz codificada por colores, con el de seaborn.

Mapa de calor de correlaciones

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

Quien conozca bien el texto verá enseguida que el mapa de calor tiene mucho sentido. Los nombres, por ejemplo, están fuertemente correlacionados con el latín, pues era costumbre —sobre todo entre los humanistas del siglo XVI— latinizarlos.

Se dirá que este mapa de calor no hace sino constatar lo evidente. No es del todo falso: a primera vista, las etiquetas médicas parecen dar la razón a quien lo diga, pues se correlacionan, como cabía esperar, con partes del cuerpo, medidas y plantas.

Pero si leemos el mapa con más atención, línea por línea, aparecen correlaciones interesantes e inesperadas. Que las etiquetas médicas se correlacionen con palabras italianas y latinas, por ejemplo, da pistas sobre el origen de las recetas médicas del Ms. Fr. 640. Del mismo modo, la correlación entre profesiones, definiciones y medidas muestra hasta qué punto la identidad profesional estructura el discurso técnico del siglo XVI.

Mapa de agrupamiento (clustermap) de correlaciones

Los mapas de calor son útiles en contextos «exploratorios», pero al público pueden parecerle algo enmarañados, sobre todo si uno está discutiendo —o todavía buscando— agrupaciones semánticas concretas en el manuscrito. El módulo clustermap de seaborn puede dar resultados interesantes.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

Además de parecer un insecto pixelado (sí, la palabra está en el OED), el clustermap separa con claridad las etiquetas aisladas (arriba y a la izquierda) de las más interconectadas. Se distinguen también agrupaciones aisladas, como música y poitevino (¡quién lo hubiera dicho!), frente a otras más centrales, como medidas, materiales, definiciones y armas. Las profesiones están más interconectadas, pero no forman parte, al menos en esta matriz, de ninguna agrupación en particular.

Red de correlaciones

Si queremos condensar aún más las correlaciones de la matriz, los grafos de red ofrecen una solución elegante, sobre todo cuando se trata de comunicar el contenido del manuscrito.
Para ello hay que convertir la matriz en una lista de aristas y nodos, y fijar un umbral que elimine del grafo las correlaciones más débiles.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

Si hay demasiadas aristas y nodos, siempre puede cambiar el umbral para obtener un resultado más limpio. O bien exportar el grafo con la función .write_gexf() y jugar con él en Gephi.

nx.write_gexf(G, 'graph.gexf')

El resultado puede verse al principio de esta entrada.

Actualización: red circular ponderada

Andaba buscando maneras de representar matrices de correlación como redes ponderadas cuando di con este interesante enfoque , que adapto aquí a nuestro conjunto de datos.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

Eliminadas unas cuantas aristas, podemos fijar su color y su grosor.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

Damos también a los nodos un tamaño proporcional a su número de conexiones.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

El resultado es un grafo ponderado que admite más nodos y bastantes más aristas sin dejar de ser legible e informativo.