Humanidades Digitales |

tei-mcp v0.3: codificar en TEI sin reescribir la fuente

Tue, 05 May 2026 00:00:00 +0000

Cuando , el objetivo era que los asistentes de IA dejaran de alucinar marcado TEI. El anclaje en el esquema (schema grounding) resolvió parte del problema: con acceso directo, mediante herramientas, a la especificación P5, el modelo ya no tiene que adivinar qué significa un elemento ni qué atributos acepta. La salida valida.

Pero en la codificación TEI la alucinación tiene dos caras, y el esquema solo atrapa una. Validar contra la especificación garantiza que el marcado está bien formado; no dice nada del texto que ese marcado envuelve. Y es ahí —en el texto mismo— donde anidan las alucinaciones más dañinas. La composición con intervalos bloqueados, la gran novedad de la v0.3, está pensada precisamente para impedirlas.

Índice

La alucinación que el esquema no atrapa

Pida a un modelo que codifique una carta francesa del siglo XVI y obtendrá, muchas veces, un documento TEI de aspecto impecable: la cabecera rellena, las etiquetas <persName> en su sitio, el <dateline> bien formado. Páselo por validate_document y lo supera.

Compare ahora el cuerpo con la fuente.

mesme se ha convertido en même. Una coma ha cambiado de sitio. luy se ha modernizado en silencio en lui. Una cláusula de lectura difícil en el manuscrito ha sido «corregida» hasta quedar más limpia. Nadie pidió ninguno de esos cambios; ninguno aparece señalado. El documento es válido según el esquema y está calladamente equivocado.

Para un flujo de trabajo archivístico —donde el texto codificado se convierte en el registro permanente del que dependerán lectores, índices de búsqueda y citas— este es el modo de fallo que más importa. Una etiqueta malformada es una molestia; una grafía modernizada que nadie advierte en cinco años es una corrupción.

La composición con intervalos bloqueados

La nueva versión (v0.3) incorpora un mecanismo de prevención de alucinaciones dirigido justo a ese modo de fallo. El objetivo de diseño es que las alucinaciones en el cuerpo del texto sean imposibles por construcción, no simplemente improbables.

La idea es sencilla: el modelo nunca teclea el cuerpo del texto.

El flujo de trabajo es, en cambio, el siguiente:

El modelo llama a get_source("letter_001") y recibe el texto plano de la fuente como cadena inmutable.
Por cada etiqueta que quiera aplicar, llama a tag_span("letter_001", start, end, element_path, attrs), con lo que registra un elemento TEI sobre un rango de caracteres de la fuente.
Al terminar, llama a compose("letter_001"). El servidor intercala las etiquetas registradas en el texto plano original, genera el TEI final y comprueba después, byte a byte, que el contenido textual plano del documento generado es idéntico a la fuente.

Si los bytes coinciden, el documento se devuelve. Si no —si las etiquetas del modelo implican de algún modo un cuerpo que se aparta de la fuente aunque sea en un solo carácter—, compose() lanza una excepción en lugar de entregar un documento corrupto.

No hay ningún camino en este flujo de trabajo por el que el modelo pueda producir un documento TEI cuyo cuerpo difiera de la fuente. El invariante es mecánico, no conductual. No hace falta confiar en que el modelo no alucine; basta confiar en una comprobación == entre dos cadenas de bytes.

Qué es esto, y qué no es

La composición con intervalos bloqueados complementa el anclaje en el esquema; no lo sustituye. Las herramientas de anclaje (validate_document, lookup_element, valid_children y el resto de las dieciséis originales) ayudan al modelo a producir TEI válido; la composición con intervalos bloqueados garantiza que el cuerpo del texto dentro de ese TEI sea fiel a la fuente. Un flujo de codificación que pueda desplegarse de verdad tiene que satisfacer ambos ejes, y ahora los dos quedan cubiertos por un solo servidor.

Tampoco es una varita mágica. compose() todavía no comprueba que las etiquetas registradas sean admisibles según la personalización ODD cargada; eso queda para más adelante. Las etiquetas registradas viven en la memoria del proceso y no sobreviven a un reinicio. Y los archivos fuente tienen que poder leerse desde donde se ejecute el servidor. Todo ello tiene arreglo; nada de ello socava el invariante central.

Por qué importa más allá de la TEI

El patrón se generaliza. Siempre que se pida a un modelo que anote, transforme o envuelva un fragmento de texto —y siempre que la integridad del texto importe más que la capacidad del modelo para «mejorarlo»— vale la misma forma de solución: no pedir al modelo que vuelva a teclear el texto, sino que produzca instrucciones sobre él, y dejar que un compositor determinista las aplique bajo un invariante de igualdad.

Para las ediciones digitales en particular, esto cambia lo que se puede pedir a un modelo con responsabilidad. De pronto, la codificación es una tarea que se puede delegar sin tener que cotejar a mano cada salida con la fuente. La máquina se ocupa de la parte tediosa; el editor revisa el marcado, no la ortografía.

Cómo obtener la actualización

Si ya tiene instalado tei-mcp:

uvx tei-mcp@latest

O desde cero:

pip install tei-mcp

Para usar la composición con intervalos bloqueados, apunte el servidor a un directorio con los archivos fuente en texto plano:

export TEI_MCP_SPAN_SOURCE_ROOT=/path/to/sources
uvx tei-mcp

El nombre base de cada archivo se convierte en su identificador de documento (letter_001.txt → letter_001).

Código fuente, documentación completa y notas de diseño del invariante:

Una edición digital de otro tipo

Tue, 24 Mar 2026 00:00:00 +0000

La mayoría de las fuentes primarias no llega nunca a publicarse. Y el modelo con que pretendemos remediarlo —la edición digital financiada con subvenciones— es demasiado caro, demasiado centralizado y demasiado frágil para funcionar a gran escala. Acabo de publicar en la que explico por qué estoy construyendo de otro modo la edición crítica de las cartas de Cavriana: fuentes primarias digitalizadas que crecen orgánicamente, con una infraestructura mínima y un mantenimiento automatizado, abiertas a la colaboración y tan baratas que ni siquiera hacen falta subvenciones. Es un alegato en favor de unas humanidades digitales que funcionen con o sin apoyo institucional.

tei-mcp

Sun, 15 Mar 2026 00:00:00 +0000

tei-mcp: TEI P5 para agentes de IA

tei-mcp es un servidor de código abierto que da a los asistentes de programación con IA acceso directo a la especificación . En lugar de fiarse de lo que memorizó durante el entrenamiento —fuente frecuente de marcado plausible pero incorrecto—, la IA puede consultar la especificación en tiempo real.

Funciones

El servidor analiza el ODD de TEI P5 y expone 16 herramientas:

Consultar cualquier elemento, clase, macro o módulo por su nombre, sin distinguir mayúsculas de minúsculas y con sugerencias en caso de errata
Resolver atributos a lo largo de toda la jerarquía de clases de la TEI (locales y heredados)
Expandir modelos de contenido en árboles estructurados, con resolución de clases y macros
Validar el anidamiento: relación directa padre-hijo o alcanzabilidad recursiva, con seguimiento de la ruta
Validar documentos contra TEI P5: modelos de contenido, atributos, listas cerradas de valores, integridad de las referencias y avisos de obsolescencia
Validar elementos sueltos para flujos de edición incremental
Cargar personalizaciones ODD que restringen el esquema al subconjunto propio de un proyecto
Buscar en todos los tipos de entidades con expresiones regulares

Instalación

pip install tei-mcp

O ejecútelo directamente con:

uvx tei-mcp

Uso

Añádalo a cualquier cliente compatible con MCP (Claude, Cursor, Windsurf, etc.):

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

El código fuente y la documentación están en el .

tei-mcp: TEI P5 para agentes de IA

Sun, 15 Mar 2026 00:00:00 +0000

Quien haya usado un asistente de programación con IA para escribir XML TEI habrá notado, seguramente, que se equivoca: aparecen elementos donde no deben, se inventan atributos, se ignoran las reglas de anidamiento. El modelo tiene una idea aproximada de qué aspecto tiene la TEI, pero ningún conocimiento fiable de la especificación.

tei-mcp resuelve el problema dando a los agentes de IA acceso directo, mediante herramientas, a las directrices TEI P5.

Índice

¿Qué es MCP?

El (MCP) es un estándar abierto que permite a las aplicaciones de IA conectarse con fuentes de datos y herramientas externas. Piénsese en él como en un puerto USB para la IA: un único protocolo con el que cualquier cliente compatible —Claude, Cursor, Windsurf y otros— puede enchufarse a servicios especializados.

Un servidor MCP expone herramientas que la IA puede invocar en mitad de una conversación. En vez de fiarse de lo que memorizó durante el entrenamiento, el modelo consulta una fuente viva y autorizada.

Qué hace tei-mcp

tei-mcp analiza la especificación ODD de TEI P5 y expone 16 herramientas que responden a las preguntas más frecuentes de un editor o codificador:

¿Qué es este elemento? Consulta de cualquier elemento, clase, macro o módulo por su nombre, sin distinguir mayúsculas de minúsculas y con sugerencias en caso de errata.
¿Qué atributos admite? Resolución de los atributos a lo largo de toda la jerarquía de clases: primero los locales, después los heredados, por orden.
¿Qué puede contener? Expansión de los modelos de contenido en árboles estructurados, o lista plana de los hijos válidos.
¿Puede ir aquí este elemento? Comprobación del anidamiento padre-hijo, o rastreo de la alcanzabilidad a través de toda la jerarquía de elementos.
¿Es válido mi documento? Validación de un archivo XML TEI contra la especificación: modelos de contenido, valores de atributos, listas cerradas de valores, integridad de las referencias y avisos de obsolescencia.
¿Y el esquema de mi proyecto? Carga de un archivo de personalización ODD que restringe todo lo anterior al subconjunto de la TEI propio de su proyecto.

Por qué importa

Codificar en TEI obliga a consultar las directrices sin descanso. Los codificadores experimentados interiorizan los patrones más comunes, pero hasta ellos tienen que mirar la especificación ante un elemento poco familiar o un modelo de contenido complejo. Para los asistentes de IA, que carecen de ese saber interiorizado, el problema es peor: alucinan un marcado de aspecto plausible pero incorrecto.

Con tei-mcp la IA no tiene que adivinar: puede buscar la respuesta en la especificación antes de escribir un solo paréntesis angular. El resultado es un marcado conforme a TEI P5, o a la personalización ODD de su proyecto.

Primeros pasos

Instálelo desde PyPI:

pip install tei-mcp

Añádalo después a la configuración de su cliente MCP:

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

El servidor descarga la especificación TEI la primera vez que se ejecuta y funciona con cualquier cliente compatible con MCP.

Código fuente y documentación completa:

Multi-Saxon

Fri, 28 Mar 2025 00:00:00 +0000

Multi-Saxon: XSLT en paralelo para grandes corpus TEI

Multi-Saxon cubre una laguna importante de las herramientas de procesamiento XML: permite ejecutar en paralelo transformaciones XSLT 2.0 y 3.0 que LXML (una biblioteca XML muy usada en Python) no puede manejar. Pensado para grandes colecciones de documentos XML TEI, Multi-Saxon acorta considerablemente los tiempos de procesamiento gracias a una ejecución paralela eficiente.

Características principales

Compatibilidad avanzada con XSLT: procesa transformaciones XSLT 2.0 y 3.0, fuera del alcance de LXML
Procesamiento en paralelo: la paralelización reduce drásticamente el tiempo de transformación de grandes colecciones de documentos
Optimizado para TEI: diseñado expresamente para documentos XML de la Text Encoding Initiative (TEI)
Rendimiento escalable: maneja con soltura corpus de cientos o miles de documentos
Multiplataforma: funciona en sistemas operativos y entornos distintos

El problema que resuelve Multi-Saxon

Quienes trabajan con TEI en humanidades digitales tropiezan a menudo con dos obstáculos:

LXML (una biblioteca habitual de procesamiento XML en Python) solo admite XSLT 1.0, lo que deja fuera las funciones más avanzadas de XSLT 2.0/3.0
Procesar grandes corpus de documentos TEI uno tras otro puede llevar un tiempo prohibitivo

Multi-Saxon resuelve ambos aprovechando las capacidades XSLT avanzadas de Saxon y repartiendo el trabajo entre varios núcleos, con ganancias de rendimiento notables.

Implementación

Multi-Saxon combina Python con el procesador Saxon de Java para formar una cadena de transformación de alto rendimiento:

Usa la biblioteca Saxon de Java para un procesamiento XSLT 2.0/3.0 robusto
Recurre al multiprocesamiento para distribuir las transformaciones entre los núcleos de CPU disponibles
Gestiona con eficiencia los grupos de procesos para maximizar el rendimiento
Ofrece una interfaz sencilla para procesar documentos TEI por lotes

Ejemplo de uso

from multi_saxon import MultiSaxon

# Initialize with your XSLT stylesheet
transformer = MultiSaxon("transform.xsl")

# Transform a single document
transformer.transform("input.xml", "output.xml")

# Transform an entire directory in parallel
transformer.transform_directory("input_dir", "output_dir")

Qué aporta a las humanidades digitales

A los proyectos de humanidades digitales que manejan grandes colecciones de documentos TEI, Multi-Saxon les permite:

Transformaciones complejas a escala de corpus, imposibles con LXML
Tiempos de procesamiento drásticamente menores (a menudo entre 5 y 10 veces, en sistemas multinúcleo)
Análisis más sofisticados gracias a las funciones avanzadas de XSLT 2.0/3.0
Un flujo de trabajo más simple para procesar colecciones enteras de documentos

El código fuente y la documentación están en el .

persNamer

Fri, 28 Mar 2025 00:00:00 +0000

persNamer: conectar la TEI con el Virtual International Authority File

persNamer es una herramienta especializada en Python que agiliza la integración en documentos XML TEI de los datos de autoridad sobre personas de VIAF (Virtual International Authority File). Al convertir los identificadores VIAF en marcado TEI listo para usar, persNamer reduce en buena medida el trabajo manual que supone crear entradas de persona estructuradas para una edición crítica digital.

El reto del control de autoridades en TEI

Las ediciones críticas digitales suelen exigir una identificación precisa de los personajes históricos, con sus nombres normalizados y sus fechas de nacimiento y muerte. Mantener un control de autoridades coherente en todo un proyecto exige:

Identificar a las personas en los textos históricos
Encontrar datos de autoridad sobre ellas
Crear entradas TEI con el formato correcto
Garantizar que las referencias sean coherentes en todo el proyecto

Todo ello suele hacerse a mano, lleva tiempo y se presta a incoherencias.

Cómo funciona persNamer

persNamer automatiza este flujo de trabajo en tres pasos:

Obtiene los datos de VIAF: a partir de un identificador VIAF, recupera los datos RDF mediante negociación de contenido HTTP
Extrae la información clave: analiza el RDF para extraer el nombre preferente y las fechas de nacimiento y muerte
Genera el marcado TEI: crea dos fragmentos XML esenciales:
- Una entrada del fichero de autoridades (elemento <person> con un xml:id generado, <persName>, <birth>, <death> e <idno type="VIAF">)
- Una etiqueta de anotación independiente (<persName> con un atributo ref que remite a la entrada de autoridad)

Esta doble salida permite al editor mantener un fichero de autoridades centralizado y, a la vez, insertar sin esfuerzo etiquetas de anotación en sus textos TEI.

Características principales

Identificadores normalizados: genera identificadores XML coherentes con el formato pers-[apellido]-[inicial del nombre] (p. ej., pers-deteligny-c)
Análisis de RDF: usa rdflib para extraer información de distintas propiedades RDF (p. ej., rdfs:label, schema:name, viaf:mainHead)
Interfaz de línea de comandos: se ejecuta con un número VIAF como único argumento obligatorio
Salida detallada: informa con detalle del procesamiento junto a la salida XML final

Ejemplo de uso

python persNamer.py 314802260

Este comando produce:

<person xml:id="pers-deteligny-c">
 <persName>Charles deTéligny</persName>
 <birth>1535</birth>
 <death>1572-08-24</death>
 <idno type="VIAF">314802260</idno>
</person>

<persName ref="#pers-deteligny-c">Charles deTéligny</persName>

Aplicaciones en humanidades digitales

persNamer resulta especialmente útil para:

Ediciones críticas digitales que necesitan control de autoridades
Proyectos de codificación TEI que trabajan con personajes históricos
Iniciativas de datos enlazados que conectan documentos con registros de autoridad
Garantizar la coherencia en grandes corpus TEI
Enseñar el control de autoridades en cursos de humanidades digitales

Implementación

persNamer está escrito en Python y depende de:

requests para las peticiones HTTP
rdflib para el análisis de RDF
lxml para el manejo de XML

El código fuente y la documentación están en el .

Convertir bibliografías a gran escala con modelos de lenguaje preentrenados

Thu, 07 Jul 2022 19:04:14 +0200

La automatización es la clave para abaratar los proyectos de humanidades digitales. Hasta hoy, las tareas repetitivas y tediosas del trabajo editorial en el mundo académico las han hecho, a un precio muy alto, investigadores desbordados, o bien se han «subcontratado» a los estudiantes. En esta sostengo que la mayoría de esas tareas ingratas no solo pueden automatizarse: deben automatizarse. Automatizar el trabajo editorial reduce el coste global de los proyectos de humanidades digitales y, lo que es decisivo, permite a los investigadores de regiones con pocos recursos publicar documentos valiosos con rapidez y a un precio asequible.

En mostré, por ejemplo, cómo los modelos de lenguaje preentrenados pueden hacerse cargo de la mayor parte del etiquetado XML de una edición digital.

En esta presento un segundo ejemplo, esta vez con la bibliografía.

El problema

Crear una base de datos bibliográfica con las referencias que cita un artículo académico no tiene mayor misterio: basta una búsqueda rápida en un catálogo como , descargar la referencia en el formato deseado o importarla automáticamente desde una base de datos local. Con uno o dos artículos, el método funciona. Pasado cierto número de referencias, sin embargo, la tarea se vuelve ingrata y devora el tiempo. Para remediarlo existen analizadores como , pero escalarlos no es fácil. Cuando usé anystyle para convertir los más de 150 ensayos académicos de nuestra , los errores se acumularon hasta volverse sencillamente inmanejables: no reconocía bien muchas de nuestras fuentes —confundía, por ejemplo, los largos títulos de los libros de la Edad Moderna con otra cosa— y se le escapaban los documentos menos convencionales, como páginas web concretas, vídeos en línea, etc. Los analizadores funcionan siempre que el autor siga a rajatabla una convención conocida —Chicago, Turabian, MLA—; en cuanto se aparta de la norma, llegan los errores.

La solución

Aquí es donde los modelos de lenguaje preentrenados pueden echar una mano: captan en un instante los patrones de cualquier estilo bibliográfico , incluso uno inventado por usted, y con unos pocos ejemplos convierten correctamente grandes cantidades de bibliografía ya formateada en una .

A comienzos de 2021 tuve la suerte de acceder de forma anticipada a , de OpenAI. Codex es un modelo que traduce el lenguaje natural a código y viceversa. OpenAI asegura que domina más de una docena de lenguajes de programación y, aunque su API sigue en fase beta mientras escribo estas líneas, ya mueve aplicaciones tan populares como , de GitHub.

Tras trastear un poco con la API, comprendí que también podía rendir muy bien con un código más simple, como BibTeX.

De hecho, me bastaron cuatro ejemplos en el prompt de entrada para que funcionara de forma fiable.

Prompt de entrada

References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009.

Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015.

Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. .

Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994.

@incollection{bayle2009,
 author = {Bayle, Ariane},
 booktitle = {Vulgariser la médecine. Du style médical en France et en Italie},
 title = {Patients exemplaires: la correspondance médicale de Fioravanti},
 editor = {Carlino, Andrea and Michel Jeanneret},
 year = {2009},
 address = {Geneva},
 publisher = {Droz},
 langid = {french}
}
@book{berns2015,
 title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth},
 author = {Berns, Andrew D.},
 address = {Cambridge},
 publisher = {Cambridge University Press},
 langid = {english},
 date = {2015}
}
@article{gabler2010,
 author = {Gabler, Hans Walter},
 title = {Theorizing the Digital Scholarly Edition},
 journal = {Literature Compass},
 volume = {7},
 number = {2},
 pages = {43-56},
 doi = {10.1111/j.1741-4113.2009.00675.x},
 langid = {english},
 year = {2010}
}
@book{findlen1994,
 title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy},
 author = {Findlen, Paula},
 address = {Berkeley},
 publisher = {University of California Press},
 langid = {english},
 date = {1994}
}

Resultados

Los son llamativos: más de 2000 referencias bibliográficas convertidas en cuestión de días. El método no solo reprodujo con exactitud el patrón de mi prompt, sino que añadió por su cuenta, y correctamente, tipos de entrada y de campo que no figuraban en él. GPT-3, dicho de otro modo, habla BibTeX con toda fluidez. Y, lo que acaso sorprenda más en un modelo entrenado sobre todo en inglés, reconoció todas las lenguas (ruso, francés, italiano, latín, griego, alemán, español, etc.) y añadió en cada caso el campo langid correcto.

Nota

Por ahora, GPT-3 tiene un tamaño de entrada y de salida limitado: procesa como máximo 2048 tokens lingüísticos. En cuanto se levante esa limitación, la misma tarea llevará probablemente una hora o menos.

Algo inesperadamente, GPT-3 añadió además información que no estaba en las referencias originales.

Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015.

En esta referencia, por ejemplo, GPT-3 añadió el enlace permanente al repositorio de acceso abierto ( ) donde puede leerse el artículo, con los campos ad hoc HAL_ID y HAL_VERSION que crea el propio repositorio:

@inproceedings{baillot2015,
 title = {Editing for Man and Machine},
 author = {Baillot, Anne and Busch, Anna},
 year = 2015,
 booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting},
 address = {Leicester},
 series = {Variants (Journal of the European Society for Textual Scholarship)},
 volume = 13,
 editor = {Bruhn, Siglinde and Schreiber, Manfred},
 langid = {english},
 hal_id = {halshs-01233380},
 hal_version = {v1}
}

Estos añadidos indican que GPT-3 no se limita a analizar la referencia bibliográfica: la completa con lo que aprendió en su día. Sería interesante, en este sentido, comprobar si hace lo mismo con referencias posteriores a su entrenamiento…

Limitaciones

GPT-3 no es perfecto, sin embargo, y necesita la supervisión de un ser humano. Una de sus limitaciones conocidas es la : a veces inventa cosas y hace suposiciones improbables.

En mi experimento, los arrebatos de incoherencia de GPT-3 se hicieron patentes cuando cambió por su cuenta el apellido de un autor, de «Ruscelli» a «Ruscello». En rigor no es un error, pues los apellidos italianos de la Edad Moderna se usaban indistintamente en singular o en plural. Pero la convención actual manda conservar el apellido tal como está, en singular o en plural: hoy nadie llama Machiavello a Machiavelli, del mismo modo que se espera que escribamos Rossello y no Rosselli. ¿Ignoró GPT-3 la convención por falta de conciencia cronológica? ¿O hizo una suposición a partir de los apellidos vecinos, que en esta parte de la bibliografía están todos, casualmente, en singular (Bariletto, Cesano, Rossello)? Quién sabe.

@book{rossello1565,
 title = {Della summa de’ secreti universali},
 author = {Rossello, Timoteo},
 address = {Venice},
 publisher = {Giovanni Bariletto},
 langid = {italian},
 date = {1565}
}
@book{ruscello1559,
 title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese},
 author = {Ruscello, Girolamo},
 address = {Pesaro},
 publisher = {Bartolomeo Cesano},
 langid = {italian},
 date = {1559}
}

Conclusión

Escritos a lo largo de cuatro años de intensa colaboración, los más de 150 ensayos no solo aportan información esencial sobre el manuscrito que editamos y tradujimos: contienen también una valiosa información bibliográfica.

Reunir esas referencias en una base de datos permite a los editores cambiar el formato bibliográfico en un abrir y cerrar de ojos y presentar la información como mejor les parezca. La base de datos dice además mucho sobre la edición y sobre el proyecto que la hizo posible, y abre nuevas perspectivas de análisis a los investigadores. Y puede completarse con gran precisión y en un plazo récord.

Es verdad que algún error puede colarse, sobre todo por la propensión de GPT-3 a alucinar. Pero las próximas generaciones de modelos de lenguaje preentrenados atenuarán el problema.

Avviso | Publicar las noticias que nos hicieron modernos (1537—1743)

Sun, 12 Dec 2021 00:00:00 +0000

El proyecto Avviso tiene por objetivo principal digitalizar, conservar, catalogar, editar, contextualizar y difundir las 35 000 hojas de noticias manuscritas de la Edad Moderna —los llamados avvisi— que formaban parte de la colección de los Médici y se conservan hoy en el Archivio di Stato di Firenze. Catalogación, digitalización y difusión de unos 35 000 avvisi, hojas de noticias manuscritas de la Edad Moderna, a través de la plataforma Medici Interactive Archive del Medici Archive Project.

Edición eficiente

Sun, 12 Dec 2021 00:00:00 +0000

Las ediciones críticas digitales salen caras. La transcripción, la traducción y la anotación, que exigen una mano de obra muy cualificada, suman miles de horas de trabajo y requieren una financiación considerable, además de un apoyo institucional sostenido en el tiempo.

En cierto modo, es una suerte que los proyectos más visibles de las humanidades digitales consigan las enormes sumas que necesitan para funcionar.

Ahora bien, depender de la munificencia de fundaciones acaudaladas, universidades y organismos públicos, y necesitar durante años un despliegue considerable de recursos humanos, no es un modelo económico con futuro. Aunque cada vez más investigadores puedan permitirse ambiciosas ediciones digitales de fuentes primarias, la práctica sigue siendo privilegio de unos pocos países ricos, cuya hegemonía cultural refuerza.

Para que los documentos históricos de todo el mundo lleguen a un público más amplio, el coste de las ediciones críticas digitales tendría que bajar varios órdenes de magnitud .

En esta serie de entradas evalúo los distintos enfoques y piezas tecnológicas con que investigadores de cualquier lugar del mundo pueden publicar fuentes primarias más deprisa y con un gasto mínimo.

Me detendré, en particular, en tecnologías como el aprendizaje automático, la cadena de bloques (blockchain) y el almacenamiento descentralizado.

Automatizar el marcado en las ediciones críticas digitales

Mon, 22 Nov 2021 18:15:00 +0000

Introducción

¿Cómo producir ediciones críticas digitales sin dejarse en ellas el presupuesto? En esta entrada, primera de una serie dedicada a la edición eficiente, examino el papel que pueden desempeñar los modelos de lenguaje preentrenados en la automatización de tareas editoriales como el marcado semántico.

Índice

El problema

Una labor de amor

En el amor no se mira el gasto… o eso dice el refrán. Y a las ediciones críticas digitales se les aplica con especial justicia: la transcripción, la traducción y la anotación que exigen suman miles de horas de trabajo, a cargo —como en el caso de — de cientos de colaboradores altamente cualificados.

En cierto modo, es una suerte que los proyectos más visibles de las humanidades digitales consigan las enormes sumas que necesitan para funcionar. Ahora bien, depender de la munificencia de fundaciones acaudaladas, universidades y organismos públicos, y necesitar durante años un despliegue considerable de recursos humanos, no es un modelo económico con futuro.

En rigor, si queremos animar a investigadores de todo el mundo a poner los documentos históricos al alcance de un público más amplio, el coste de las ediciones críticas digitales tendría que bajar varios órdenes de magnitud .

Un listón muy alto

Paradójicamente, la solución puede venir de proyectos tan intensivos en trabajo como , pues constituyen un valioso conjunto de entrenamiento con el que automatizar algunas de las tareas más ingratas y repetitivas de la edición digital, empezando por el marcado.

No es que el marcado sea cosa menor. Al contrario: se ha convertido en el componente indispensable de cualquier proyecto digital serio. Normalizado por la , permite registrar cuantos aspectos se quiera del documento y del texto que transmite: estructura, notas marginales, tachaduras, variantes, tipo de papel, manchas, caligrafía… Lo que se le ocurra.

El siguiente ejemplo, tomado de , muestra cómo el marcado enriquece el texto con información añadida (categoría, estructura, campos semánticos, tachaduras, etc.), y da así a las ediciones digitales una ventaja considerable sobre sus antepasadas de papel.

Texto plano Marcado XML

Texto plano	Marcado XML
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

Esta información no solo vale con fines archivísticos; como he mostrado en otras ocasiones, sirve también para la síntesis y el análisis. Con todo, anotar así un texto puede llevar muchísimo tiempo, sobre todo porque el mismo texto suele tener que existir en varias versiones: traducción, transcripción, modernización, etc.

La solución

Los transformadores: ¿el camino más corto hacia la automatización?

En 2020, presentó a bombo y platillo su última familia de modelos de lenguaje de gran escala y propósito general, GPT-3, siglas de «Generative Pre-trained Transformer 3». Los transformadores son un avance reciente de la inteligencia artificial: aprenden tareas nuevas con una rapidez asombrosa, con solo leer una instrucción (prompt) y ver un puñado de ejemplos. Admiten además un entrenamiento adicional con datos ad hoc (el fine-tuning o ajuste fino), que mejora la latencia y la precisión. De ahí que se diga que GPT-3 y sus semejantes son (few-shot learners).

Según OpenAI, GPT-3 contiene la cifra récord de 175 000 millones de parámetros y se ha entrenado con más de 570 GB de texto, en su mayoría documentos en inglés extraídos, cabe suponer, de . Por su mero tamaño, GPT-3 ha fijado un nuevo estándar en el campo, y ejecuta de entrada las tareas más variadas con un realismo inquietante: escribe verosímiles, en salas de chat, , , traduce documentos, explica la jerga de las profesiones, etc.

Con acceso anticipado a la API de OpenAI desde mayo de 2021, he podido poner a prueba la capacidad del modelo para resolver tareas de reconocida dificultad: traducir al inglés poesía francesa y textos neolatinos, explicar analogías e incluso simplificar el libro 4 de la Fundamentación de la metafísica de las costumbres de Kant para un niño de siete años (sin demasiado éxito, hay que decirlo).

Codex

Uno de los últimos desarrollos de GPT-3 se ocupa de los lenguajes de programación. Se llama Codex y traduce el lenguaje natural a código, y viceversa. Si busco, por ejemplo, una expresión regular que me permita «encontrar solo las palabras que empiezan por mayúscula», GPT-3 la convierte al instante en una expresión regular que funciona: [A-Z]+\w+.

OpenAI asegura que Codex maneja una docena de lenguajes, entre ellos Python, JavaScript, Go, Perl, PHP, Ruby y Swift. Al pasar del pseudocódigo al código sin fisuras, Codex permite concentrarse no en la sintaxis puntillosa de un lenguaje, sino en los pasos lógicos y las estrategias con que una aplicación resuelve un problema.

Más allá de OpenAI

OpenAI no es, desde luego, el único actor en escena. Como ya se ha dicho, la Academia de Inteligencia Artificial de Pekín anunció en 2021 un modelo aún mayor y más capaz, Wu Dao 2. Nvidia y Microsoft unieron fuerzas para producir el modelo Megatron-Turing NLG 530B, de nombre bien elegido. Empresas emergentes de menor tamaño, como y , ofrecen también sus API al público, y merecen mención iniciativas de código abierto como . El panorama, claro está, cambia a gran velocidad; para seguir las novedades del campo, consulte .

Los experimentos

Nota

El objetivo de estos experimentos es dar con el camino más económico hacia una automatización fiable de las tareas editoriales. Se dirá que algunas podrían automatizarse también con algoritmos de aprendizaje supervisado; exploraremos esa hipótesis en una próxima entrada.

¿Puede un transformador como GPT-3 aprender a anotar, pongamos por caso, un manuscrito técnico y científico del siglo XVI?

Experimento 1: categorizar textos

Empecemos por algo relativamente sencillo. Como «aprendiz con pocos ejemplos», GPT-3 debería captar en poco tiempo el modo en que nuestro equipo editorial ha clasificado las entradas del Ms. Fr. 640.

Diseño del prompt

Para entrenarlo usé un prompt mínimo y elegí como ejemplos cuatro entradas breves en texto plano, entre ellas una de «medicina», otra de «armas y armaduras» y otra de «pintura».

Prueba

Después copié un pasaje que no formaba parte de la secuencia inicial:

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

El resultado se ajusta perfectamente al contenido:

<categories="painting">

Si probamos con una entrada de una categoría que ni siquiera figuraba entre los textos elegidos para entrenar a GPT-3, el resultado sorprende.

<categories="jewelry">

Resultado

La categoría «jewelry» (joyería) no existe en nuestra edición del Ms. Fr. 640: el equipo editorial la más amplia de «Stones» (piedras). La intuición de GPT-3, sin embargo, es buena, y hace pensar que con un poco más de entrenamiento podría aprender a categorizar cualquier entrada del Ms. Fr. 640, y acaso las de otros textos técnicos del siglo XVI.

Experimento 2: marcado semántico

Subamos el listón. Si un transformador como GPT-3 puede aprender a categorizar textos según criterios editoriales concretos, ¿podrá también identificar parte de su marcado?

Nota

Secrets of Craft and Nature ofrece una de etiquetas semánticas y estructurales. Por desgracia, GPT-3 no procesa imágenes, a diferencia de otros proyectos como . Es probable que futuras versiones de GPT incorporen esa capacidad, imprescindible para reconocer la mayoría de los aspectos estructurales y materiales de un documento. Dejaremos de lado esas etiquetas y nos centraremos en el marcado que no exige reconocer imágenes.

Diseño del prompt

Las etiquetas semánticas señalan animales, plantas, topónimos, percepciones sensoriales, etc. Para el prompt de entrenamiento escogí unos cuantos ejemplos de la edición:

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

Prueba

Probemos con el modelo Davinci-codex unas cuantas palabras fáciles: Apothecary (boticario), smoke (humo), glassmakers (vidrieros), latten (latón) y snake (serpiente). El resultado es inmediato e impecable:

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

Una prueba más exigente es la de las palabras compuestas, como copper plates (planchas de cobre), walnut oil (aceite de nuez) y wood block (taco de madera): se trata de ver si GPT-3 maneja bien las etiquetas anidadas.

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

Aquí el resultado es desigual: Davinci-codex solo etiquetó bien walnut oil, y no detectó las etiquetas anidadas tl y m en copper plates y wood block. Ahora bien, como muestra la siguiente prueba, estos errores se corrigen con un prompt de entrenamiento mejor. Tras añadir cinco ejemplos más de etiquetas anidadas, Davinci-codex devolvió un resultado casi perfecto, con un solo fallo (oil paintbrushes):

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

Conclusión

Conviene no olvidar que estas pruebas se hicieron con fragmentos de texto muy breves. Sospecho que, con más contexto en los ejemplos y en el prompt, los modelos GPT-3 rendirían aún mejor; y el ajuste fino con datos de entrenamiento ad hoc mejoraría sin duda la precisión del etiquetado.
Aunque haría falta repetir estos experimentos a mayor escala para demostrar la fiabilidad de los modelos de lenguaje preentrenados, sí cabe concluir que este enfoque permite a los editores automatizar varias tareas de anotación en unos pocos pasos, con un ahorro potencial enorme de tiempo y dinero.

Visualizar manuscritos 2 (actualización)

Sat, 20 Nov 2021 16:00:00 +0000

Como prometí, aquí va una nueva versión del treemap interactivo que presenté en una , esta vez con dos modos de visualización.

Nota

Para verlo mejor, asegúrese de que la página está en modo claro (pulse el icono de la luna, arriba a la derecha).

Group folios by category

Un navegador visual para el archivo

Sun, 20 Jun 2021 16:00:00 +0000

El problema

Las ediciones digitales viven en una paradoja: ponen documentos recónditos al alcance de un público más amplio, pero la pérdida de estímulos sensoriales que acarrea su desmaterialización tiende a desorientar al lector, cuando no a disuadirlo de adentrarse en su contenido. Moverse por vastos repositorios documentales resulta engorroso e intimidante, y no solo para quien carece de experiencia en la investigación de archivo: también para los lectores con deficiencias cognitivas.

La solución

Aquí es donde los metadatos archivísticos pueden sernos útiles. Con ellos se construyen abstracciones visuales interactivas que ofrecen al lector una entrada sensorial alternativa y mejoran, de paso, la ergonomía y la accesibilidad. Para que el archivo pueda recorrerse con la vista, un treemap (mapa de árbol), o cualquier diagrama que desglose con eficacia datos jerárquicos, puede servir.

El experimento

Mi primer experimento adapta el para D3.js y le añade hipervínculos. Representa el manuscrito BnF Ms. Fr. 640, sus folios y las entradas de cada folio; los colores indican la categoría dominante, y al pasar el cursor por una entrada aparecen más datos, incluido el enlace al manuscrito.
El treemap se convierte así en un índice visual interactivo que ofrece al lector una visión de conjunto, rápida y ágil, no solo del contenido del manuscrito, sino también de las dimensiones de cada folio y de cada entrada.
~~En los próximos meses seguiré dándole vueltas a esta idea con otros diagramas y otras jerarquías… ¡No se lo pierdan!~~ Para una nueva versión del treemap, pulse .

Nota

Para verlo mejor, asegúrese de que la página está en modo claro (pulse el icono de la luna, arriba a la derecha).

Click any cell to zoom in, or the top to zoom out.

El archivo de un vistazo

Mon, 24 May 2021 16:00:00 +0000

El problema

Los archivos históricos pueden ser de un desorden desalentador. El Mediceo del Principato del es un buen ejemplo: solo una pequeña parte está inventariada, y muchos de sus documentos andan dispersos, sin razón aparente, por más de 6500 volúmenes. Para colmo, el archivo solo permite consultar un número limitado de volúmenes —o filze, como los llaman allí—: cuatro filze al día en tiempos normales; en tiempos de pandemia, cuatro cada dos semanas. A falta de inventarios detallados, las dimensiones del archivo obligan al investigador a idear estrategias para dar pronto con los documentos que busca.

La solución

Unos se fían del azar; otros hacen además conjeturas fundadas a partir de la cronología, los destinatarios, los autores, el origen del fondo, la lengua, etc. Ahora bien, mirar todas esas variables a la vez puede sacar a la luz pautas insospechadas en la estructura del archivo y afinar nuestras conjeturas. Mi experiencia dice que los metadatos que los investigadores suelen acumular en una hoja de cálculo, una vez representados gráficamente, aumentan de forma notable la conciencia situacional en el archivo.

El experimento

Mi investigación actual gira en torno a la correspondencia de un espía del siglo XVI. Sus cartas están repartidas por cientos de filze: escritas bajo identidades distintas, a destinatarios distintos y a veces inesperados, desde lugares distintos, etc. Para localizar las filze con más probabilidades de contener las cartas que busco, he montado un panel (dashboard), una aplicación web de visualización interactiva ( ) que conecta datos de toda índole —geográficos y cronológicos, entre otros— con un diagrama jerárquico ( ) del fondo. El panel me dice de un vistazo qué se ha encontrado ya, cuánto representa y dónde podría, a grandes rasgos, buscar nuevas cartas. Y al pulsar sobre una variable concreta, todos los diagramas se actualizan para mostrar correlaciones específicas.

Próximos pasos

Más importante aún: el panel puede reconvertirse en índice visual. Cuando la edición crítica de estas cartas se publique en línea, servirá de punto de entrada alternativo desde el que los lectores podrán recorrer los datos. Por razones de confidencialidad, de momento solo puedo mostrar una captura de pantalla con partes tapadas, pero el año que viene publicaré el panel completo. Mientras tanto, pronto habrá un prototipo disponible. ¡No se lo pierdan!

Making & Knowing Project

Sun, 27 Dec 2020 00:00:00 +0000

El , fundado en 2014 por Pamela H. Smith y con cientos de colaboradores, es una iniciativa de investigación y docencia del de la Universidad de Columbia.

Como investigador posdoctoral participé en el proyecto y trabajé, entre otras cosas, en la del BnF Ms. Fr. 640, un manuscrito francés del siglo XVI, único en su género, que permite asomarse de primera mano al hacer y a los materiales de una época en que los artistas eran científicos.

La edición digital pone a libre disposición una gran cantidad de datos en su . A lo largo del próximo año pienso publicar una serie de entradas sobre la edición y sus datos, en las que mostraré lo fácil que es descargar y analizar el texto con Python o R. ¡No se lo pierdan!

Visualizar el marcado semántico del BnF Ms. Fr. 640

Sun, 20 Dec 2020 18:15:00 +0000

Panorama

Las ediciones críticas ricas en datos guardan valiosas anotaciones editoriales que se pueden extraer, analizar y visualizar con fines académicos de toda índole. Es el caso de , publicada en 2020, cuyo archivo de metadatos puede descargarse de su repositorio de GitHub. En esta entrada muestro cómo reunir todas esas variables en una matriz de correlación y visualizarlas de varias maneras.

Los datos

El Making and Knowing Project genera una hoja de cálculo con información actualizada sobre el contenido del manuscrito: entry_metadata.csv. El archivo está en el de Making & Knowing. También pueden generarse archivos .csv a medida, con más marcado, gracias al excelente de Matthew Kumar, una versión en Python del BnF Ms. Fr. 640.

Preparar Python

Usaremos Pandas para manipular los datos, Matplotlib y seaborn para los mapas de calor y, por último, NetworkX para construir redes a partir de las correlaciones.
Para variables de este tipo evitaremos el método de Pearson y recurriremos al método 𝜙𝐾. No deje de sobre este método de correlación y sobre PhiK, la biblioteca correspondiente.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

Preparar los datos

Descarguemos primero el último archivo de metadatos de la edición, en la carpeta metadata de su . Nos quedaremos solo con las columnas que necesitamos. Para esta demostración elijo todas las etiquetas semánticas de la traducción inglesa tl, pero también pueden tomarse las de la transcripción francesa tc o las de la versión normalizada tcn. Los datos vienen como valores separados por punto y coma, y necesitamos que Python los cuente por nosotros; lo haremos con el método stack-unstack y la expresión regular [^;\s][^\;]*[^;\s]*. Para que la matriz resulte más legible, renombramos cada columna. Si tiene prisa puede saltarse este paso; recuerde solo que, a estas alturas, nuestro dataframe se llama tagsrn.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

Correlacionar

Con el dataframe limpio, podemos calcular los coeficientes de correlación entre cada par de variables. En este punto es importante entender bien los datos y elegir el método de correlación más adecuado; el paquete pandas-profiling ayuda mucho en esa tarea.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag es nuestra matriz de correlación. Ahora podemos ensayar distintos tipos de visualización.

Visualizar

Lo primero que se puede probar es representarla como una matriz codificada por colores, con el de seaborn.

Mapa de calor de correlaciones

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

Quien conozca bien el texto verá enseguida que el mapa de calor tiene mucho sentido. Los nombres, por ejemplo, están fuertemente correlacionados con el latín, pues era costumbre —sobre todo entre los humanistas del siglo XVI— latinizarlos.

Se dirá que este mapa de calor no hace sino constatar lo evidente. No es del todo falso: a primera vista, las etiquetas médicas parecen dar la razón a quien lo diga, pues se correlacionan, como cabía esperar, con partes del cuerpo, medidas y plantas.

Pero si leemos el mapa con más atención, línea por línea, aparecen correlaciones interesantes e inesperadas. Que las etiquetas médicas se correlacionen con palabras italianas y latinas, por ejemplo, da pistas sobre el origen de las recetas médicas del Ms. Fr. 640. Del mismo modo, la correlación entre profesiones, definiciones y medidas muestra hasta qué punto la identidad profesional estructura el discurso técnico del siglo XVI.

Mapa de agrupamiento (clustermap) de correlaciones

Los mapas de calor son útiles en contextos «exploratorios», pero al público pueden parecerle algo enmarañados, sobre todo si uno está discutiendo —o todavía buscando— agrupaciones semánticas concretas en el manuscrito. El módulo clustermap de seaborn puede dar resultados interesantes.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

Además de parecer un insecto pixelado (sí, la palabra está en el OED), el clustermap separa con claridad las etiquetas aisladas (arriba y a la izquierda) de las más interconectadas. Se distinguen también agrupaciones aisladas, como música y poitevino (¡quién lo hubiera dicho!), frente a otras más centrales, como medidas, materiales, definiciones y armas. Las profesiones están más interconectadas, pero no forman parte, al menos en esta matriz, de ninguna agrupación en particular.

Red de correlaciones

Si queremos condensar aún más las correlaciones de la matriz, los grafos de red ofrecen una solución elegante, sobre todo cuando se trata de comunicar el contenido del manuscrito.
Para ello hay que convertir la matriz en una lista de aristas y nodos, y fijar un umbral que elimine del grafo las correlaciones más débiles.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

Si hay demasiadas aristas y nodos, siempre puede cambiar el umbral para obtener un resultado más limpio. O bien exportar el grafo con la función .write_gexf() y jugar con él en Gephi.

nx.write_gexf(G, 'graph.gexf')

El resultado puede verse al principio de esta entrada.

Actualización: red circular ponderada

Andaba buscando maneras de representar matrices de correlación como redes ponderadas cuando di con este interesante enfoque , que adapto aquí a nuestro conjunto de datos.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

Eliminadas unas cuantas aristas, podemos fijar su color y su grosor.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

Damos también a los nodos un tamaño proporcional a su número de conexiones.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

El resultado es un grafo ponderado que admite más nodos y bastantes más aristas sin dejar de ser legible e informativo.

La correspondencia secreta de Filippo Cavriana, 1568—1589.

Fri, 27 Dec 2019 00:00:00 +0000

Las cartas secretas de Filippo Cavriana son un testimonio único de las guerras de religión de Francia: durante más de veinte años dan cuenta de las intrigas, las batallas, las negociaciones y las conspiraciones que marcaban el pulso de la corte de Francia y de más allá.

Las cartas, conservadas en el , están en su mayoría dispersas por cientos de legajos sin inventariar —filze, como los llaman en Florencia—. En los últimos años he podido descubrir decenas de cartas nuevas, pero este tipo de investigación de archivo se vuelve cada vez más difícil: la distancia que me separa de Florencia, el deterioro de algunos servicios públicos en Italia y la pandemia de covid-19 se conjugan para hacer de estos proyectos de publicación un proceso largo e incierto.

Pese a las dificultades crecientes, publicar fuentes primarias debería seguir formando parte del oficio del historiador. Lo que probablemente deba cambiar es la forma de esas publicaciones: no solo tendrían que adaptarse a la situación que acabo de describir, sino reflejar mejor el carácter incremental de esta investigación y hacer posible que otro la continúe.

De ahí la idea de desarrollar un nuevo tipo de proyecto de publicación digital: escalable, sostenible, fiable, independiente de la plataforma y, en potencia, colaborativo.

La edición ya está en línea: . Reúne las cartas transcritas hasta la fecha, procedentes de los archivos estatales de Florencia y de Mantua y de la BnF, y crece a medida que salen a la luz otras nuevas. He explicado las razones de su diseño en .