Edición Eficiente |

Convertir bibliografías a gran escala con modelos de lenguaje preentrenados

Thu, 07 Jul 2022 19:04:14 +0200

La automatización es la clave para abaratar los proyectos de humanidades digitales. Hasta hoy, las tareas repetitivas y tediosas del trabajo editorial en el mundo académico las han hecho, a un precio muy alto, investigadores desbordados, o bien se han «subcontratado» a los estudiantes. En esta sostengo que la mayoría de esas tareas ingratas no solo pueden automatizarse: deben automatizarse. Automatizar el trabajo editorial reduce el coste global de los proyectos de humanidades digitales y, lo que es decisivo, permite a los investigadores de regiones con pocos recursos publicar documentos valiosos con rapidez y a un precio asequible.

En mostré, por ejemplo, cómo los modelos de lenguaje preentrenados pueden hacerse cargo de la mayor parte del etiquetado XML de una edición digital.

En esta presento un segundo ejemplo, esta vez con la bibliografía.

El problema

Crear una base de datos bibliográfica con las referencias que cita un artículo académico no tiene mayor misterio: basta una búsqueda rápida en un catálogo como , descargar la referencia en el formato deseado o importarla automáticamente desde una base de datos local. Con uno o dos artículos, el método funciona. Pasado cierto número de referencias, sin embargo, la tarea se vuelve ingrata y devora el tiempo. Para remediarlo existen analizadores como , pero escalarlos no es fácil. Cuando usé anystyle para convertir los más de 150 ensayos académicos de nuestra , los errores se acumularon hasta volverse sencillamente inmanejables: no reconocía bien muchas de nuestras fuentes —confundía, por ejemplo, los largos títulos de los libros de la Edad Moderna con otra cosa— y se le escapaban los documentos menos convencionales, como páginas web concretas, vídeos en línea, etc. Los analizadores funcionan siempre que el autor siga a rajatabla una convención conocida —Chicago, Turabian, MLA—; en cuanto se aparta de la norma, llegan los errores.

La solución

Aquí es donde los modelos de lenguaje preentrenados pueden echar una mano: captan en un instante los patrones de cualquier estilo bibliográfico , incluso uno inventado por usted, y con unos pocos ejemplos convierten correctamente grandes cantidades de bibliografía ya formateada en una .

A comienzos de 2021 tuve la suerte de acceder de forma anticipada a , de OpenAI. Codex es un modelo que traduce el lenguaje natural a código y viceversa. OpenAI asegura que domina más de una docena de lenguajes de programación y, aunque su API sigue en fase beta mientras escribo estas líneas, ya mueve aplicaciones tan populares como , de GitHub.

Tras trastear un poco con la API, comprendí que también podía rendir muy bien con un código más simple, como BibTeX.

De hecho, me bastaron cuatro ejemplos en el prompt de entrada para que funcionara de forma fiable.

Prompt de entrada

References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009.

Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015.

Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. .

Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994.

@incollection{bayle2009,
 author = {Bayle, Ariane},
 booktitle = {Vulgariser la médecine. Du style médical en France et en Italie},
 title = {Patients exemplaires: la correspondance médicale de Fioravanti},
 editor = {Carlino, Andrea and Michel Jeanneret},
 year = {2009},
 address = {Geneva},
 publisher = {Droz},
 langid = {french}
}
@book{berns2015,
 title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth},
 author = {Berns, Andrew D.},
 address = {Cambridge},
 publisher = {Cambridge University Press},
 langid = {english},
 date = {2015}
}
@article{gabler2010,
 author = {Gabler, Hans Walter},
 title = {Theorizing the Digital Scholarly Edition},
 journal = {Literature Compass},
 volume = {7},
 number = {2},
 pages = {43-56},
 doi = {10.1111/j.1741-4113.2009.00675.x},
 langid = {english},
 year = {2010}
}
@book{findlen1994,
 title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy},
 author = {Findlen, Paula},
 address = {Berkeley},
 publisher = {University of California Press},
 langid = {english},
 date = {1994}
}

Resultados

Los son llamativos: más de 2000 referencias bibliográficas convertidas en cuestión de días. El método no solo reprodujo con exactitud el patrón de mi prompt, sino que añadió por su cuenta, y correctamente, tipos de entrada y de campo que no figuraban en él. GPT-3, dicho de otro modo, habla BibTeX con toda fluidez. Y, lo que acaso sorprenda más en un modelo entrenado sobre todo en inglés, reconoció todas las lenguas (ruso, francés, italiano, latín, griego, alemán, español, etc.) y añadió en cada caso el campo langid correcto.

Nota

Por ahora, GPT-3 tiene un tamaño de entrada y de salida limitado: procesa como máximo 2048 tokens lingüísticos. En cuanto se levante esa limitación, la misma tarea llevará probablemente una hora o menos.

Algo inesperadamente, GPT-3 añadió además información que no estaba en las referencias originales.

Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015.

En esta referencia, por ejemplo, GPT-3 añadió el enlace permanente al repositorio de acceso abierto ( ) donde puede leerse el artículo, con los campos ad hoc HAL_ID y HAL_VERSION que crea el propio repositorio:

@inproceedings{baillot2015,
 title = {Editing for Man and Machine},
 author = {Baillot, Anne and Busch, Anna},
 year = 2015,
 booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting},
 address = {Leicester},
 series = {Variants (Journal of the European Society for Textual Scholarship)},
 volume = 13,
 editor = {Bruhn, Siglinde and Schreiber, Manfred},
 langid = {english},
 hal_id = {halshs-01233380},
 hal_version = {v1}
}

Estos añadidos indican que GPT-3 no se limita a analizar la referencia bibliográfica: la completa con lo que aprendió en su día. Sería interesante, en este sentido, comprobar si hace lo mismo con referencias posteriores a su entrenamiento…

Limitaciones

GPT-3 no es perfecto, sin embargo, y necesita la supervisión de un ser humano. Una de sus limitaciones conocidas es la : a veces inventa cosas y hace suposiciones improbables.

En mi experimento, los arrebatos de incoherencia de GPT-3 se hicieron patentes cuando cambió por su cuenta el apellido de un autor, de «Ruscelli» a «Ruscello». En rigor no es un error, pues los apellidos italianos de la Edad Moderna se usaban indistintamente en singular o en plural. Pero la convención actual manda conservar el apellido tal como está, en singular o en plural: hoy nadie llama Machiavello a Machiavelli, del mismo modo que se espera que escribamos Rossello y no Rosselli. ¿Ignoró GPT-3 la convención por falta de conciencia cronológica? ¿O hizo una suposición a partir de los apellidos vecinos, que en esta parte de la bibliografía están todos, casualmente, en singular (Bariletto, Cesano, Rossello)? Quién sabe.

@book{rossello1565,
 title = {Della summa de’ secreti universali},
 author = {Rossello, Timoteo},
 address = {Venice},
 publisher = {Giovanni Bariletto},
 langid = {italian},
 date = {1565}
}
@book{ruscello1559,
 title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese},
 author = {Ruscello, Girolamo},
 address = {Pesaro},
 publisher = {Bartolomeo Cesano},
 langid = {italian},
 date = {1559}
}

Conclusión

Escritos a lo largo de cuatro años de intensa colaboración, los más de 150 ensayos no solo aportan información esencial sobre el manuscrito que editamos y tradujimos: contienen también una valiosa información bibliográfica.

Reunir esas referencias en una base de datos permite a los editores cambiar el formato bibliográfico en un abrir y cerrar de ojos y presentar la información como mejor les parezca. La base de datos dice además mucho sobre la edición y sobre el proyecto que la hizo posible, y abre nuevas perspectivas de análisis a los investigadores. Y puede completarse con gran precisión y en un plazo récord.

Es verdad que algún error puede colarse, sobre todo por la propensión de GPT-3 a alucinar. Pero las próximas generaciones de modelos de lenguaje preentrenados atenuarán el problema.

Automatizar el marcado en las ediciones críticas digitales

Mon, 22 Nov 2021 18:15:00 +0000

Introducción

¿Cómo producir ediciones críticas digitales sin dejarse en ellas el presupuesto? En esta entrada, primera de una serie dedicada a la edición eficiente, examino el papel que pueden desempeñar los modelos de lenguaje preentrenados en la automatización de tareas editoriales como el marcado semántico.

Índice

El problema

Una labor de amor

En el amor no se mira el gasto… o eso dice el refrán. Y a las ediciones críticas digitales se les aplica con especial justicia: la transcripción, la traducción y la anotación que exigen suman miles de horas de trabajo, a cargo —como en el caso de — de cientos de colaboradores altamente cualificados.

En cierto modo, es una suerte que los proyectos más visibles de las humanidades digitales consigan las enormes sumas que necesitan para funcionar. Ahora bien, depender de la munificencia de fundaciones acaudaladas, universidades y organismos públicos, y necesitar durante años un despliegue considerable de recursos humanos, no es un modelo económico con futuro.

En rigor, si queremos animar a investigadores de todo el mundo a poner los documentos históricos al alcance de un público más amplio, el coste de las ediciones críticas digitales tendría que bajar varios órdenes de magnitud .

Un listón muy alto

Paradójicamente, la solución puede venir de proyectos tan intensivos en trabajo como , pues constituyen un valioso conjunto de entrenamiento con el que automatizar algunas de las tareas más ingratas y repetitivas de la edición digital, empezando por el marcado.

No es que el marcado sea cosa menor. Al contrario: se ha convertido en el componente indispensable de cualquier proyecto digital serio. Normalizado por la , permite registrar cuantos aspectos se quiera del documento y del texto que transmite: estructura, notas marginales, tachaduras, variantes, tipo de papel, manchas, caligrafía… Lo que se le ocurra.

El siguiente ejemplo, tomado de , muestra cómo el marcado enriquece el texto con información añadida (categoría, estructura, campos semánticos, tachaduras, etc.), y da así a las ediciones digitales una ventaja considerable sobre sus antepasadas de papel.

Texto plano Marcado XML

Texto plano	Marcado XML
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

Esta información no solo vale con fines archivísticos; como he mostrado en otras ocasiones, sirve también para la síntesis y el análisis. Con todo, anotar así un texto puede llevar muchísimo tiempo, sobre todo porque el mismo texto suele tener que existir en varias versiones: traducción, transcripción, modernización, etc.

La solución

Los transformadores: ¿el camino más corto hacia la automatización?

En 2020, presentó a bombo y platillo su última familia de modelos de lenguaje de gran escala y propósito general, GPT-3, siglas de «Generative Pre-trained Transformer 3». Los transformadores son un avance reciente de la inteligencia artificial: aprenden tareas nuevas con una rapidez asombrosa, con solo leer una instrucción (prompt) y ver un puñado de ejemplos. Admiten además un entrenamiento adicional con datos ad hoc (el fine-tuning o ajuste fino), que mejora la latencia y la precisión. De ahí que se diga que GPT-3 y sus semejantes son (few-shot learners).

Según OpenAI, GPT-3 contiene la cifra récord de 175 000 millones de parámetros y se ha entrenado con más de 570 GB de texto, en su mayoría documentos en inglés extraídos, cabe suponer, de . Por su mero tamaño, GPT-3 ha fijado un nuevo estándar en el campo, y ejecuta de entrada las tareas más variadas con un realismo inquietante: escribe verosímiles, en salas de chat, , , traduce documentos, explica la jerga de las profesiones, etc.

Con acceso anticipado a la API de OpenAI desde mayo de 2021, he podido poner a prueba la capacidad del modelo para resolver tareas de reconocida dificultad: traducir al inglés poesía francesa y textos neolatinos, explicar analogías e incluso simplificar el libro 4 de la Fundamentación de la metafísica de las costumbres de Kant para un niño de siete años (sin demasiado éxito, hay que decirlo).

Codex

Uno de los últimos desarrollos de GPT-3 se ocupa de los lenguajes de programación. Se llama Codex y traduce el lenguaje natural a código, y viceversa. Si busco, por ejemplo, una expresión regular que me permita «encontrar solo las palabras que empiezan por mayúscula», GPT-3 la convierte al instante en una expresión regular que funciona: [A-Z]+\w+.

OpenAI asegura que Codex maneja una docena de lenguajes, entre ellos Python, JavaScript, Go, Perl, PHP, Ruby y Swift. Al pasar del pseudocódigo al código sin fisuras, Codex permite concentrarse no en la sintaxis puntillosa de un lenguaje, sino en los pasos lógicos y las estrategias con que una aplicación resuelve un problema.

Más allá de OpenAI

OpenAI no es, desde luego, el único actor en escena. Como ya se ha dicho, la Academia de Inteligencia Artificial de Pekín anunció en 2021 un modelo aún mayor y más capaz, Wu Dao 2. Nvidia y Microsoft unieron fuerzas para producir el modelo Megatron-Turing NLG 530B, de nombre bien elegido. Empresas emergentes de menor tamaño, como y , ofrecen también sus API al público, y merecen mención iniciativas de código abierto como . El panorama, claro está, cambia a gran velocidad; para seguir las novedades del campo, consulte .

Los experimentos

Nota

El objetivo de estos experimentos es dar con el camino más económico hacia una automatización fiable de las tareas editoriales. Se dirá que algunas podrían automatizarse también con algoritmos de aprendizaje supervisado; exploraremos esa hipótesis en una próxima entrada.

¿Puede un transformador como GPT-3 aprender a anotar, pongamos por caso, un manuscrito técnico y científico del siglo XVI?

Experimento 1: categorizar textos

Empecemos por algo relativamente sencillo. Como «aprendiz con pocos ejemplos», GPT-3 debería captar en poco tiempo el modo en que nuestro equipo editorial ha clasificado las entradas del Ms. Fr. 640.

Diseño del prompt

Para entrenarlo usé un prompt mínimo y elegí como ejemplos cuatro entradas breves en texto plano, entre ellas una de «medicina», otra de «armas y armaduras» y otra de «pintura».

Prueba

Después copié un pasaje que no formaba parte de la secuencia inicial:

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

El resultado se ajusta perfectamente al contenido:

<categories="painting">

Si probamos con una entrada de una categoría que ni siquiera figuraba entre los textos elegidos para entrenar a GPT-3, el resultado sorprende.

<categories="jewelry">

Resultado

La categoría «jewelry» (joyería) no existe en nuestra edición del Ms. Fr. 640: el equipo editorial la más amplia de «Stones» (piedras). La intuición de GPT-3, sin embargo, es buena, y hace pensar que con un poco más de entrenamiento podría aprender a categorizar cualquier entrada del Ms. Fr. 640, y acaso las de otros textos técnicos del siglo XVI.

Experimento 2: marcado semántico

Subamos el listón. Si un transformador como GPT-3 puede aprender a categorizar textos según criterios editoriales concretos, ¿podrá también identificar parte de su marcado?

Nota

Secrets of Craft and Nature ofrece una de etiquetas semánticas y estructurales. Por desgracia, GPT-3 no procesa imágenes, a diferencia de otros proyectos como . Es probable que futuras versiones de GPT incorporen esa capacidad, imprescindible para reconocer la mayoría de los aspectos estructurales y materiales de un documento. Dejaremos de lado esas etiquetas y nos centraremos en el marcado que no exige reconocer imágenes.

Diseño del prompt

Las etiquetas semánticas señalan animales, plantas, topónimos, percepciones sensoriales, etc. Para el prompt de entrenamiento escogí unos cuantos ejemplos de la edición:

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

Prueba

Probemos con el modelo Davinci-codex unas cuantas palabras fáciles: Apothecary (boticario), smoke (humo), glassmakers (vidrieros), latten (latón) y snake (serpiente). El resultado es inmediato e impecable:

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

Una prueba más exigente es la de las palabras compuestas, como copper plates (planchas de cobre), walnut oil (aceite de nuez) y wood block (taco de madera): se trata de ver si GPT-3 maneja bien las etiquetas anidadas.

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

Aquí el resultado es desigual: Davinci-codex solo etiquetó bien walnut oil, y no detectó las etiquetas anidadas tl y m en copper plates y wood block. Ahora bien, como muestra la siguiente prueba, estos errores se corrigen con un prompt de entrenamiento mejor. Tras añadir cinco ejemplos más de etiquetas anidadas, Davinci-codex devolvió un resultado casi perfecto, con un solo fallo (oil paintbrushes):

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

Conclusión

Conviene no olvidar que estas pruebas se hicieron con fragmentos de texto muy breves. Sospecho que, con más contexto en los ejemplos y en el prompt, los modelos GPT-3 rendirían aún mejor; y el ajuste fino con datos de entrenamiento ad hoc mejoraría sin duda la precisión del etiquetado.
Aunque haría falta repetir estos experimentos a mayor escala para demostrar la fiabilidad de los modelos de lenguaje preentrenados, sí cabe concluir que este enfoque permite a los editores automatizar varias tareas de anotación en unos pocos pasos, con un ahorro potencial enorme de tiempo y dinero.