Экономное Издание Текстов |

Массовый разбор библиографии с помощью предобученных языковых моделей

Thu, 07 Jul 2022 19:04:14 +0200

Автоматизация — ключ к удешевлению проектов в цифровых гуманитарных науках. До сих пор однообразную и утомительную работу, сопутствующую изданию текстов в академической среде, либо за большие деньги выполняли перегруженные учёные, либо её «отдавали на сторону» — студентам. В этой я доказываю, что большинство этих неблагодарных задач не только можно, но и нужно автоматизировать. Автоматизация издательских задач снижает общую стоимость проектов в цифровых гуманитарных науках. А главное, она позволяет учёным из небогатых регионов быстро и недорого публиковать ценные документы.

В я, например, показал, как предобученные языковые модели берут на себя большую часть работы по XML-разметке цифрового издания.

В этой заметке — второй пример, на сей раз с библиографией.

Проблема

Собрать библиографическую базу из ссылок, упомянутых в научной статье, довольно просто. Можно быстро поискать в каталоге вроде , скачать запись в нужном формате или автоматически импортировать её из локальной базы. С одной-двумя статьями это работает прекрасно. Но начиная с некоторого числа ссылок задача становится отталкивающей и долгой. Чтобы помочь делу, можно прибегнуть к алгоритмам разбора вроде . Правда, масштабировать такие алгоритмы бывает трудно. Когда я попробовал с помощью anystyle обработать более 150 научных очерков, вошедших в наше , накопившиеся ошибки стали попросту неуправляемыми. Он не распознал многие наши источники — принимал, например, длинные заглавия книг раннего Нового времени за что-то другое — и не справился с менее типичными документами: отдельными веб-страницами, онлайн-видео и т. п. Парсеры хороши, пока автор свято соблюдает правила известного стандарта — Chicago, Turabian или MLA. Любое отступление от нормы оборачивается ошибками.

Решение

Здесь и приходят на помощь предобученные языковые модели : они быстро схватывают закономерности любого библиографического стиля , даже выдуманного вами, и им хватает нескольких примеров, чтобы правильно перевести большие объёмы оформленной библиографии в .

В начале 2021 года мне посчастливилось получить ранний доступ к от OpenAI. Codex — модель, переводящая с естественного языка на язык программирования и обратно. По словам OpenAI, она владеет более чем дюжиной языков программирования, и хотя её API на момент написания этой заметки всё ещё доступен только в бета-версии, на нём уже работают популярные приложения вроде от GitHub.

Поэкспериментировав с этим API, я понял, что он отлично справляется и с кодом попроще — таким как BibTeX.

И в самом деле, чтобы всё надёжно заработало, мне понадобились всего четыре примера во входном промпте.

Входной промпт

References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009.

Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015.

Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. .

Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994.

@incollection{bayle2009,
 author = {Bayle, Ariane},
 booktitle = {Vulgariser la médecine. Du style médical en France et en Italie},
 title = {Patients exemplaires: la correspondance médicale de Fioravanti},
 editor = {Carlino, Andrea and Michel Jeanneret},
 year = {2009},
 address = {Geneva},
 publisher = {Droz},
 langid = {french}
}
@book{berns2015,
 title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth},
 author = {Berns, Andrew D.},
 address = {Cambridge},
 publisher = {Cambridge University Press},
 langid = {english},
 date = {2015}
}
@article{gabler2010,
 author = {Gabler, Hans Walter},
 title = {Theorizing the Digital Scholarly Edition},
 journal = {Literature Compass},
 volume = {7},
 number = {2},
 pages = {43-56},
 doi = {10.1111/j.1741-4113.2009.00675.x},
 langid = {english},
 year = {2010}
}
@book{findlen1994,
 title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy},
 author = {Findlen, Paula},
 address = {Berkeley},
 publisher = {University of California Press},
 langid = {english},
 date = {1994}
}

Результаты

впечатляют: за считаные дни преобразовано более 2 000 библиографических ссылок. Модель не только точно воспроизвела схему из моего промпта, но и правильно добавила типы записей и полей, которых в промпте не было. Иначе говоря, GPT-3 свободно владеет BibTeX. И — что, пожалуй, ещё удивительнее для модели, обучённой в основном на английском, — она распознала все языки (русский, французский, итальянский, латынь, греческий, немецкий, испанский и т. д.), каждый раз добавляя верное поле langid.

Примечание

У GPT-3 пока ограничены размеры входа и выхода: она обрабатывает не более 2048 лингвистических токенов. Как только это ограничение снимут, та же работа, вероятно, займёт час или меньше.

Несколько неожиданно GPT-3 добавила и сведения, которых в исходных ссылках не было.

Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015.

В этой библиографической записи, например, GPT-3 добавила постоянную ссылку на репозиторий открытого доступа ( ), где статью можно прочесть, включая специальные поля HAL_ID и HAL_VERSION, введённые самим репозиторием HAL:

@inproceedings{baillot2015,
 title = {Editing for Man and Machine},
 author = {Baillot, Anne and Busch, Anna},
 year = 2015,
 booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting},
 address = {Leicester},
 series = {Variants (Journal of the European Society for Textual Scholarship)},
 volume = 13,
 editor = {Bruhn, Siglinde and Schreiber, Manfred},
 langid = {english},
 hal_id = {halshs-01233380},
 hal_version = {v1}
}

Эти дополнения показывают, что GPT-3 не просто разбирает библиографическую ссылку, но и дополняет её на основании того, что усвоила при обучении. Было бы любопытно проверить, поведёт ли она себя так же со ссылками, датированными позже её обучения…

Ограничения

Впрочем, GPT-3 не безупречна. За ней нужен человеческий присмотр. Одно из известных её ограничений — : порой она что-то выдумывает и делает маловероятные допущения.

В моём эксперименте приступы бессвязности проявились, когда GPT-3 ни с того ни с сего переделала фамилию автора «Ruscelli» в «Ruscello». Строго говоря, это не ошибка: в Италии раннего Нового времени фамилии употреблялись во множественном и в единственном числе без разбора. Однако сегодня принято сохранять фамилию в том числе — единственном или множественном, — в каком она есть. Никто не назовёт Макиавелли «Макиавелло», как и от нас ожидают формы Rossello, а не Rosselli. Проигнорировала ли GPT-3 это правило из-за отсутствия чувства хронологии? Или же она сделала допущение по соседним фамилиям, которые в этой части библиографии, как на грех, все стоят в единственном числе (Bariletto, Cesano, Rossello)? Кто знает.

@book{rossello1565,
 title = {Della summa de’ secreti universali},
 author = {Rossello, Timoteo},
 address = {Venice},
 publisher = {Giovanni Bariletto},
 langid = {italian},
 date = {1565}
}
@book{ruscello1559,
 title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese},
 author = {Ruscello, Girolamo},
 address = {Pesaro},
 publisher = {Bartolomeo Cesano},
 langid = {italian},
 date = {1559}
}

Заключение

Написанные за четыре года напряжённого сотрудничества, 150 с лишним очерков, , не только сообщают важнейшие сведения о рукописи, которую мы издали и перевели, но и содержат ценную библиографическую информацию.

Сведя эти ссылки в базу данных, издатели могут менять библиографическое оформление в мгновение ока и свободнее решать, как подавать эту информацию. Кроме того, такая база многое говорит о самом издании и о проекте, который сделал его возможным, открывая учёным новые аналитические перспективы. И составить её можно с высокой точностью и в рекордные сроки.

Ошибки, пожалуй, могут закрадываться — прежде всего из-за склонности GPT-3 к галлюцинациям. Но будущие поколения предобученных языковых моделей смягчат эту проблему.

Автоматизация разметки в цифровых научных изданиях

Mon, 22 Nov 2021 18:15:00 +0000

Введение

Как готовить цифровые научные издания, не разоряясь? В этой заметке — первой из серии об экономном издании текстов — я оцениваю, какую роль предобученные языковые модели могут сыграть в автоматизации издательских задач, например семантической разметки.

Содержание

Проблема

Труд по любви

Когда любишь, не считаешь… во всяком случае, так гласит старая пословица. К цифровым научным изданиям это относится в полной мере: транскрипция, перевод и комментирование, из которых они складываются, требуют тысяч часов работы, и выполняют её — как в случае — сотни высококвалифицированных сотрудников.

В каком-то смысле то, что заметные проекты в цифровых гуманитарных науках способны собрать огромные средства, необходимые для их работы, — благо. И всё же тяжёлая зависимость от щедрости богатых фондов, университетов и государственных ведомств, затяжная потребность в больших людских ресурсах — не та экономическая модель, на которой можно строить будущее.

В сущности, если мы хотим, чтобы учёные по всему миру открывали исторические документы широкой публике, стоимость цифровых критических изданий должна упасть на порядки .

Высокий порог

Как ни парадоксально, решение могут дать сами трудоёмкие проекты вроде : они представляют собой ценный обучающий набор , на котором можно автоматизировать самые отталкивающие и однообразные операции цифрового издания — например, разметку.

Не то чтобы разметка была делом второстепенным. Напротив, разметка стала непременной составляющей любого серьёзного цифрового научного проекта. Стандартизованная , она позволяет зафиксировать как можно больше сведений о документе и о тексте, который он передаёт: структуру, маргиналии, вычёркивания, разночтения, сорт бумаги, пятна, почерк… что угодно.

Следующий пример, взятый из , показывает, как разметка обогащает текст дополнительной информацией (категория, структура, семантические поля, вычёркивания и т. д.), в конечном счёте давая цифровым изданиям серьёзное преимущество перед их бумажными предками.

Plain Text XML Markup

Plain Text	XML Markup
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

Эти сведения ценны не только для архивных целей, но и — как я уже показывал прежде — для синтеза и анализа. Тем не менее подобное аннотирование может отнимать чрезвычайно много времени, ведь один и тот же текст зачастую должен существовать в нескольких обличьях: как перевод, как транскрипция, как модернизированная версия и т. д.

Решение

Трансформеры: кратчайший путь к автоматизации?

В 2020 году с большой помпой выпустила новое семейство универсальных больших языковых моделей под названием GPT-3 — «Generative Pre-trained Transformer 3». Трансформеры — сравнительно недавний прорыв в области искусственного интеллекта. Новым задачам они обучаются поразительно быстро: достаточно прочесть промпт и посмотреть на очень небольшое число примеров. Их можно и дообучить на специально подобранном наборе данных (fine-tuning), улучшив скорость отклика и точность. Потому GPT-3 и подобные ей трансформеры называют — моделями, которым хватает нескольких примеров.

По словам OpenAI, GPT-3 содержит рекордные 175 млрд параметров и обучена более чем на 570 ГБ текста, по большей части английских документов, взятых, надо думать, . Благодаря одним своим размерам GPT-3 задала новую планку в этой области: прямо «из коробки» она выполняет самые разные задачи с тревожным правдоподобием. Она пишет убедительные , в чатах, , , переводит документы, объясняет жаргон и т. д.

Получив ранний доступ к API OpenAI в мае 2021 года, я смог проверить, как модель справляется с задачами, которые слывут трудными: переводом французской поэзии и новолатинских текстов на английский, объяснением аналогий и даже пересказом третьего раздела кантовского «Основоположения к метафизике нравов» для семилетнего ребёнка (правда, не слишком убедительным).

Codex

Одно из последних ответвлений GPT-3 посвящено языкам программирования. Модель под названием Codex переводит с естественного языка на язык программирования и обратно. Скажем, если мне нужно регулярное выражение, которое «находит только слова, начинающиеся с заглавной буквы», GPT-3 тут же превращает эту фразу в рабочее регулярное выражение: [A-Z]+\w+.

По словам OpenAI, Codex работает с дюжиной языков программирования, включая Python, JavaScript, Go, Perl, PHP, Ruby и Swift. Гладко превращая псевдокод в код, Codex позволяет сосредоточиться не на утомительном синтаксисе языка, а на логических шагах и стратегиях, благодаря которым программы решают задачи.

Не только OpenAI

Разумеется, OpenAI — не единственный игрок на поле. Как уже говорилось, Пекинская академия искусственного интеллекта объявила в 2021 году о ещё более крупной и мощной модели Wu Dao 2. Nvidia и Microsoft объединили усилия и выпустили модель с говорящим названием Megatron-Turing NLG 530B. Стартапы поменьше, такие как и , тоже предлагают публике свои API. Стоит упомянуть и инициативы с открытым исходным кодом вроде . Сцена ИИ, конечно, меняется очень быстро; чтобы следить за новыми начинаниями в этой области, загляните на .

Эксперименты

Примечание

Цель этих экспериментов — найти самый экономный путь к надёжной автоматизации издательских задач. Можно возразить, что некоторые из них поддаются автоматизации и с помощью алгоритмов обучения с учителем. Эту гипотезу мы рассмотрим в одной из следующих заметок.

Может ли трансформер вроде GPT-3 научиться аннотировать, скажем, технико-научную рукопись XVI века?

Эксперимент 1. Классификация текстов

Начнём с чего-нибудь относительно простого. Как «few-shot learner», GPT-3 должна быстро уловить, по какому принципу наша редакционная группа классифицировала статьи Ms Fr 640.

Составление промпта

Для обучения я взял самый минималистичный промпт и выбрал в качестве примеров четыре коротких статьи в виде простого текста — в том числе о «медицине», «оружии и доспехах» и «живописи».

Проверка

Затем я скопировал ещё один отрывок, которого не было в исходной подборке:

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

Результат полностью соответствует содержанию:

<categories="painting">

Если же взять статью из категории, которой вообще не было среди текстов, отобранных для обучения GPT-3, результат удивляет.

<categories="jewelry">

Итог

Категории «jewelry» (ювелирное дело) в нашем издании Ms. Fr. 640 нет. Редакционная группа более широкую категорию «Stones» (камни). Впрочем, чутьё у GPT-3 хорошее, и это значит, что, немного доучившись, она сможет классифицировать любую статью Ms. Fr. 640, а возможно, и других технических текстов XVI века.

Эксперимент 2. Семантическая разметка

Поднимем планку. Если трансформеры вроде GPT-3 способны научиться классифицировать тексты по определённым редакционным критериям, могут ли они распознавать и часть разметки текста?

Примечание

Secrets of Craft and Nature использует семантических и структурных тегов. К сожалению, GPT-3, в отличие от других проектов вроде , не обрабатывает изображения. Вероятно, будущие версии GPT получат эту способность, без которой не распознать большинство структурных и материальных особенностей документа. Эти теги мы пропустим и сосредоточимся на разметке, не требующей распознавания изображений.

Составление промпта

Семантические теги охватывают упоминания животных, растений, топонимов, чувственных ощущений и т. д. В обучающий промпт я включил несколько примеров из издания:

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

Проверка

Попробуем несколько простых слов на модели Davinci-codex: Apothecary (аптекарь), smoke (дым), glassmakers (стеклодувы), latten (латунь) и snake (змея). Результат мгновенный и безупречный:

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

Задача посложнее — составные выражения вроде copper plates (медные пластины), walnut oil (ореховое масло) и wood block (деревянная колода). Цель здесь — проверить, справляется ли GPT-3 с вложенными тегами.

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

Результат, однако, неоднозначен: Davinci-codex правильно разметила только walnut oil, не распознав вложенные теги tl и m в copper plates и wood block. Впрочем, как показывает следующая проверка, эти ошибки можно исправить, улучшив обучающий промпт. Стоило добавить ещё пять примеров вложенных тегов, и Davinci-codex выдала почти безукоризненный результат с единственной ошибкой (oil paintbrushes):

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

Заключение

Важно помнить, что эти испытания проводились на небольших фрагментах текста. Подозреваю, что, дай мы в примерах и в промпте больше контекста, модели GPT-3 показали бы ещё лучшие результаты. Более того, дообучение модели на специально подобранных данных, без сомнения, ещё повысило бы точность разметки.
Пусть для доказательства надёжности предобученных языковых моделей эти эксперименты ещё предстоит повторить в большем масштабе, мы всё же можем заключить, что такой подход позволяет издателям автоматизировать целый ряд задач аннотирования в несколько простых шагов, потенциально экономя огромное количество времени и денег.