Цифровые Гуманитарные Науки |

persNamer 1.2: один номер VIAF — девять авторитетных файлов

Mon, 07 Sep 2026 00:00:00 +0000

задумывался как мелкое удобство: на входе номер VIAF, на выходе запись <person> в TEI да тег <persName>, которым размечают текст. Больше он ничего не умел, и запись выходила тощей — имя, две даты, один идентификатор. Версия 1.2, вышедшая сегодня, ничему другому так и не научилась; зато запись стала такой, что её стоит хранить.

Что теперь входит в запись о персоне

Начнём с имени. В кластере VIAF каждая библиотека-участница держит имя в своей форме, а старый persNamer брал первую, какая попадётся. Спросите у него Вольтера — и получите «فولتير،»: по-арабски, с запятой на хвосте, да ещё и с пустым xml:id в придачу. Версия 1.2 пересчитывает формы по всему кластеру и оставляет ту, на которой исходные записи сходятся; остальные идут следом как <persName type="variant">, по убыванию частоты. Даты приводятся к норме (1572-08-00 становится 1572-08) и пишутся дважды — текстом и в атрибуте @when: именно атрибут и прочтёт любая обработка, которая вообще понимает даты. Пол и описания добавляются, когда VIAF их отдаёт.

Но самое желанное для меня — другое: все идентификаторы, на которые VIAF ссылается через schema:sameAs и через собственные идентификаторы источников, теперь выписаны, каждый своим <idno> — BnF, GND, Библиотека Конгресса, SUDOC, Wikidata, ISNI, BNE, LIBRIS, NDL. Один номер на входе — девять каталогов на выходе. Для персонографии это и есть та грань, что отделяет список имён от узла в сети авторитетных данных.

<person xml:id="pers-teligny-c">
 <persName>Charles de Téligny</persName>
 <birth when="1535">1535</birth>
 <death when="1572-08-24">1572-08-24</death>
 <sex value="M">M</sex>
 <idno type="VIAF">314802260</idno>
 <idno type="BNF">16133360</idno>
 <idno type="Wikidata">Q1868249</idno>
 <idno type="ISNI">0000000071126808</idno>
</person>

От фрагментов к персонографии

Пока персона одна, можно и в терминал XML напечатать. Но в издании их сотни. Поэтому persNamer теперь берёт сразу несколько номеров VIAF, между запросами вежливо выдерживает паузу, загруженное складывает в кэш, а с ключом --merge сам вставляет новые записи в <listPerson> готового файла TEI. Тех, кто в файле уже есть, он узнаёт по номеру VIAF и оставляет им прежний xml:id; новые идентификаторы сверяет с файлом и при совпадении добавляет суффикс (-2, -3); под конец заново расставляет отступы — предварительно сохранив копию .bak.

persnamer --merge edition.xml 314802260 36925746

Одно изменение нужно иметь в виду: частица перед фамилией по умолчанию в идентификатор больше не входит, так что Шарль де Телиньи теперь pers-teligny-c, а не pers-deteligny-c. Если в вашем проекте уже прижилась старая форма, --keep-particle её вернёт; а если не хочется зависеть от имён вовсе, --id-format viaf даст pers-viaf-314802260.

По хозяйству

Из скрипта вырос пакет с командой persnamer: ставится одной строкой — uv tool install или pipx, — а через uvx можно один раз запустить и вовсе без установки. Двадцать шесть тестов гоняют его на записанных ответах VIAF, так что сеть им не нужна; CI прогоняет их на Python от 3.9 до 3.13, а вывод проверяется на соответствие TEI P5. Лицензия прежняя — Apache 2.0.

Чего он по-прежнему не скажет — где человек родился и чем зарабатывал на жизнь: в кластерном RDF VIAF нет ни мест, ни занятий. Зато они есть в связанных записях BnF и GND, а их номера у вас теперь на руках.

Код и документация — на .

tei-mcp v0.3: кодировать в TEI, не переписывая источник

Tue, 05 May 2026 00:00:00 +0000

Когда я , цель была одна: отучить ИИ-ассистентов галлюцинировать разметку TEI. Заземление на схему решило часть проблемы: имея прямой, инструментальный доступ к спецификации P5, модели больше не нужно гадать, что означает элемент и какие атрибуты он принимает. Результат проходит валидацию.

Но у галлюцинации в кодировании TEI два лица, и схема ловит лишь одно. Валидация по спецификации говорит, что разметка корректна. О тексте, который эта разметка обёртывает, она не говорит ничего. А именно там — в самом тексте — живут самые разрушительные галлюцинации. Сборка по закреплённым отрезкам (span-locked composition), главная новинка v0.3, придумана специально, чтобы их не допускать.

Содержание

Галлюцинация, которую схема поймать не может

Попросите модель закодировать французское письмо XVI века — и нередко получите документ TEI безупречного вида. Заголовок заполнен, теги <persName> расставлены правильно, <dateline> оформлен как положено. Прогоните его через validate_document — он пройдёт.

А потом сравните основной текст с источником.

mesme превратилось в même. Запятая переехала. luy тихо осовременили до lui. Фразу, которую трудно было разобрать в рукописи, «исправили» во что-то более гладкое. Ни одного из этих изменений никто не просил. Ни одно не помечено. Документ валиден по схеме и тихо неверен.

Для архивного процесса — где закодированный текст становится постоянной записью, на которую опираются последующие читатели, поисковые индексы и цитаты, — это самый важный вид сбоя. Кривой тег раздражает. Осовремененное написание, которого никто не замечает пять лет, — это порча.

Сборка по закреплённым отрезкам

Новый выпуск (v0.3) содержит механизм предотвращения галлюцинаций, нацеленный ровно на этот сбой. Цель конструкции — сделать галлюцинации в основном тексте невозможными по самому устройству, а не просто маловероятными.

Идея проста: модель никогда не набирает основной текст.

Вместо этого процесс выглядит так:

Модель вызывает get_source("letter_001") и получает исходный простой текст в виде неизменяемой строки.
Для каждого тега, который она хочет поставить, она вызывает tag_span("letter_001", start, end, element_path, attrs), регистрируя элемент TEI на диапазоне символов источника.
Закончив, она вызывает compose("letter_001"). Сервер переплетает записанные теги с исходным простым текстом, отрисовывает итоговый TEI и затем проверяет байт за байтом, что плоское текстовое содержимое полученного документа равно источнику.

Если байты совпадают, документ возвращается. Если нет — если теги модели каким-то образом подразумевают основной текст, отличающийся от источника хотя бы на один символ, — compose() выбрасывает исключение вместо того, чтобы вернуть испорченный документ.

В этом процессе нет пути, на котором модель выдала бы документ TEI с основным текстом, отличным от источника. Инвариант механический, а не поведенческий. Вам не нужно верить, что модель не станет галлюцинировать; нужно верить лишь проверке == между двумя байтовыми строками.

Что это такое — и чем это не является

Сборка по закреплённым отрезкам дополняет заземление на схему, а не заменяет его. Инструменты заземления (validate_document, lookup_element, valid_children и остальные из первоначальных шестнадцати) помогают модели выдавать валидный TEI. Сборка по закреплённым отрезкам гарантирует, что основной текст внутри этого TEI верен источнику. Пригодный к внедрению процесс кодирования должен удовлетворять обеим осям, и теперь обе покрывает один сервер.

Но и волшебной таблеткой от всего это не назовёшь. compose() пока не проверяет, допустимы ли зарегистрированные теги по загруженной ODD-настройке — это следующий шаг. Записанные теги живут в памяти процесса и не переживают перезапуск. А исходные файлы должны быть доступны для чтения оттуда, где запущен сервер. Всё это решаемо; ничто из этого не подрывает основной инвариант.

Почему это важно и за пределами TEI

Этот приём обобщается. Всякий раз, когда модель просят аннотировать, преобразовать или обернуть фрагмент текста — и всякий раз, когда целостность исходного текста важнее, чем способность модели его «улучшить», — годится решение той же формы. Не просите модель перепечатывать текст. Просите её выдать инструкции над текстом, а применять их пусть будет детерминированный сборщик под инвариантом равенства.

Для цифровых изданий в частности это меняет то, что можно ответственно поручить модели. Кодирование вдруг становится задачей, которую можно делегировать, не сверяя вручную каждый результат с источником. Машина идёт скучным путём; редактор проверяет разметку, а не орфографию.

Как обновиться

Если tei-mcp у вас уже установлен:

uvx tei-mcp@latest

Или с нуля:

pip install tei-mcp

Чтобы пользоваться сборкой по закреплённым отрезкам, укажите серверу каталог с исходными текстовыми файлами:

export TEI_MCP_SPAN_SOURCE_ROOT=/path/to/sources
uvx tei-mcp

Имя каждого файла без расширения становится идентификатором документа (letter_001.txt → letter_001).

Исходный код, полная документация и заметки о конструкции инварианта:

Цифровое издание другого рода

Tue, 24 Mar 2026 00:00:00 +0000

Большинство первоисточников так и остаются неопубликованными. Модель, на которую мы полагаемся, чтобы это исправить, — цифровые издания на грантовые деньги, — слишком дорога, слишком централизована и слишком хрупка, чтобы работать в масштабе. Я только что опубликовал , где объясняю, почему критическое издание писем Каврианы я строю иначе: оцифрованные первоисточники, которые растут органически, с минимальной инфраструктурой, автоматическим сопровождением, открытые для сотрудничества и настолько дешёвые, что гранты вовсе не нужны. Это довод в пользу таких цифровых гуманитарных наук, которые работают независимо от институциональной поддержки.

tei-mcp

Sun, 15 Mar 2026 00:00:00 +0000

tei-mcp: TEI P5 для ИИ-агентов

tei-mcp — -сервер с открытым исходным кодом, дающий ИИ-ассистентам для программирования прямой доступ к спецификации . Вместо того чтобы полагаться на заученные обучающие данные — что часто даёт правдоподобную, но неверную разметку, — ИИ может обращаться к спецификации в реальном времени.

Возможности

Сервер разбирает TEI P5 ODD и предоставляет 16 инструментов:

Поиск любого элемента, класса, макроса или модуля по имени без учёта регистра и с подсказками при опечатках
Разрешение атрибутов по всей иерархии классов TEI (локальные + унаследованные)
Развёртывание моделей содержимого в структурированные деревья с разрешением классов и макросов
Проверка вложенности — прямая связь «родитель — потомок» или рекурсивная достижимость с отслеживанием пути
Валидация документов по TEI P5: модели содержимого, атрибуты, закрытые списки значений, целостность ссылок и предупреждения об устаревших элементах
Валидация отдельных элементов для пошагового редактирования
Загрузка ODD-настроек, ограничивающих схему подмножеством, принятым в проекте
Поиск по регулярным выражениям среди всех типов сущностей

Установка

pip install tei-mcp

Или запустите напрямую:

uvx tei-mcp

Использование

Добавьте в любой MCP-совместимый клиент (Claude, Cursor, Windsurf и т. д.):

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

Исходный код и документация — в .

tei-mcp: TEI P5 для ИИ-агентов

Sun, 15 Mar 2026 00:00:00 +0000

Если вы когда-нибудь писали TEI XML с помощью ИИ-ассистента для программирования, вы наверняка замечали, что он ошибается. Элементы появляются там, где им не место. Атрибуты выдумываются. Правила вложенности игнорируются. Модель примерно представляет, как выглядит TEI, но надёжного знания спецификации у неё нет.

tei-mcp решает эту проблему, давая ИИ-агентам прямой доступ к Руководству TEI P5 через инструменты.

Содержание

Что такое MCP?

(MCP) — открытый стандарт, позволяющий ИИ-приложениям подключаться к внешним источникам данных и инструментам. Считайте его USB-портом для ИИ: единый протокол, через который любой совместимый клиент — Claude, Cursor, Windsurf и другие — подключается к специализированным службам.

MCP-сервер предоставляет инструменты, которые ИИ может вызывать по ходу разговора. Вместо того чтобы полагаться на заученные обучающие данные, модель обращается к живому авторитетному источнику.

Что делает tei-mcp

tei-mcp разбирает спецификацию TEI P5 в формате ODD и предоставляет 16 инструментов, покрывающих самые частые вопросы редактора или кодировщика:

Что это за элемент? Поиск любого элемента, класса, макроса или модуля по имени, без учёта регистра и с подсказками при опечатках.
Какие у него атрибуты? Разрешение атрибутов по всей иерархии классов: сначала локальные, затем унаследованные по порядку.
Что может быть внутри? Развёртывание моделей содержимого в структурированные деревья или плоский список допустимых потомков.
Можно ли поставить элемент сюда? Проверка вложенности «родитель — потомок» или трассировка достижимости по всей иерархии элементов.
Валиден ли мой документ? Проверка файла TEI XML по спецификации: модели содержимого, значения атрибутов, закрытые списки значений, целостность ссылок и предупреждения об устаревших элементах.
А как же схема моего проекта? Загрузка файла ODD-настройки, чтобы ограничить всё перечисленное подмножеством TEI, принятым в вашем проекте.

Почему это важно

Кодирование в TEI требует постоянно сверяться с Руководством. Опытные кодировщики усваивают самые ходовые схемы, но даже им приходится заглядывать в спецификацию ради менее знакомых элементов или сложных моделей содержимого. У ИИ-ассистентов такого усвоенного знания нет, и им приходится хуже: они галлюцинируют правдоподобную на вид, но неверную разметку.

С tei-mcp ИИ не приходится гадать. Он может найти ответ в спецификации, прежде чем напишет хоть одну угловую скобку. В результате разметка соответствует TEI P5 — или ODD-настройке вашего проекта.

С чего начать

Установите из PyPI:

pip install tei-mcp

Затем добавьте сервер в конфигурацию вашего MCP-клиента:

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

При первом запуске сервер скачивает спецификацию TEI и работает с любым MCP-совместимым клиентом.

Исходный код и полная документация:

Multi-Saxon

Fri, 28 Mar 2025 00:00:00 +0000

Multi-Saxon: параллельная обработка XSLT для больших корпусов TEI

Multi-Saxon закрывает серьёзный пробел в инструментах обработки XML: он позволяет параллельно выполнять преобразования XSLT 2.0 и 3.0, с которыми не справляется LXML (популярная библиотека Python для работы с XML). Созданный специально для больших собраний документов XML TEI, Multi-Saxon заметно ускоряет обработку за счёт эффективного параллельного выполнения.

Основные возможности

Продвинутая поддержка XSLT: выполняет преобразования XSLT 2.0 и 3.0, недоступные LXML
Параллельная обработка: резко сокращает время преобразования больших собраний документов за счёт распараллеливания
Оптимизация под TEI: спроектирован специально для XML-документов Text Encoding Initiative (TEI)
Масштабируемая производительность: эффективно обрабатывает корпуса от сотен до тысяч документов
Кроссплатформенность: работает в разных операционных системах и средах

Какую проблему решает Multi-Saxon

Специалисты по цифровым гуманитарным наукам, работающие с TEI, часто сталкиваются с двумя серьёзными трудностями:

LXML (распространённая библиотека Python для обработки XML) поддерживает только XSLT 1.0, так что более продвинутыми возможностями XSLT 2.0/3.0 воспользоваться невозможно
Последовательная обработка больших корпусов документов TEI может занимать непозволительно много времени

Multi-Saxon решает обе задачи: он использует продвинутые возможности XSLT в Saxon и распределяет обработку по нескольким ядрам, что даёт существенный выигрыш в производительности.

Реализация

Multi-Saxon сочетает Python с Java-процессором Saxon, образуя высокопроизводительный конвейер преобразований:

использует Java-библиотеку Saxon для надёжной обработки XSLT 2.0/3.0
применяет многопроцессность, распределяя преобразования по доступным ядрам CPU
эффективно управляет пулами процессов, чтобы максимизировать пропускную способность
предоставляет простой интерфейс для пакетной обработки документов TEI

Пример использования

from multi_saxon import MultiSaxon

# Initialize with your XSLT stylesheet
transformer = MultiSaxon("transform.xsl")

# Transform a single document
transformer.transform("input.xml", "output.xml")

# Transform an entire directory in parallel
transformer.transform_directory("input_dir", "output_dir")

Значение для цифровых гуманитарных наук

Проектам в цифровых гуманитарных науках, работающим с большими собраниями документов TEI, Multi-Saxon даёт:

сложные преобразования всего корпуса, невозможные с LXML
резко сокращённое время обработки (нередко в 5–10 раз на многоядерных системах)
более тонкий анализ благодаря продвинутым возможностям XSLT 2.0/3.0
упрощённый рабочий процесс для обработки целых собраний документов

Исходный код и документация — в .

persNamer

Fri, 28 Mar 2025 00:00:00 +0000

persNamer: связываем TEI с Virtual International Authority File

persNamer — специализированный инструмент на Python, упрощающий включение авторитетных данных о персонах из VIAF (Virtual International Authority File) в документы TEI XML. Преобразуя идентификаторы VIAF в готовую к использованию TEI-разметку, persNamer значительно сокращает ручную работу по созданию структурированных записей о персонах для цифровых научных изданий.

Трудности авторитетного контроля в TEI

Цифровым научным изданиям часто требуется точная идентификация исторических лиц, включая нормализованные формы имён и даты жизни. Чтобы поддерживать единообразный авторитетный контроль по всему проекту, нужно:

выявить персоны в исторических текстах
найти о них авторитетные данные
создать правильно оформленные записи TEI
обеспечить единообразие ссылок по всему проекту

Обычно эти шаги выполняются вручную, отнимают много времени и чреваты разнобоем.

Как работает persNamer

persNamer автоматизирует этот процесс:

Получение данных VIAF: по идентификатору VIAF инструмент загружает RDF-данные через согласование содержимого HTTP
Извлечение ключевых сведений: разбирает RDF и извлекает предпочтительную форму имени, дату рождения и дату смерти
Генерация TEI-разметки: создаёт два необходимых фрагмента XML:
- запись авторитетного файла (элемент <person> со сгенерированным xml:id, <persName>, <birth>, <death> и <idno type="VIAF">)
- отдельный тег аннотирования (<persName> с атрибутом ref, указывающим на запись авторитетного файла)

Такой двойной вывод позволяет редакторам вести централизованный авторитетный файл и при этом легко вставлять теги аннотирования в свои тексты TEI.

Основные возможности

Стандартизованная генерация идентификаторов: создаёт единообразные XML-идентификаторы вида pers-[familyname]-[givenname initial] (напр., pers-deteligny-c)
Разбор RDF: использует rdflib для извлечения сведений из различных RDF-свойств (напр., rdfs:label, schema:name, viaf:mainHead)
Интерфейс командной строки: простой запуск, где единственный обязательный аргумент — номер VIAF
Подробный вывод: помимо итогового XML, сообщает детали обработки

Пример использования

python persNamer.py 314802260

Эта команда выдаёт:

<person xml:id="pers-deteligny-c">
 <persName>Charles deTéligny</persName>
 <birth>1535</birth>
 <death>1572-08-24</death>
 <idno type="VIAF">314802260</idno>
</person>

<persName ref="#pers-deteligny-c">Charles deTéligny</persName>

Применение в цифровых гуманитарных науках

persNamer особенно полезен для:

цифровых научных изданий, требующих авторитетного контроля
проектов TEI-кодирования, работающих с историческими лицами
инициатив в области связанных данных, соединяющих документы с авторитетными записями
обеспечения единообразия в больших корпусах TEI
преподавания основ авторитетного контроля в курсах по цифровым гуманитарным наукам

Реализация

persNamer написан на Python и зависит от:

requests для HTTP-запросов
rdflib для разбора RDF
lxml для работы с XML

Исходный код и документация — в .

Массовый разбор библиографии с помощью предобученных языковых моделей

Thu, 07 Jul 2022 19:04:14 +0200

Автоматизация — ключ к удешевлению проектов в цифровых гуманитарных науках. До сих пор однообразную и утомительную работу, сопутствующую изданию текстов в академической среде, либо за большие деньги выполняли перегруженные учёные, либо её «отдавали на сторону» — студентам. В этой я доказываю, что большинство этих неблагодарных задач не только можно, но и нужно автоматизировать. Автоматизация издательских задач снижает общую стоимость проектов в цифровых гуманитарных науках. А главное, она позволяет учёным из небогатых регионов быстро и недорого публиковать ценные документы.

В я, например, показал, как предобученные языковые модели берут на себя большую часть работы по XML-разметке цифрового издания.

В этой заметке — второй пример, на сей раз с библиографией.

Проблема

Собрать библиографическую базу из ссылок, упомянутых в научной статье, довольно просто. Можно быстро поискать в каталоге вроде , скачать запись в нужном формате или автоматически импортировать её из локальной базы. С одной-двумя статьями это работает прекрасно. Но начиная с некоторого числа ссылок задача становится отталкивающей и долгой. Чтобы помочь делу, можно прибегнуть к алгоритмам разбора вроде . Правда, масштабировать такие алгоритмы бывает трудно. Когда я попробовал с помощью anystyle обработать более 150 научных очерков, вошедших в наше , накопившиеся ошибки стали попросту неуправляемыми. Он не распознал многие наши источники — принимал, например, длинные заглавия книг раннего Нового времени за что-то другое — и не справился с менее типичными документами: отдельными веб-страницами, онлайн-видео и т. п. Парсеры хороши, пока автор свято соблюдает правила известного стандарта — Chicago, Turabian или MLA. Любое отступление от нормы оборачивается ошибками.

Решение

Здесь и приходят на помощь предобученные языковые модели : они быстро схватывают закономерности любого библиографического стиля , даже выдуманного вами, и им хватает нескольких примеров, чтобы правильно перевести большие объёмы оформленной библиографии в .

В начале 2021 года мне посчастливилось получить ранний доступ к от OpenAI. Codex — модель, переводящая с естественного языка на язык программирования и обратно. По словам OpenAI, она владеет более чем дюжиной языков программирования, и хотя её API на момент написания этой заметки всё ещё доступен только в бета-версии, на нём уже работают популярные приложения вроде от GitHub.

Поэкспериментировав с этим API, я понял, что он отлично справляется и с кодом попроще — таким как BibTeX.

И в самом деле, чтобы всё надёжно заработало, мне понадобились всего четыре примера во входном промпте.

Входной промпт

References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009.

Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015.

Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. .

Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994.

@incollection{bayle2009,
 author = {Bayle, Ariane},
 booktitle = {Vulgariser la médecine. Du style médical en France et en Italie},
 title = {Patients exemplaires: la correspondance médicale de Fioravanti},
 editor = {Carlino, Andrea and Michel Jeanneret},
 year = {2009},
 address = {Geneva},
 publisher = {Droz},
 langid = {french}
}
@book{berns2015,
 title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth},
 author = {Berns, Andrew D.},
 address = {Cambridge},
 publisher = {Cambridge University Press},
 langid = {english},
 date = {2015}
}
@article{gabler2010,
 author = {Gabler, Hans Walter},
 title = {Theorizing the Digital Scholarly Edition},
 journal = {Literature Compass},
 volume = {7},
 number = {2},
 pages = {43-56},
 doi = {10.1111/j.1741-4113.2009.00675.x},
 langid = {english},
 year = {2010}
}
@book{findlen1994,
 title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy},
 author = {Findlen, Paula},
 address = {Berkeley},
 publisher = {University of California Press},
 langid = {english},
 date = {1994}
}

Результаты

впечатляют: за считаные дни преобразовано более 2 000 библиографических ссылок. Модель не только точно воспроизвела схему из моего промпта, но и правильно добавила типы записей и полей, которых в промпте не было. Иначе говоря, GPT-3 свободно владеет BibTeX. И — что, пожалуй, ещё удивительнее для модели, обучённой в основном на английском, — она распознала все языки (русский, французский, итальянский, латынь, греческий, немецкий, испанский и т. д.), каждый раз добавляя верное поле langid.

Примечание

У GPT-3 пока ограничены размеры входа и выхода: она обрабатывает не более 2048 лингвистических токенов. Как только это ограничение снимут, та же работа, вероятно, займёт час или меньше.

Несколько неожиданно GPT-3 добавила и сведения, которых в исходных ссылках не было.

Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015.

В этой библиографической записи, например, GPT-3 добавила постоянную ссылку на репозиторий открытого доступа ( ), где статью можно прочесть, включая специальные поля HAL_ID и HAL_VERSION, введённые самим репозиторием HAL:

@inproceedings{baillot2015,
 title = {Editing for Man and Machine},
 author = {Baillot, Anne and Busch, Anna},
 year = 2015,
 booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting},
 address = {Leicester},
 series = {Variants (Journal of the European Society for Textual Scholarship)},
 volume = 13,
 editor = {Bruhn, Siglinde and Schreiber, Manfred},
 langid = {english},
 hal_id = {halshs-01233380},
 hal_version = {v1}
}

Эти дополнения показывают, что GPT-3 не просто разбирает библиографическую ссылку, но и дополняет её на основании того, что усвоила при обучении. Было бы любопытно проверить, поведёт ли она себя так же со ссылками, датированными позже её обучения…

Ограничения

Впрочем, GPT-3 не безупречна. За ней нужен человеческий присмотр. Одно из известных её ограничений — : порой она что-то выдумывает и делает маловероятные допущения.

В моём эксперименте приступы бессвязности проявились, когда GPT-3 ни с того ни с сего переделала фамилию автора «Ruscelli» в «Ruscello». Строго говоря, это не ошибка: в Италии раннего Нового времени фамилии употреблялись во множественном и в единственном числе без разбора. Однако сегодня принято сохранять фамилию в том числе — единственном или множественном, — в каком она есть. Никто не назовёт Макиавелли «Макиавелло», как и от нас ожидают формы Rossello, а не Rosselli. Проигнорировала ли GPT-3 это правило из-за отсутствия чувства хронологии? Или же она сделала допущение по соседним фамилиям, которые в этой части библиографии, как на грех, все стоят в единственном числе (Bariletto, Cesano, Rossello)? Кто знает.

@book{rossello1565,
 title = {Della summa de’ secreti universali},
 author = {Rossello, Timoteo},
 address = {Venice},
 publisher = {Giovanni Bariletto},
 langid = {italian},
 date = {1565}
}
@book{ruscello1559,
 title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese},
 author = {Ruscello, Girolamo},
 address = {Pesaro},
 publisher = {Bartolomeo Cesano},
 langid = {italian},
 date = {1559}
}

Заключение

Написанные за четыре года напряжённого сотрудничества, 150 с лишним очерков, , не только сообщают важнейшие сведения о рукописи, которую мы издали и перевели, но и содержат ценную библиографическую информацию.

Сведя эти ссылки в базу данных, издатели могут менять библиографическое оформление в мгновение ока и свободнее решать, как подавать эту информацию. Кроме того, такая база многое говорит о самом издании и о проекте, который сделал его возможным, открывая учёным новые аналитические перспективы. И составить её можно с высокой точностью и в рекордные сроки.

Ошибки, пожалуй, могут закрадываться — прежде всего из-за склонности GPT-3 к галлюцинациям. Но будущие поколения предобученных языковых моделей смягчат эту проблему.

Avviso | Издание новостей, сделавших нас современными (1537—1743)

Sun, 12 Dec 2021 00:00:00 +0000

Главная цель проекта Avviso — оцифровать, сохранить, каталогизировать, издать, снабдить контекстом и сделать доступными 35 000 рукописных новостных листков раннего Нового времени, известных как avvisi, которые входили в собрание Медичи и ныне хранятся в Государственном архиве Флоренции. Каталогизация, оцифровка и распространение примерно 35 000 avvisi — рукописных новостных листков раннего Нового времени — через платформу Medici Interactive Archive проекта Medici Archive Project.

Экономное издание текстов

Sun, 12 Dec 2021 00:00:00 +0000

Цифровые критические издания обходятся дорого. Труд транскрипции, перевода и комментирования, который должна выполнять высококвалифицированная команда, — это тысячи часов работы, и он требует серьёзного финансирования, не говоря уже о долгосрочной институциональной поддержке.

В каком-то смысле то, что заметные проекты в цифровых гуманитарных науках способны собрать огромные средства, необходимые для их работы, — благо.

И всё же тяжёлая зависимость от щедрости богатых фондов, университетов и государственных ведомств, затяжная потребность в больших людских ресурсах — не та экономическая модель, на которой можно строить будущее. Пусть всё больше учёных могут позволить себе амбициозные цифровые издания первоисточников, эта практика остаётся привилегией немногих богатых стран — и тем самым укрепляет их культурную гегемонию.

Чтобы исторические документы со всего мира стали доступны широкой публике, стоимость цифровых критических изданий должна упасть на порядки .

В этой серии заметок я оцениваю разные подходы и технологические кирпичики, с помощью которых учёные по всему миру могут публиковать первоисточники быстрее и с минимальными затратами.

В частности, я рассмотрю такие технологии, как машинное обучение, блокчейн и децентрализованное хранение.

Автоматизация разметки в цифровых научных изданиях

Mon, 22 Nov 2021 18:15:00 +0000

Введение

Как готовить цифровые научные издания, не разоряясь? В этой заметке — первой из серии об экономном издании текстов — я оцениваю, какую роль предобученные языковые модели могут сыграть в автоматизации издательских задач, например семантической разметки.

Содержание

Проблема

Труд по любви

Когда любишь, не считаешь… во всяком случае, так гласит старая пословица. К цифровым научным изданиям это относится в полной мере: транскрипция, перевод и комментирование, из которых они складываются, требуют тысяч часов работы, и выполняют её — как в случае — сотни высококвалифицированных сотрудников.

В каком-то смысле то, что заметные проекты в цифровых гуманитарных науках способны собрать огромные средства, необходимые для их работы, — благо. И всё же тяжёлая зависимость от щедрости богатых фондов, университетов и государственных ведомств, затяжная потребность в больших людских ресурсах — не та экономическая модель, на которой можно строить будущее.

В сущности, если мы хотим, чтобы учёные по всему миру открывали исторические документы широкой публике, стоимость цифровых критических изданий должна упасть на порядки .

Высокий порог

Как ни парадоксально, решение могут дать сами трудоёмкие проекты вроде : они представляют собой ценный обучающий набор , на котором можно автоматизировать самые отталкивающие и однообразные операции цифрового издания — например, разметку.

Не то чтобы разметка была делом второстепенным. Напротив, разметка стала непременной составляющей любого серьёзного цифрового научного проекта. Стандартизованная , она позволяет зафиксировать как можно больше сведений о документе и о тексте, который он передаёт: структуру, маргиналии, вычёркивания, разночтения, сорт бумаги, пятна, почерк… что угодно.

Следующий пример, взятый из , показывает, как разметка обогащает текст дополнительной информацией (категория, структура, семантические поля, вычёркивания и т. д.), в конечном счёте давая цифровым изданиям серьёзное преимущество перед их бумажными предками.

Plain Text XML Markup

Plain Text	XML Markup
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

Эти сведения ценны не только для архивных целей, но и — как я уже показывал прежде — для синтеза и анализа. Тем не менее подобное аннотирование может отнимать чрезвычайно много времени, ведь один и тот же текст зачастую должен существовать в нескольких обличьях: как перевод, как транскрипция, как модернизированная версия и т. д.

Решение

Трансформеры: кратчайший путь к автоматизации?

В 2020 году с большой помпой выпустила новое семейство универсальных больших языковых моделей под названием GPT-3 — «Generative Pre-trained Transformer 3». Трансформеры — сравнительно недавний прорыв в области искусственного интеллекта. Новым задачам они обучаются поразительно быстро: достаточно прочесть промпт и посмотреть на очень небольшое число примеров. Их можно и дообучить на специально подобранном наборе данных (fine-tuning), улучшив скорость отклика и точность. Потому GPT-3 и подобные ей трансформеры называют — моделями, которым хватает нескольких примеров.

По словам OpenAI, GPT-3 содержит рекордные 175 млрд параметров и обучена более чем на 570 ГБ текста, по большей части английских документов, взятых, надо думать, . Благодаря одним своим размерам GPT-3 задала новую планку в этой области: прямо «из коробки» она выполняет самые разные задачи с тревожным правдоподобием. Она пишет убедительные , в чатах, , , переводит документы, объясняет жаргон и т. д.

Получив ранний доступ к API OpenAI в мае 2021 года, я смог проверить, как модель справляется с задачами, которые слывут трудными: переводом французской поэзии и новолатинских текстов на английский, объяснением аналогий и даже пересказом третьего раздела кантовского «Основоположения к метафизике нравов» для семилетнего ребёнка (правда, не слишком убедительным).

Codex

Одно из последних ответвлений GPT-3 посвящено языкам программирования. Модель под названием Codex переводит с естественного языка на язык программирования и обратно. Скажем, если мне нужно регулярное выражение, которое «находит только слова, начинающиеся с заглавной буквы», GPT-3 тут же превращает эту фразу в рабочее регулярное выражение: [A-Z]+\w+.

По словам OpenAI, Codex работает с дюжиной языков программирования, включая Python, JavaScript, Go, Perl, PHP, Ruby и Swift. Гладко превращая псевдокод в код, Codex позволяет сосредоточиться не на утомительном синтаксисе языка, а на логических шагах и стратегиях, благодаря которым программы решают задачи.

Не только OpenAI

Разумеется, OpenAI — не единственный игрок на поле. Как уже говорилось, Пекинская академия искусственного интеллекта объявила в 2021 году о ещё более крупной и мощной модели Wu Dao 2. Nvidia и Microsoft объединили усилия и выпустили модель с говорящим названием Megatron-Turing NLG 530B. Стартапы поменьше, такие как и , тоже предлагают публике свои API. Стоит упомянуть и инициативы с открытым исходным кодом вроде . Сцена ИИ, конечно, меняется очень быстро; чтобы следить за новыми начинаниями в этой области, загляните на .

Эксперименты

Примечание

Цель этих экспериментов — найти самый экономный путь к надёжной автоматизации издательских задач. Можно возразить, что некоторые из них поддаются автоматизации и с помощью алгоритмов обучения с учителем. Эту гипотезу мы рассмотрим в одной из следующих заметок.

Может ли трансформер вроде GPT-3 научиться аннотировать, скажем, технико-научную рукопись XVI века?

Эксперимент 1. Классификация текстов

Начнём с чего-нибудь относительно простого. Как «few-shot learner», GPT-3 должна быстро уловить, по какому принципу наша редакционная группа классифицировала статьи Ms Fr 640.

Составление промпта

Для обучения я взял самый минималистичный промпт и выбрал в качестве примеров четыре коротких статьи в виде простого текста — в том числе о «медицине», «оружии и доспехах» и «живописи».

Проверка

Затем я скопировал ещё один отрывок, которого не было в исходной подборке:

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

Результат полностью соответствует содержанию:

<categories="painting">

Если же взять статью из категории, которой вообще не было среди текстов, отобранных для обучения GPT-3, результат удивляет.

<categories="jewelry">

Итог

Категории «jewelry» (ювелирное дело) в нашем издании Ms. Fr. 640 нет. Редакционная группа более широкую категорию «Stones» (камни). Впрочем, чутьё у GPT-3 хорошее, и это значит, что, немного доучившись, она сможет классифицировать любую статью Ms. Fr. 640, а возможно, и других технических текстов XVI века.

Эксперимент 2. Семантическая разметка

Поднимем планку. Если трансформеры вроде GPT-3 способны научиться классифицировать тексты по определённым редакционным критериям, могут ли они распознавать и часть разметки текста?

Примечание

Secrets of Craft and Nature использует семантических и структурных тегов. К сожалению, GPT-3, в отличие от других проектов вроде , не обрабатывает изображения. Вероятно, будущие версии GPT получат эту способность, без которой не распознать большинство структурных и материальных особенностей документа. Эти теги мы пропустим и сосредоточимся на разметке, не требующей распознавания изображений.

Составление промпта

Семантические теги охватывают упоминания животных, растений, топонимов, чувственных ощущений и т. д. В обучающий промпт я включил несколько примеров из издания:

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

Проверка

Попробуем несколько простых слов на модели Davinci-codex: Apothecary (аптекарь), smoke (дым), glassmakers (стеклодувы), latten (латунь) и snake (змея). Результат мгновенный и безупречный:

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

Задача посложнее — составные выражения вроде copper plates (медные пластины), walnut oil (ореховое масло) и wood block (деревянная колода). Цель здесь — проверить, справляется ли GPT-3 с вложенными тегами.

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

Результат, однако, неоднозначен: Davinci-codex правильно разметила только walnut oil, не распознав вложенные теги tl и m в copper plates и wood block. Впрочем, как показывает следующая проверка, эти ошибки можно исправить, улучшив обучающий промпт. Стоило добавить ещё пять примеров вложенных тегов, и Davinci-codex выдала почти безукоризненный результат с единственной ошибкой (oil paintbrushes):

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

Заключение

Важно помнить, что эти испытания проводились на небольших фрагментах текста. Подозреваю, что, дай мы в примерах и в промпте больше контекста, модели GPT-3 показали бы ещё лучшие результаты. Более того, дообучение модели на специально подобранных данных, без сомнения, ещё повысило бы точность разметки.
Пусть для доказательства надёжности предобученных языковых моделей эти эксперименты ещё предстоит повторить в большем масштабе, мы всё же можем заключить, что такой подход позволяет издателям автоматизировать целый ряд задач аннотирования в несколько простых шагов, потенциально экономя огромное количество времени и денег.

Визуализация рукописей 2 (обновление)

Sat, 20 Nov 2021 16:00:00 +0000

Как и обещал, новая версия интерактивной древовидной карты из — на сей раз с двумя режимами просмотра.

Примечание

Для лучшего просмотра переключите страницу в светлый режим (щёлкните по значку луны в правом верхнем углу).

Group folios by category

Визуальный обозреватель архива

Sun, 20 Jun 2021 16:00:00 +0000

Проблема

Цифровые издания страдают парадоксом: открывая труднодоступные документы широкой публике, они вместе с тем лишают читателя чувственного восприятия, и эта дематериализация нередко дезориентирует его и даже отбивает охоту вникать в содержание. Навигация по огромным хранилищам документов становится громоздкой и пугающей. Это верно не только для тех, кто неопытен в архивной работе, но и для читателей с когнитивными нарушениями.

Решение

Здесь нам могут помочь архивные метаданные. Ведь такие данные позволяют создавать интерактивные визуальные абстракции, которые дают читателю альтернативный чувственный вход, повышая тем самым и удобство, и доступность. Чтобы по архиву можно было перемещаться глазами, сгодится древовидная карта (treemap) или любая другая диаграмма, толково раскладывающая иерархические данные.

Эксперимент

В первом опыте я приспособил для D3.js, добавив в него гиперссылки. Карта изображает рукопись BnF Ms Fr 640, её листы и статьи внутри каждого листа. Цвета обозначают преобладающую категорию. При наведении курсора на статью открываются дополнительные данные, включая гиперссылку на рукопись.
Так древовидная карта превращается в интерактивный визуальный указатель, который очень быстро и отзывчиво показывает читателю не только содержание рукописи, но и размеры каждого листа и каждой статьи.
В ближайшие месяцы я продолжу экспериментировать с этой идеей, пробуя другие диаграммы и другие иерархии… Следите за новостями! Новая версия древовидной карты — .

Примечание

Для лучшего просмотра переключите страницу в светлый режим (щёлкните по значку луны в правом верхнем углу).

Click any cell to zoom in, or the top to zoom out.

Архив как на ладони

Mon, 24 May 2021 16:00:00 +0000

Проблема

Исторические архивы бывают устрашающе беспорядочны. Фонд Mediceo del Principato в — наглядный тому пример. Инвентаризована лишь малая его часть, а многие документы без всякой видимой причины рассеяны по более чем 6 500 томам. Мало того, архив разрешает заказывать лишь ограниченное число томов (или filze — связок, как их здесь называют). В обычное время предел — четыре filze в день. В пандемию же он упал до четырёх за две недели. За неимением подробных описей огромные размеры архива вынуждают исследователей изобретать стратегии, чтобы быстро находить нужные документы.

Решение

Кто-то полагается на случай, кто-то пытается строить обоснованные догадки — по хронологии, адресатам, авторам, происхождению архивного фонда, языку и т. д. Но если посмотреть на все эти переменные разом, могут проступить неожиданные закономерности в устройстве архива, а догадки станут точнее. Мой опыт показывает: метаданные, которые исследователи обычно копят в электронной таблице, будучи представлены графически, заметно помогают ориентироваться в архиве.

Эксперимент

Моё нынешнее исследование посвящено переписке шпиона XVI века. Его письма разбросаны по сотням filze. Они написаны под разными именами, разным и порой неожиданным адресатам, из разных мест и т. д. Чтобы находить filze, в которых нужные письма вероятнее всего, я собрал дашборд — интерактивное веб-приложение для визуализации данных ( ), которое связывает самые разные сведения, в том числе географические и хронологические, с иерархической диаграммой ( ) архивного фонда. Дашборд с одного взгляда показывает мне, что уже найдено, сколько это составляет, и в общих чертах подсказывает, где ещё можно искать новые письма. А стоит щёлкнуть по той или иной переменной, как все диаграммы перестраиваются, показывая конкретные корреляции.

Что дальше

Пожалуй, важнее другое: этот дашборд можно превратить в визуальный указатель. Когда критическое издание писем выйдет в сети, дашборд станет альтернативным входом, откуда читатели смогут просматривать данные. Из соображений конфиденциальности сейчас я могу показать лишь снимок экрана с затёртыми деталями, но полную версию дашборда выпущу в следующем году. А пока скоро появится прототип. Следите за новостями!

Making & Knowing Project

Sun, 27 Dec 2020 00:00:00 +0000

, основанный в 2014 году Памелой Х. Смит и объединяющий сотни участников, — исследовательская и педагогическая инициатива при Колумбийского университета.

В качестве постдока я участвовал в проекте, работая, помимо прочего, над BnF Ms. Fr. 640. Эта уникальная французская рукопись XVI века даёт представление из первых рук о ремесле и материалах эпохи, когда художники были учёными.

Цифровое издание свободно выкладывает обилие данных в своём . В течение ближайшего года я собираюсь опубликовать серию заметок об издании и его данных. Я покажу, как легко скачать и проанализировать текст на Python или R. Следите за новостями!

Визуализация семантической разметки BnF Ms. Fr. 640

Sun, 20 Dec 2020 18:15:00 +0000

Обзор

Насыщенные данными научные издания содержат ценные редакторские аннотации, которые можно извлекать, анализировать и визуализировать для самых разных научных целей. Таково , вышедшее в 2020 году: файл с его метаданными можно скачать из репозитория проекта на GitHub. В этой заметке я показываю, как собрать все эти переменные в корреляционную матрицу и визуализировать её разными способами.

Данные

Making and Knowing Project формирует таблицу с актуальными сведениями о содержании рукописи: entry_metadata.csv. Файл можно взять из . Можно и сгенерировать собственные .csv-файлы с дополнительной разметкой благодаря превосходному Мэттью Кумара — Python-версии BnF Ms. Fr. 640.

Настройка Python

Для обработки данных возьмём Pandas, для тепловых карт — Matplotlib и seaborn, а для построения сетей на основе корреляций — NetworkX.
Для переменных такого типа мы откажемся от метода Пирсона и воспользуемся методом 𝜙𝐾. Обязательно об этом методе корреляции и о соответствующей библиотеке PhiK.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

Подготовка данных

Сначала скачаем свежий файл метаданных издания из папки metadata в его . Выберем только нужные столбцы. Для этой демонстрации я беру все семантические теги из английского перевода tl, но можно взять теги из французской транскрипции tc или нормализованной версии tcn. Данные приходят в виде значений, разделённых точкой с запятой, и Python должен их для нас подсчитать. Для этого воспользуемся методом stack-unstack с регулярным выражением [^;\s][^\;]*[^;\s]*. Чтобы матрица была понятнее, переименуем столбцы. Если вы спешите, этот шаг можно пропустить — только помните, что наш датафрейм на этом этапе называется tagsrn.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

Корреляция

Когда датафрейм очищен, можно переходить к расчёту коэффициентов корреляции между переменными. На этом этапе важно понимать свои данные и убедиться, что выбран самый подходящий метод корреляции. Здесь особенно полезен пакет pandas-profiling.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag — наша корреляционная матрица. Теперь можно пробовать разные виды визуализации.

Визуализация

Первое, что можно попробовать, — представить её как матрицу с цветовой кодировкой при помощи из seaborn.

Тепловая карта корреляций

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

Если вы хорошо знаете текст, то сразу увидите, что тепловая карта во многом осмысленна. Например, имена сильно коррелируют с латынью: их было принято латинизировать, особенно среди гуманистов XVI века.

Кто-то, возможно, возразит, что тепловая карта лишь ломится в открытую дверь. И будет не совсем неправ: на первый взгляд медицинские теги — наглядный тому пример, ведь они предсказуемо коррелируют с частями тела, мерами и растениями.

Но если читать тепловую карту внимательнее, строка за строкой, можно найти любопытные и неожиданные корреляции. То, что медицинские теги, например, коррелируют с итальянскими и латинскими словами, кое-что подсказывает о происхождении медицинских рецептов в Ms. Fr. 640. Точно так же корреляция между профессиями, определениями и мерами показывает, насколько профессиональная идентичность структурирует технический дискурс XVI века.

Кластерная карта корреляций

Тепловые карты хороши в «разведочном» режиме, но публике они могут показаться неряшливыми, особенно если вы обсуждаете — или всё ещё ищете — конкретные семантические кластеры в рукописи. Любопытные результаты может дать модуль clustermap из seaborn.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

Помимо того, что кластерная карта похожа на пикселизированное (да, это слово есть в Оксфордском словаре) насекомое, она чётко отделяет изолированные теги (сверху и слева) от более связанных между собой. Различимы и обособленные кластеры — например, музыка и пуатевинский диалект (кто бы мог подумать!) — и более центральные: меры, материалы, определения и оружие. Профессии связаны со многими, но, по крайней мере в этой конкретной корреляционной матрице, не входят ни в какой определённый кластер.

Корреляционная сеть

Если хочется ещё сильнее сжать корреляции, содержащиеся в матрице, изящное решение дают сетевые графы. Это особенно верно, когда нужно рассказать о содержании рукописи.
Для этого нужно превратить матрицу в список рёбер и узлов и задать порог, чтобы убрать из графа слабые корреляции.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

Если рёбер и узлов слишком много, порог всегда можно изменить и получить более чистый результат. Или же экспортировать граф функцией .write_gexf() и поиграть с ним в Gephi.

nx.write_gexf(G, 'graph.gexf')

Результат можно увидеть в начале этой заметки.

Обновление: круговая взвешенная сеть

Я искал способы показать корреляционные матрицы в виде взвешенных сетей и нашёл интересный подход, ; здесь я приспосабливаю его к нашему набору данных.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

Убрав часть рёбер, можно задать их цвет и толщину.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

Узлам мы также придаём размер, пропорциональный числу их связей.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

В результате получаем взвешенный граф, который вмещает больше узлов и значительно больше рёбер, оставаясь при этом читаемым и информативным.

Тайная переписка Филиппо Каврианы, 1568—1589.

Fri, 27 Dec 2019 00:00:00 +0000

Тайные письма Филиппо Каврианы — уникальное свидетельство о Религиозных войнах во Франции: более двадцати лет они освещают интриги, сражения, переговоры и заговоры, которыми жил французский двор — и не только он.

Письма, хранящиеся в , по большей части рассеяны по сотням неинвентаризованных связок — filze, как их называют во Флоренции. Хотя за последние годы мне удалось обнаружить десятки новых писем, такие архивные разыскания даются всё труднее. Удалённость от Флоренции, упадок некоторых государственных служб в Италии и пандемия Covid-19 — всё это превращает подобные издательские проекты в долгое и ненадёжное дело.

Публикация первоисточников должна оставаться, невзирая на растущие трудности, частью работы историка. А вот форма таких публикаций, вероятно, должна меняться. Издания первоисточников должны не только приспособиться к описанной выше ситуации, но и лучше отражать поступательный характер этой работы — и при этом позволять кому-то другому её продолжить.

Отсюда идея разработать новый тип цифрового издательского проекта: масштабируемый, устойчивый, заслуживающий доверия, не зависящий от платформы и, потенциально, коллективный.

Издание уже в сети: . Оно собирает письма, транскрибированные к настоящему времени, — из государственных архивов Флоренции и Мантуи и из BnF — и растёт по мере того, как всплывают новые. Замысел его устройства я объяснил в .