Python |

persNamer 1.2: один номер VIAF — девять авторитетных файлов

Mon, 07 Sep 2026 00:00:00 +0000

задумывался как мелкое удобство: на входе номер VIAF, на выходе запись <person> в TEI да тег <persName>, которым размечают текст. Больше он ничего не умел, и запись выходила тощей — имя, две даты, один идентификатор. Версия 1.2, вышедшая сегодня, ничему другому так и не научилась; зато запись стала такой, что её стоит хранить.

Что теперь входит в запись о персоне

Начнём с имени. В кластере VIAF каждая библиотека-участница держит имя в своей форме, а старый persNamer брал первую, какая попадётся. Спросите у него Вольтера — и получите «فولتير،»: по-арабски, с запятой на хвосте, да ещё и с пустым xml:id в придачу. Версия 1.2 пересчитывает формы по всему кластеру и оставляет ту, на которой исходные записи сходятся; остальные идут следом как <persName type="variant">, по убыванию частоты. Даты приводятся к норме (1572-08-00 становится 1572-08) и пишутся дважды — текстом и в атрибуте @when: именно атрибут и прочтёт любая обработка, которая вообще понимает даты. Пол и описания добавляются, когда VIAF их отдаёт.

Но самое желанное для меня — другое: все идентификаторы, на которые VIAF ссылается через schema:sameAs и через собственные идентификаторы источников, теперь выписаны, каждый своим <idno> — BnF, GND, Библиотека Конгресса, SUDOC, Wikidata, ISNI, BNE, LIBRIS, NDL. Один номер на входе — девять каталогов на выходе. Для персонографии это и есть та грань, что отделяет список имён от узла в сети авторитетных данных.

<person xml:id="pers-teligny-c">
 <persName>Charles de Téligny</persName>
 <birth when="1535">1535</birth>
 <death when="1572-08-24">1572-08-24</death>
 <sex value="M">M</sex>
 <idno type="VIAF">314802260</idno>
 <idno type="BNF">16133360</idno>
 <idno type="Wikidata">Q1868249</idno>
 <idno type="ISNI">0000000071126808</idno>
</person>

От фрагментов к персонографии

Пока персона одна, можно и в терминал XML напечатать. Но в издании их сотни. Поэтому persNamer теперь берёт сразу несколько номеров VIAF, между запросами вежливо выдерживает паузу, загруженное складывает в кэш, а с ключом --merge сам вставляет новые записи в <listPerson> готового файла TEI. Тех, кто в файле уже есть, он узнаёт по номеру VIAF и оставляет им прежний xml:id; новые идентификаторы сверяет с файлом и при совпадении добавляет суффикс (-2, -3); под конец заново расставляет отступы — предварительно сохранив копию .bak.

persnamer --merge edition.xml 314802260 36925746

Одно изменение нужно иметь в виду: частица перед фамилией по умолчанию в идентификатор больше не входит, так что Шарль де Телиньи теперь pers-teligny-c, а не pers-deteligny-c. Если в вашем проекте уже прижилась старая форма, --keep-particle её вернёт; а если не хочется зависеть от имён вовсе, --id-format viaf даст pers-viaf-314802260.

По хозяйству

Из скрипта вырос пакет с командой persnamer: ставится одной строкой — uv tool install или pipx, — а через uvx можно один раз запустить и вовсе без установки. Двадцать шесть тестов гоняют его на записанных ответах VIAF, так что сеть им не нужна; CI прогоняет их на Python от 3.9 до 3.13, а вывод проверяется на соответствие TEI P5. Лицензия прежняя — Apache 2.0.

Чего он по-прежнему не скажет — где человек родился и чем зарабатывал на жизнь: в кластерном RDF VIAF нет ни мест, ни занятий. Зато они есть в связанных записях BnF и GND, а их номера у вас теперь на руках.

Код и документация — на .

tei-mcp

Sun, 15 Mar 2026 00:00:00 +0000

tei-mcp: TEI P5 для ИИ-агентов

tei-mcp — -сервер с открытым исходным кодом, дающий ИИ-ассистентам для программирования прямой доступ к спецификации . Вместо того чтобы полагаться на заученные обучающие данные — что часто даёт правдоподобную, но неверную разметку, — ИИ может обращаться к спецификации в реальном времени.

Возможности

Сервер разбирает TEI P5 ODD и предоставляет 16 инструментов:

Поиск любого элемента, класса, макроса или модуля по имени без учёта регистра и с подсказками при опечатках
Разрешение атрибутов по всей иерархии классов TEI (локальные + унаследованные)
Развёртывание моделей содержимого в структурированные деревья с разрешением классов и макросов
Проверка вложенности — прямая связь «родитель — потомок» или рекурсивная достижимость с отслеживанием пути
Валидация документов по TEI P5: модели содержимого, атрибуты, закрытые списки значений, целостность ссылок и предупреждения об устаревших элементах
Валидация отдельных элементов для пошагового редактирования
Загрузка ODD-настроек, ограничивающих схему подмножеством, принятым в проекте
Поиск по регулярным выражениям среди всех типов сущностей

Установка

pip install tei-mcp

Или запустите напрямую:

uvx tei-mcp

Использование

Добавьте в любой MCP-совместимый клиент (Claude, Cursor, Windsurf и т. д.):

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

Исходный код и документация — в .

Multi-Saxon

Fri, 28 Mar 2025 00:00:00 +0000

Multi-Saxon: параллельная обработка XSLT для больших корпусов TEI

Multi-Saxon закрывает серьёзный пробел в инструментах обработки XML: он позволяет параллельно выполнять преобразования XSLT 2.0 и 3.0, с которыми не справляется LXML (популярная библиотека Python для работы с XML). Созданный специально для больших собраний документов XML TEI, Multi-Saxon заметно ускоряет обработку за счёт эффективного параллельного выполнения.

Основные возможности

Продвинутая поддержка XSLT: выполняет преобразования XSLT 2.0 и 3.0, недоступные LXML
Параллельная обработка: резко сокращает время преобразования больших собраний документов за счёт распараллеливания
Оптимизация под TEI: спроектирован специально для XML-документов Text Encoding Initiative (TEI)
Масштабируемая производительность: эффективно обрабатывает корпуса от сотен до тысяч документов
Кроссплатформенность: работает в разных операционных системах и средах

Какую проблему решает Multi-Saxon

Специалисты по цифровым гуманитарным наукам, работающие с TEI, часто сталкиваются с двумя серьёзными трудностями:

LXML (распространённая библиотека Python для обработки XML) поддерживает только XSLT 1.0, так что более продвинутыми возможностями XSLT 2.0/3.0 воспользоваться невозможно
Последовательная обработка больших корпусов документов TEI может занимать непозволительно много времени

Multi-Saxon решает обе задачи: он использует продвинутые возможности XSLT в Saxon и распределяет обработку по нескольким ядрам, что даёт существенный выигрыш в производительности.

Реализация

Multi-Saxon сочетает Python с Java-процессором Saxon, образуя высокопроизводительный конвейер преобразований:

использует Java-библиотеку Saxon для надёжной обработки XSLT 2.0/3.0
применяет многопроцессность, распределяя преобразования по доступным ядрам CPU
эффективно управляет пулами процессов, чтобы максимизировать пропускную способность
предоставляет простой интерфейс для пакетной обработки документов TEI

Пример использования

from multi_saxon import MultiSaxon

# Initialize with your XSLT stylesheet
transformer = MultiSaxon("transform.xsl")

# Transform a single document
transformer.transform("input.xml", "output.xml")

# Transform an entire directory in parallel
transformer.transform_directory("input_dir", "output_dir")

Значение для цифровых гуманитарных наук

Проектам в цифровых гуманитарных науках, работающим с большими собраниями документов TEI, Multi-Saxon даёт:

сложные преобразования всего корпуса, невозможные с LXML
резко сокращённое время обработки (нередко в 5–10 раз на многоядерных системах)
более тонкий анализ благодаря продвинутым возможностям XSLT 2.0/3.0
упрощённый рабочий процесс для обработки целых собраний документов

Исходный код и документация — в .

persNamer

Fri, 28 Mar 2025 00:00:00 +0000

persNamer: связываем TEI с Virtual International Authority File

persNamer — специализированный инструмент на Python, упрощающий включение авторитетных данных о персонах из VIAF (Virtual International Authority File) в документы TEI XML. Преобразуя идентификаторы VIAF в готовую к использованию TEI-разметку, persNamer значительно сокращает ручную работу по созданию структурированных записей о персонах для цифровых научных изданий.

Трудности авторитетного контроля в TEI

Цифровым научным изданиям часто требуется точная идентификация исторических лиц, включая нормализованные формы имён и даты жизни. Чтобы поддерживать единообразный авторитетный контроль по всему проекту, нужно:

выявить персоны в исторических текстах
найти о них авторитетные данные
создать правильно оформленные записи TEI
обеспечить единообразие ссылок по всему проекту

Обычно эти шаги выполняются вручную, отнимают много времени и чреваты разнобоем.

Как работает persNamer

persNamer автоматизирует этот процесс:

Получение данных VIAF: по идентификатору VIAF инструмент загружает RDF-данные через согласование содержимого HTTP
Извлечение ключевых сведений: разбирает RDF и извлекает предпочтительную форму имени, дату рождения и дату смерти
Генерация TEI-разметки: создаёт два необходимых фрагмента XML:
- запись авторитетного файла (элемент <person> со сгенерированным xml:id, <persName>, <birth>, <death> и <idno type="VIAF">)
- отдельный тег аннотирования (<persName> с атрибутом ref, указывающим на запись авторитетного файла)

Такой двойной вывод позволяет редакторам вести централизованный авторитетный файл и при этом легко вставлять теги аннотирования в свои тексты TEI.

Основные возможности

Стандартизованная генерация идентификаторов: создаёт единообразные XML-идентификаторы вида pers-[familyname]-[givenname initial] (напр., pers-deteligny-c)
Разбор RDF: использует rdflib для извлечения сведений из различных RDF-свойств (напр., rdfs:label, schema:name, viaf:mainHead)
Интерфейс командной строки: простой запуск, где единственный обязательный аргумент — номер VIAF
Подробный вывод: помимо итогового XML, сообщает детали обработки

Пример использования

python persNamer.py 314802260

Эта команда выдаёт:

<person xml:id="pers-deteligny-c">
 <persName>Charles deTéligny</persName>
 <birth>1535</birth>
 <death>1572-08-24</death>
 <idno type="VIAF">314802260</idno>
</person>

<persName ref="#pers-deteligny-c">Charles deTéligny</persName>

Применение в цифровых гуманитарных науках

persNamer особенно полезен для:

цифровых научных изданий, требующих авторитетного контроля
проектов TEI-кодирования, работающих с историческими лицами
инициатив в области связанных данных, соединяющих документы с авторитетными записями
обеспечения единообразия в больших корпусах TEI
преподавания основ авторитетного контроля в курсах по цифровым гуманитарным наукам

Реализация

persNamer написан на Python и зависит от:

requests для HTTP-запросов
rdflib для разбора RDF
lxml для работы с XML

Исходный код и документация — в .