TEI |

persNamer 1.2: один номер VIAF — девять авторитетных файлов

Mon, 07 Sep 2026 00:00:00 +0000

задумывался как мелкое удобство: на входе номер VIAF, на выходе запись <person> в TEI да тег <persName>, которым размечают текст. Больше он ничего не умел, и запись выходила тощей — имя, две даты, один идентификатор. Версия 1.2, вышедшая сегодня, ничему другому так и не научилась; зато запись стала такой, что её стоит хранить.

Что теперь входит в запись о персоне

Начнём с имени. В кластере VIAF каждая библиотека-участница держит имя в своей форме, а старый persNamer брал первую, какая попадётся. Спросите у него Вольтера — и получите «فولتير،»: по-арабски, с запятой на хвосте, да ещё и с пустым xml:id в придачу. Версия 1.2 пересчитывает формы по всему кластеру и оставляет ту, на которой исходные записи сходятся; остальные идут следом как <persName type="variant">, по убыванию частоты. Даты приводятся к норме (1572-08-00 становится 1572-08) и пишутся дважды — текстом и в атрибуте @when: именно атрибут и прочтёт любая обработка, которая вообще понимает даты. Пол и описания добавляются, когда VIAF их отдаёт.

Но самое желанное для меня — другое: все идентификаторы, на которые VIAF ссылается через schema:sameAs и через собственные идентификаторы источников, теперь выписаны, каждый своим <idno> — BnF, GND, Библиотека Конгресса, SUDOC, Wikidata, ISNI, BNE, LIBRIS, NDL. Один номер на входе — девять каталогов на выходе. Для персонографии это и есть та грань, что отделяет список имён от узла в сети авторитетных данных.

<person xml:id="pers-teligny-c">
 <persName>Charles de Téligny</persName>
 <birth when="1535">1535</birth>
 <death when="1572-08-24">1572-08-24</death>
 <sex value="M">M</sex>
 <idno type="VIAF">314802260</idno>
 <idno type="BNF">16133360</idno>
 <idno type="Wikidata">Q1868249</idno>
 <idno type="ISNI">0000000071126808</idno>
</person>

От фрагментов к персонографии

Пока персона одна, можно и в терминал XML напечатать. Но в издании их сотни. Поэтому persNamer теперь берёт сразу несколько номеров VIAF, между запросами вежливо выдерживает паузу, загруженное складывает в кэш, а с ключом --merge сам вставляет новые записи в <listPerson> готового файла TEI. Тех, кто в файле уже есть, он узнаёт по номеру VIAF и оставляет им прежний xml:id; новые идентификаторы сверяет с файлом и при совпадении добавляет суффикс (-2, -3); под конец заново расставляет отступы — предварительно сохранив копию .bak.

persnamer --merge edition.xml 314802260 36925746

Одно изменение нужно иметь в виду: частица перед фамилией по умолчанию в идентификатор больше не входит, так что Шарль де Телиньи теперь pers-teligny-c, а не pers-deteligny-c. Если в вашем проекте уже прижилась старая форма, --keep-particle её вернёт; а если не хочется зависеть от имён вовсе, --id-format viaf даст pers-viaf-314802260.

По хозяйству

Из скрипта вырос пакет с командой persnamer: ставится одной строкой — uv tool install или pipx, — а через uvx можно один раз запустить и вовсе без установки. Двадцать шесть тестов гоняют его на записанных ответах VIAF, так что сеть им не нужна; CI прогоняет их на Python от 3.9 до 3.13, а вывод проверяется на соответствие TEI P5. Лицензия прежняя — Apache 2.0.

Чего он по-прежнему не скажет — где человек родился и чем зарабатывал на жизнь: в кластерном RDF VIAF нет ни мест, ни занятий. Зато они есть в связанных записях BnF и GND, а их номера у вас теперь на руках.

Код и документация — на .

tei-mcp v0.3: кодировать в TEI, не переписывая источник

Tue, 05 May 2026 00:00:00 +0000

Когда я , цель была одна: отучить ИИ-ассистентов галлюцинировать разметку TEI. Заземление на схему решило часть проблемы: имея прямой, инструментальный доступ к спецификации P5, модели больше не нужно гадать, что означает элемент и какие атрибуты он принимает. Результат проходит валидацию.

Но у галлюцинации в кодировании TEI два лица, и схема ловит лишь одно. Валидация по спецификации говорит, что разметка корректна. О тексте, который эта разметка обёртывает, она не говорит ничего. А именно там — в самом тексте — живут самые разрушительные галлюцинации. Сборка по закреплённым отрезкам (span-locked composition), главная новинка v0.3, придумана специально, чтобы их не допускать.

Содержание

Галлюцинация, которую схема поймать не может

Попросите модель закодировать французское письмо XVI века — и нередко получите документ TEI безупречного вида. Заголовок заполнен, теги <persName> расставлены правильно, <dateline> оформлен как положено. Прогоните его через validate_document — он пройдёт.

А потом сравните основной текст с источником.

mesme превратилось в même. Запятая переехала. luy тихо осовременили до lui. Фразу, которую трудно было разобрать в рукописи, «исправили» во что-то более гладкое. Ни одного из этих изменений никто не просил. Ни одно не помечено. Документ валиден по схеме и тихо неверен.

Для архивного процесса — где закодированный текст становится постоянной записью, на которую опираются последующие читатели, поисковые индексы и цитаты, — это самый важный вид сбоя. Кривой тег раздражает. Осовремененное написание, которого никто не замечает пять лет, — это порча.

Сборка по закреплённым отрезкам

Новый выпуск (v0.3) содержит механизм предотвращения галлюцинаций, нацеленный ровно на этот сбой. Цель конструкции — сделать галлюцинации в основном тексте невозможными по самому устройству, а не просто маловероятными.

Идея проста: модель никогда не набирает основной текст.

Вместо этого процесс выглядит так:

Модель вызывает get_source("letter_001") и получает исходный простой текст в виде неизменяемой строки.
Для каждого тега, который она хочет поставить, она вызывает tag_span("letter_001", start, end, element_path, attrs), регистрируя элемент TEI на диапазоне символов источника.
Закончив, она вызывает compose("letter_001"). Сервер переплетает записанные теги с исходным простым текстом, отрисовывает итоговый TEI и затем проверяет байт за байтом, что плоское текстовое содержимое полученного документа равно источнику.

Если байты совпадают, документ возвращается. Если нет — если теги модели каким-то образом подразумевают основной текст, отличающийся от источника хотя бы на один символ, — compose() выбрасывает исключение вместо того, чтобы вернуть испорченный документ.

В этом процессе нет пути, на котором модель выдала бы документ TEI с основным текстом, отличным от источника. Инвариант механический, а не поведенческий. Вам не нужно верить, что модель не станет галлюцинировать; нужно верить лишь проверке == между двумя байтовыми строками.

Что это такое — и чем это не является

Сборка по закреплённым отрезкам дополняет заземление на схему, а не заменяет его. Инструменты заземления (validate_document, lookup_element, valid_children и остальные из первоначальных шестнадцати) помогают модели выдавать валидный TEI. Сборка по закреплённым отрезкам гарантирует, что основной текст внутри этого TEI верен источнику. Пригодный к внедрению процесс кодирования должен удовлетворять обеим осям, и теперь обе покрывает один сервер.

Но и волшебной таблеткой от всего это не назовёшь. compose() пока не проверяет, допустимы ли зарегистрированные теги по загруженной ODD-настройке — это следующий шаг. Записанные теги живут в памяти процесса и не переживают перезапуск. А исходные файлы должны быть доступны для чтения оттуда, где запущен сервер. Всё это решаемо; ничто из этого не подрывает основной инвариант.

Почему это важно и за пределами TEI

Этот приём обобщается. Всякий раз, когда модель просят аннотировать, преобразовать или обернуть фрагмент текста — и всякий раз, когда целостность исходного текста важнее, чем способность модели его «улучшить», — годится решение той же формы. Не просите модель перепечатывать текст. Просите её выдать инструкции над текстом, а применять их пусть будет детерминированный сборщик под инвариантом равенства.

Для цифровых изданий в частности это меняет то, что можно ответственно поручить модели. Кодирование вдруг становится задачей, которую можно делегировать, не сверяя вручную каждый результат с источником. Машина идёт скучным путём; редактор проверяет разметку, а не орфографию.

Как обновиться

Если tei-mcp у вас уже установлен:

uvx tei-mcp@latest

Или с нуля:

pip install tei-mcp

Чтобы пользоваться сборкой по закреплённым отрезкам, укажите серверу каталог с исходными текстовыми файлами:

export TEI_MCP_SPAN_SOURCE_ROOT=/path/to/sources
uvx tei-mcp

Имя каждого файла без расширения становится идентификатором документа (letter_001.txt → letter_001).

Исходный код, полная документация и заметки о конструкции инварианта:

tei-mcp

Sun, 15 Mar 2026 00:00:00 +0000

tei-mcp: TEI P5 для ИИ-агентов

tei-mcp — -сервер с открытым исходным кодом, дающий ИИ-ассистентам для программирования прямой доступ к спецификации . Вместо того чтобы полагаться на заученные обучающие данные — что часто даёт правдоподобную, но неверную разметку, — ИИ может обращаться к спецификации в реальном времени.

Возможности

Сервер разбирает TEI P5 ODD и предоставляет 16 инструментов:

Поиск любого элемента, класса, макроса или модуля по имени без учёта регистра и с подсказками при опечатках
Разрешение атрибутов по всей иерархии классов TEI (локальные + унаследованные)
Развёртывание моделей содержимого в структурированные деревья с разрешением классов и макросов
Проверка вложенности — прямая связь «родитель — потомок» или рекурсивная достижимость с отслеживанием пути
Валидация документов по TEI P5: модели содержимого, атрибуты, закрытые списки значений, целостность ссылок и предупреждения об устаревших элементах
Валидация отдельных элементов для пошагового редактирования
Загрузка ODD-настроек, ограничивающих схему подмножеством, принятым в проекте
Поиск по регулярным выражениям среди всех типов сущностей

Установка

pip install tei-mcp

Или запустите напрямую:

uvx tei-mcp

Использование

Добавьте в любой MCP-совместимый клиент (Claude, Cursor, Windsurf и т. д.):

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

Исходный код и документация — в .

tei-mcp: TEI P5 для ИИ-агентов

Sun, 15 Mar 2026 00:00:00 +0000

Если вы когда-нибудь писали TEI XML с помощью ИИ-ассистента для программирования, вы наверняка замечали, что он ошибается. Элементы появляются там, где им не место. Атрибуты выдумываются. Правила вложенности игнорируются. Модель примерно представляет, как выглядит TEI, но надёжного знания спецификации у неё нет.

tei-mcp решает эту проблему, давая ИИ-агентам прямой доступ к Руководству TEI P5 через инструменты.

Содержание

Что такое MCP?

(MCP) — открытый стандарт, позволяющий ИИ-приложениям подключаться к внешним источникам данных и инструментам. Считайте его USB-портом для ИИ: единый протокол, через который любой совместимый клиент — Claude, Cursor, Windsurf и другие — подключается к специализированным службам.

MCP-сервер предоставляет инструменты, которые ИИ может вызывать по ходу разговора. Вместо того чтобы полагаться на заученные обучающие данные, модель обращается к живому авторитетному источнику.

Что делает tei-mcp

tei-mcp разбирает спецификацию TEI P5 в формате ODD и предоставляет 16 инструментов, покрывающих самые частые вопросы редактора или кодировщика:

Что это за элемент? Поиск любого элемента, класса, макроса или модуля по имени, без учёта регистра и с подсказками при опечатках.
Какие у него атрибуты? Разрешение атрибутов по всей иерархии классов: сначала локальные, затем унаследованные по порядку.
Что может быть внутри? Развёртывание моделей содержимого в структурированные деревья или плоский список допустимых потомков.
Можно ли поставить элемент сюда? Проверка вложенности «родитель — потомок» или трассировка достижимости по всей иерархии элементов.
Валиден ли мой документ? Проверка файла TEI XML по спецификации: модели содержимого, значения атрибутов, закрытые списки значений, целостность ссылок и предупреждения об устаревших элементах.
А как же схема моего проекта? Загрузка файла ODD-настройки, чтобы ограничить всё перечисленное подмножеством TEI, принятым в вашем проекте.

Почему это важно

Кодирование в TEI требует постоянно сверяться с Руководством. Опытные кодировщики усваивают самые ходовые схемы, но даже им приходится заглядывать в спецификацию ради менее знакомых элементов или сложных моделей содержимого. У ИИ-ассистентов такого усвоенного знания нет, и им приходится хуже: они галлюцинируют правдоподобную на вид, но неверную разметку.

С tei-mcp ИИ не приходится гадать. Он может найти ответ в спецификации, прежде чем напишет хоть одну угловую скобку. В результате разметка соответствует TEI P5 — или ODD-настройке вашего проекта.

С чего начать

Установите из PyPI:

pip install tei-mcp

Затем добавьте сервер в конфигурацию вашего MCP-клиента:

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

При первом запуске сервер скачивает спецификацию TEI и работает с любым MCP-совместимым клиентом.

Исходный код и полная документация:

Multi-Saxon

Fri, 28 Mar 2025 00:00:00 +0000

Multi-Saxon: параллельная обработка XSLT для больших корпусов TEI

Multi-Saxon закрывает серьёзный пробел в инструментах обработки XML: он позволяет параллельно выполнять преобразования XSLT 2.0 и 3.0, с которыми не справляется LXML (популярная библиотека Python для работы с XML). Созданный специально для больших собраний документов XML TEI, Multi-Saxon заметно ускоряет обработку за счёт эффективного параллельного выполнения.

Основные возможности

Продвинутая поддержка XSLT: выполняет преобразования XSLT 2.0 и 3.0, недоступные LXML
Параллельная обработка: резко сокращает время преобразования больших собраний документов за счёт распараллеливания
Оптимизация под TEI: спроектирован специально для XML-документов Text Encoding Initiative (TEI)
Масштабируемая производительность: эффективно обрабатывает корпуса от сотен до тысяч документов
Кроссплатформенность: работает в разных операционных системах и средах

Какую проблему решает Multi-Saxon

Специалисты по цифровым гуманитарным наукам, работающие с TEI, часто сталкиваются с двумя серьёзными трудностями:

LXML (распространённая библиотека Python для обработки XML) поддерживает только XSLT 1.0, так что более продвинутыми возможностями XSLT 2.0/3.0 воспользоваться невозможно
Последовательная обработка больших корпусов документов TEI может занимать непозволительно много времени

Multi-Saxon решает обе задачи: он использует продвинутые возможности XSLT в Saxon и распределяет обработку по нескольким ядрам, что даёт существенный выигрыш в производительности.

Реализация

Multi-Saxon сочетает Python с Java-процессором Saxon, образуя высокопроизводительный конвейер преобразований:

использует Java-библиотеку Saxon для надёжной обработки XSLT 2.0/3.0
применяет многопроцессность, распределяя преобразования по доступным ядрам CPU
эффективно управляет пулами процессов, чтобы максимизировать пропускную способность
предоставляет простой интерфейс для пакетной обработки документов TEI

Пример использования

from multi_saxon import MultiSaxon

# Initialize with your XSLT stylesheet
transformer = MultiSaxon("transform.xsl")

# Transform a single document
transformer.transform("input.xml", "output.xml")

# Transform an entire directory in parallel
transformer.transform_directory("input_dir", "output_dir")

Значение для цифровых гуманитарных наук

Проектам в цифровых гуманитарных науках, работающим с большими собраниями документов TEI, Multi-Saxon даёт:

сложные преобразования всего корпуса, невозможные с LXML
резко сокращённое время обработки (нередко в 5–10 раз на многоядерных системах)
более тонкий анализ благодаря продвинутым возможностям XSLT 2.0/3.0
упрощённый рабочий процесс для обработки целых собраний документов

Исходный код и документация — в .

persNamer

Fri, 28 Mar 2025 00:00:00 +0000

persNamer: связываем TEI с Virtual International Authority File

persNamer — специализированный инструмент на Python, упрощающий включение авторитетных данных о персонах из VIAF (Virtual International Authority File) в документы TEI XML. Преобразуя идентификаторы VIAF в готовую к использованию TEI-разметку, persNamer значительно сокращает ручную работу по созданию структурированных записей о персонах для цифровых научных изданий.

Трудности авторитетного контроля в TEI

Цифровым научным изданиям часто требуется точная идентификация исторических лиц, включая нормализованные формы имён и даты жизни. Чтобы поддерживать единообразный авторитетный контроль по всему проекту, нужно:

выявить персоны в исторических текстах
найти о них авторитетные данные
создать правильно оформленные записи TEI
обеспечить единообразие ссылок по всему проекту

Обычно эти шаги выполняются вручную, отнимают много времени и чреваты разнобоем.

Как работает persNamer

persNamer автоматизирует этот процесс:

Получение данных VIAF: по идентификатору VIAF инструмент загружает RDF-данные через согласование содержимого HTTP
Извлечение ключевых сведений: разбирает RDF и извлекает предпочтительную форму имени, дату рождения и дату смерти
Генерация TEI-разметки: создаёт два необходимых фрагмента XML:
- запись авторитетного файла (элемент <person> со сгенерированным xml:id, <persName>, <birth>, <death> и <idno type="VIAF">)
- отдельный тег аннотирования (<persName> с атрибутом ref, указывающим на запись авторитетного файла)

Такой двойной вывод позволяет редакторам вести централизованный авторитетный файл и при этом легко вставлять теги аннотирования в свои тексты TEI.

Основные возможности

Стандартизованная генерация идентификаторов: создаёт единообразные XML-идентификаторы вида pers-[familyname]-[givenname initial] (напр., pers-deteligny-c)
Разбор RDF: использует rdflib для извлечения сведений из различных RDF-свойств (напр., rdfs:label, schema:name, viaf:mainHead)
Интерфейс командной строки: простой запуск, где единственный обязательный аргумент — номер VIAF
Подробный вывод: помимо итогового XML, сообщает детали обработки

Пример использования

python persNamer.py 314802260

Эта команда выдаёт:

<person xml:id="pers-deteligny-c">
 <persName>Charles deTéligny</persName>
 <birth>1535</birth>
 <death>1572-08-24</death>
 <idno type="VIAF">314802260</idno>
</person>

<persName ref="#pers-deteligny-c">Charles deTéligny</persName>

Применение в цифровых гуманитарных науках

persNamer особенно полезен для:

цифровых научных изданий, требующих авторитетного контроля
проектов TEI-кодирования, работающих с историческими лицами
инициатив в области связанных данных, соединяющих документы с авторитетными записями
обеспечения единообразия в больших корпусах TEI
преподавания основ авторитетного контроля в курсах по цифровым гуманитарным наукам

Реализация

persNamer написан на Python и зависит от:

requests для HTTP-запросов
rdflib для разбора RDF
lxml для работы с XML

Исходный код и документация — в .