Clement |

persNamer 1.2: один номер VIAF — девять авторитетных файлов

Mon, 07 Sep 2026 00:00:00 +0000

задумывался как мелкое удобство: на входе номер VIAF, на выходе запись <person> в TEI да тег <persName>, которым размечают текст. Больше он ничего не умел, и запись выходила тощей — имя, две даты, один идентификатор. Версия 1.2, вышедшая сегодня, ничему другому так и не научилась; зато запись стала такой, что её стоит хранить.

Что теперь входит в запись о персоне

Начнём с имени. В кластере VIAF каждая библиотека-участница держит имя в своей форме, а старый persNamer брал первую, какая попадётся. Спросите у него Вольтера — и получите «فولتير،»: по-арабски, с запятой на хвосте, да ещё и с пустым xml:id в придачу. Версия 1.2 пересчитывает формы по всему кластеру и оставляет ту, на которой исходные записи сходятся; остальные идут следом как <persName type="variant">, по убыванию частоты. Даты приводятся к норме (1572-08-00 становится 1572-08) и пишутся дважды — текстом и в атрибуте @when: именно атрибут и прочтёт любая обработка, которая вообще понимает даты. Пол и описания добавляются, когда VIAF их отдаёт.

Но самое желанное для меня — другое: все идентификаторы, на которые VIAF ссылается через schema:sameAs и через собственные идентификаторы источников, теперь выписаны, каждый своим <idno> — BnF, GND, Библиотека Конгресса, SUDOC, Wikidata, ISNI, BNE, LIBRIS, NDL. Один номер на входе — девять каталогов на выходе. Для персонографии это и есть та грань, что отделяет список имён от узла в сети авторитетных данных.

<person xml:id="pers-teligny-c">
 <persName>Charles de Téligny</persName>
 <birth when="1535">1535</birth>
 <death when="1572-08-24">1572-08-24</death>
 <sex value="M">M</sex>
 <idno type="VIAF">314802260</idno>
 <idno type="BNF">16133360</idno>
 <idno type="Wikidata">Q1868249</idno>
 <idno type="ISNI">0000000071126808</idno>
</person>

От фрагментов к персонографии

Пока персона одна, можно и в терминал XML напечатать. Но в издании их сотни. Поэтому persNamer теперь берёт сразу несколько номеров VIAF, между запросами вежливо выдерживает паузу, загруженное складывает в кэш, а с ключом --merge сам вставляет новые записи в <listPerson> готового файла TEI. Тех, кто в файле уже есть, он узнаёт по номеру VIAF и оставляет им прежний xml:id; новые идентификаторы сверяет с файлом и при совпадении добавляет суффикс (-2, -3); под конец заново расставляет отступы — предварительно сохранив копию .bak.

persnamer --merge edition.xml 314802260 36925746

Одно изменение нужно иметь в виду: частица перед фамилией по умолчанию в идентификатор больше не входит, так что Шарль де Телиньи теперь pers-teligny-c, а не pers-deteligny-c. Если в вашем проекте уже прижилась старая форма, --keep-particle её вернёт; а если не хочется зависеть от имён вовсе, --id-format viaf даст pers-viaf-314802260.

По хозяйству

Из скрипта вырос пакет с командой persnamer: ставится одной строкой — uv tool install или pipx, — а через uvx можно один раз запустить и вовсе без установки. Двадцать шесть тестов гоняют его на записанных ответах VIAF, так что сеть им не нужна; CI прогоняет их на Python от 3.9 до 3.13, а вывод проверяется на соответствие TEI P5. Лицензия прежняя — Apache 2.0.

Чего он по-прежнему не скажет — где человек родился и чем зарабатывал на жизнь: в кластерном RDF VIAF нет ни мест, ни занятий. Зато они есть в связанных записях BnF и GND, а их номера у вас теперь на руках.

Код и документация — на .

Не костёр, а ограда

Sun, 06 Sep 2026 00:00:00 +0000

На складе в Норт-Лас-Вегасе у Amazon работает машина, которая срезает корешки с подержанных книг. Отделённые страницы проходят через сканер, а бумага отправляется в макулатуру. Уничтожать книги, чтобы кормить ИИ: у этой истории было всё, чтобы стать культурным скандалом. сравнила происходящее с современным сожжением книг, не пожалев ни одного штампа: намёки на Савонаролу, стоковые фотографии якобы редких изданий и, конечно, берлинский костёр. Солидные газеты, как и следовало ожидать, были сдержаннее, но то же сравнение повисло в воздухе и у них. При всём своём негодовании эти статьи, однако, позволили индустрии ИИ отделаться лёгким испугом. Судьба бумаги занимает всю сцену; вопрос о том, кому принадлежат получившиеся цифровые библиотеки, едва попадает в кадр. Кто будет распоряжаться знанием, которое сейчас сканируют? Этот вопрос подождёт, пока мы разделаемся с чепухой о сожжении книг.

Сканер — не костёр

Аналогия с кострами Савонаролы или нацистским сожжением книг нелепа: уничтожить экземпляр — не то же самое, что запретить текст. Костры были публичными актами отречения. Бедный монах Савонарола, чьё имя поминают всякий раз, когда речь заходит о сожжении книг, призывал людей пожертвовать частью своего имущества в знак публичного покаяния. Нацистские костры разыгрывали отречение иного рода: публичное сожжение книг объявляло, что их авторам нет места в немецкой культурной жизни. В обоих случаях, как бы это ни было неприятно, уничтожение было представлением. Деструктивное сканирование — широко распространённый метод оцифровки — служит другой цели: экземпляр гильотинируют, чтобы сохранить его содержание. Книга уничтожена; текст дематериализован. Тем, кто тянется за «451° по Фаренгейту», стоило бы вспомнить его главный урок: текст — не та бумага, на которой он напечатан.

Задиристее, чем Daily Mail, но не менее неуклюже, подлило масла в огонь, вынеся в заголовок «редкие книги». Между тем букинист, которого цитирует само же издание, сказал, что из этих оптовых заказов , — а это указывает главным образом на издания, вышедшие после введения ISBN около 1970 года. Это товар барахолок и благотворительных лавок, которому до помойки нередко одна генеральная уборка. Прежде чем объявлять культурную катастрофу, стоило бы заглянуть в библиотечный каталог. Именно такие издания и призваны хранить библиотеки, получающие обязательный экземпляр. Правда, ISBN не гарантирует, что обязательный экземпляр сохранился, — но и редкость на букинистическом рынке не доказывает исчезновения текста.

Разумеется, у книг есть и материальная история. Экземпляры, которым пометы, дарственные надписи или провенанс придают историческую значимость, заслуживают того, чтобы их выявляли и сохраняли. Здесь есть роль и для букинистов: распознать такой экземпляр — повод не отправлять его в партию, обречённую на макулатуру. Можно тревожиться и о том, что физических экземпляров распроданных изданий становится всё меньше. Но тогда стоит спросить и о том, почему правообладатели их не переиздают и не открывают доступ к уже существующим цифровым факсимиле. Учёным знакома эта досада: Google Books находит нужный отрывок, а затем показывает лишь обрывок книги, которую нельзя ни купить новой, ни прочесть онлайн. Так что потери здесь есть, и о них стоит спорить, но они не превращают сканер в нацистский костёр.

Книжная торговля, между тем, давно и рутинно отправляет непроданные книги в макулатуру. В одной только Франции в 2023 году, по оценкам, — примерно 60 % тоннажа, возвращённого дистрибьюторам как непроданный. Это называется управлением запасами. Лишние экземпляры и редкие букинистические издания ставят разные вопросы о доступе, но уничтожение бумаги само по себе не равнозначно цензуре или тирании.

Больше книг — лучше ИИ?

То, что компании, занимающиеся ИИ, покупают и сканируют книги, — на самом деле хорошая новость. Технология, которую постоянно ругают за поверхностное знакомство с человеческой культурой, усваивает её больше, и можно было бы ожидать, что учёные это усилие поприветствуют.

Веб — плохая замена накопленному наследию языка. Значительная часть записанной жизни языка — от романов и мемуаров до популярных песен и расшифрованных разговоров — так и не перекочевала из печати в сеть. Многие из этих книг пережили своих издателей. Включать их в обучающие данные важнее всего там, где больше почти ничего нет. Ещё несколько книг по-английски дадут, может быть, кое-какие незначительные улучшения. Зато в слабо представленном языке те же книги могут стать разницей между пригодной системой и бесполезной. Место ли этим инструментам в наших публичных службах и повседневной жизни — вопрос для общественного обсуждения. Но где бы мы ни решили ими пользоваться, мы должны иметь возможность делать это на собственном языке.

Заказы, о которых сообщали из Испании и Нидерландов, делают языковые ставки осязаемыми. В мае рассказал о букинисте из Бадалоны, получавшем повторяющиеся заказы — главным образом на каталонскую нехудожественную литературу: книги по истории, технические руководства, старые сборники материалов конференций. К августу голландская пресса описала запрос к De Slegte на . Язык книг заслуживает по меньшей мере не меньшего внимания, чем судьба их переплётов. Возможно, от Daily Mail требовать этого — слишком много. Но даже более трезвые газеты почти ничего не сказали о том, на каких языках эти книги.

Лицензионные соглашения с крупными издательствами тоже могут дать ценный материал, но их цифровые каталоги покрывают лишь малую долю того, что когда-либо выходило в печати. Книги, никогда не оцифрованные или те, права на которые издательство больше не держит, в предложение не попадают. Даже щедрая лицензионная сделка не заменит истории книгоиздания, а тем более истории культуры. Скупка подержанных экземпляров — способ дотянуться до того, что лежит за этими коммерческими границами.

«Воровство» — не аргумент

Слово «воровство» тоже не помогает. В июне 2025 года два окружных суда США постановили, что в рассматриваемых ими делах использование книг для обучения языковых моделей было добросовестным использованием (fair use). В деле суд подчеркнул преобразующий характер обучения: книги использовались, чтобы построить систему, способную порождать новые формы выражения. Модели могут запоминать отрывки, но использование книги для обучения не делает весь её текст доступным по первому требованию. Впрочем, отсутствие дословного воспроизведения не снимает всех возражений. В деле судья предупредил, что произведения, созданные ИИ, могут наводнить рынок и что доказательства такого ущерба способны опрокинуть защиту на основании fair use. Однако эти истцы не представили сколько-нибудь весомых доказательств такого ущерба их собственным произведениям. Ни одно из решений не даёт компаниям, занимающимся ИИ, неограниченного разрешения и не закрывает этический спор. Они требуют от нас различать, как книги приобретаются, как хранятся копии и что именно с ними делает обучение. Назвав всё это «воровством», мы оставим эти вопросы без ответа.

К слову, решение по делу Anthropic даёт гильотине обоснование. Суд поддержал оцифровку купленных экземпляров и отверг накопление пиратских книг в постоянной библиотеке, за которое компания впоследствии . Оцифровка прошла отчасти потому, что каждый печатный экземпляр при преобразовании уничтожался: цифровая копия его замещала и за пределы компании не выходила. Уничтожение, которое так возмущает некоторых, помогло Anthropic доказать, что её программа оцифровки — добросовестное использование. Купить, отсканировать и выбросить оказалось в этом случае законным путём. Гильотина здесь — инструмент соблюдения закона.

Есть веские причины желать, чтобы ИИ опирался на большее число языков, на большее число научных работ и на большую часть мира, существовавшего до интернета. Эти причины не исчезают оттого, что компания, которую мы недолюбливаем, нашла в этом коммерческую возможность.

Негодование напрокат

Вернёмся же к Daily Mail. Её статья — часть кампании , которую ведут владельцы газет и издатели, добиваясь для ИИ. Всю работу делают две удобные подмены: Big Tech выдаётся за ИИ, а правообладатели — за «британское творчество». Читателей приглашают защищать культуру, пока издатели торгуются об условиях её продажи. Учёным, разносящим эту историю, стоило бы спросить себя, чьему делу служит их негодование.

Big Tech и ссорятся из-за ренты, но ограда не смущает ни одну из сторон. История об одиноком авторе, ограбленном технологическим гигантом, заслоняет то, что дорогие лицензионные сделки сулят обоим корпоративным лагерям: издатели получают деньги, а Big Tech — рынок, на котором его мелкие соперники не могут позволить себе конкурировать. Питер Тиль выразил предпочтения Кремниевой долины откровеннее: .

Лицензирование не обязано приводить к такому итогу. Доступный по цене, неисключительный доступ мог бы помочь мелким разработчикам. Но система, заставляющая каждого новичка заключать дорогостоящие сделки с крупными правообладателями, превращает покупательную способность в условие входа. Платёж, поданный как уступка индустрии культуры, в итоге покупает защиту от будущих соперников.

ИИ не принадлежит Big Tech

Есть проблема и поглубже. Слишком много критики ИИ принимает крупнейших коммерческих поставщиков за всю область целиком. Продукты не сходят с заголовков; исследования и разработки за пределами этих компаний исчезают из виду. О более полезном недоразумении Big Tech не мог бы и мечтать. Его притязание владеть всей областью становится исходной посылкой критики, направленной против него же. Монополия ещё не обеспечена. Считать её свершившейся — значит оказывать этим компаниям огромную услугу. А заодно отводить внимание от открытого исходного кода: от его нужд, от его шансов на существование, от его интересов, от его легитимности как альтернативы.

Открытый ИИ позволяет людям строить и приспосабливать системы, отражающие большее разнообразие языков, культур и форм выражения. Для стран Европы, Африки, Латинской Америки и Азии это практическая основа технологического и культурного суверенитета: возможности решать, как работают системы, каким языкам они служат и где применяются. Использовать ли ИИ и для каких целей — должно оставаться публичным выбором, а не решением, продиктованным зависимостью от иностранной олигополии.

Но свобода менять систему мало что значит без средств для этого. Независимой работе нужны экспертиза, вычислительная инфраструктура и доступ к обучающему материалу. Это возвращает нас к книгам. Если каждой исследовательской группе или публичному учреждению придётся заключать собственные сделки с издательствами или собирать собственную частную библиотеку, независимость станет не по карману даже некоторым богатым странам.

Книги уже здесь

Библиотеки и архивы поколениями собирали материал, который нужен этим системам. Их собрания существуют потому, что доступ к знанию должен переживать коммерческий интерес к его продаже. Многое уже отсканировано: хранит около девятнадцати миллионов оцифрованных томов из научных библиотек, многие из которых всё ещё защищены авторским правом. Библиотека сканирует книгу и оставляет её себе. Гильотина там никому не нужна. HathiTrust , но объявил и о проекте , который откроет доступ к корпусу для некоммерческих исследований и разработок в области ИИ. Доступ на таких условиях всё равно оставит часть независимых разработчиков за бортом.

Однако владение книгами не даёт библиотеке права распространять их охраняемое авторским правом содержание как обучающий корпус. разрешает научным учреждениям и библиотекам проводить интеллектуальный анализ законно доступных произведений в научных целях и допускает более широкий анализ там, где правообладатели не оговорили свои права. : её исключение для такого анализа охватывает некоммерческие исследования и ограничивает передачу копий. Ни та ни другая система не даёт библиотекам общего права делиться своими охраняемыми фондами, чтобы другие могли на них строить.

Стоило бы также пересмотреть, как долго правообладатели должны контролировать вычислительное использование книг. Фармацевтические патенты воплощают сделку: временная исключительность вознаграждает новаторство, а затем изобретение становится доступным для всех. Их обычный двадцатилетний срок куда короче, чем охрана авторского права на протяжении жизни автора и семидесяти лет после. Почему бы не применить сходный принцип к вычислительному использованию книг? Скажем, через двадцать лет после первой публикации книга могла бы становиться доступной для интеллектуального анализа текстов и данных без лицензионных отчислений, тогда как права на переиздание и продажу оставались бы под защитой. Авторы продолжали бы зарабатывать на своих книгах, а поколениям исследователей не пришлось бы договариваться о разрешении на их анализ.

Два года назад я доказывал в , что данные о культурном наследии следует считать общественным благом. Государства должны финансировать библиотеки и архивы, чтобы те оцифровывали, транскрибировали и документировали свои собрания, и наделить их юридическими полномочиями открывать полученные корпуса для других. Big Tech мог бы помочь оплатить счёт через целевой сбор.

Государственное финансирование должно сопровождаться опубликованными правилами комплектования и доступа, охватывающими как академическую, так и коммерческую работу — без исключительных сделок и привилегированного доступа для доноров. Доступ для обучения не обязан означать неограниченного распространения книг, охраняемых авторским правом. Авторы должны участвовать в разработке публичной схемы, включая то, как она решает вопросы согласия, вознаграждения и конкуренции с их произведениями. Бесплатный доступ для пользователей не исключает вознаграждения авторов из государственных средств. Один из прецедентов — британская схема (право на вознаграждение за библиотечную выдачу), по которой авторы получают деньги из общественных фондов, когда их книги берут в библиотеках. Костёр никогда не был сутью дела. Суть — ограда.

Уважаемые редакторы: хотите мой голос — верните мне мой язык

Thu, 27 Aug 2026 00:00:00 +0000

Что ни день, то очередной журнал трубит о своих правилах насчёт ИИ. На сей раз это Progress in Human Geography, редакторы которого опубликовали , предупреждающее: использовать ИИ вместо собственного чтения, мышления и письма — «нарушение академической этики, сродни плагиату». Статьи, уличённые в нарушении, «могут быть отозваны»; в лучшем случае их исправят, напечатав в журнале уведомление. Авторам же, добавляют редакторы, следует «хорошенько подумать, хотят ли они, чтобы их имена связывались с отзывами и уведомлениями об исправлениях».

На этой фразе стоит задержаться. Отзыв статьи — высшая мера в научных публикациях, кара, которую обычно приберегают для фальсификации и мошенничества. Здесь же её грозят применить за проступок, которого тот же самый редакционный текст не в состоянии определить. Есть, признают редакторы, «настоящие серые зоны» и «нет чётких линий, отделяющих зону „безответственности“». Решать будут на основании «субъективных суждений, которые могут огорчить некоторых авторов, утверждающих, что не злоупотребляли ИИ», — иначе говоря, вашу собственную декларацию могут и не принять во внимание. Далее следует совет оставаться «в безопасности, в зоне „ответственности“», — а к осторожности призывают лишь там, где есть опасность. Карать людей за переход черты, которую вы сами признаётесь не в силах провести, имеет смысл только в одном случае — если цель состоит в том, чтобы править страхом. Запомним это: пригодится.

Предлог: голос

Что же такое ответственное использование? Авторам говорят: «нужно приложить огромные усилия … чтобы сохранить собственный голос». Злоупотребление — прибегать к ИИ, «чтобы писать на языке, которым авторы сами обычно никогда бы не пользовались». Для носителя языка это осмысленно: не притворяйся тем, кем ты не являешься. Но для иностранцев, вынужденных писать на чужом языке, это предписание противоречит само себе. Голос, который эти правила берегут, — как раз то единственное, в чём собственные правила журнала нам отказывают.

Возьмите меня в качестве подопытного. Английский — мой четвёртый язык, ровно такой, каким я «обычно» никогда бы не пользовался. Англоязычные университеты выучили меня писать на нём коротко, с указателями, почти механически: тезис — в первой фразе абзаца, оговорки — в положенных местах, связки — из утверждённого списка. Выучка сработала: в моём английском никогда не было голоса, который стоило бы беречь; он-то и был первым, от чего пришлось избавиться. По определению самих редакторов, всё, что я написал по-английски, — ненадлежащее использование, с машиной или без.

Куда ни кинь, всюду клин

Редакторы говорят, что подумали о нас: правила признают, что не-носителям полезно проверять свой английский с помощью ИИ и даже пользоваться его «услугами перевода, письма и редактуры». И всё же участие ИИ в письме «должно сводиться, самое большее, к помощи в редактуре и корректуре» и не доходить до «больших кусков текста, написанных ИИ». Машинно переведённая статья написана ИИ от первого слова до последнего; она и есть сплошь такие куски. Значит, уступка действует лишь при условии, что перевод — это не письмо. Где проходит эта граница? Нам уже ответили: «чётких линий нет».

Есть и кое-что похуже, потому что подозрение не просто нельзя опровергнуть. Оно ещё и играет краплёными картами. В 2023 году стэнфордская группа проверила семь широко используемых детекторов ИИ на эссе, написанных людьми: детекторы в среднем пометили как машинные 61 % эссе TOEFL, написанных не-носителями, тогда как эссе носителей распознавали почти безошибочно; один детектор пометил 97,8 % набора TOEFL ( ). Причина поучительна. Детекторы измеряют предсказуемость, а английский как второй язык, натасканный на среднюю норму, предсказуем по самому своему устройству: самое вероятное слово в самом вероятном порядке. То же исследование нашло этот сигнал и в настоящей науке — меньшую языковую вариативность в докладах на конференциях, где первый автор не носитель языка. Стилистические приметы, которые читаются как «ИИ», — это приметы грамотного английского как второго языка, и человек, выносящий «субъективное суждение», читает те же приметы, что и машина. Клин со всех сторон: пишу на собственном английском — выгляжу машиной; беру машину — нарушаю их правило.

Налог на язык

Парадокс был бы безобиден, если бы не сопровождался угрозами. Но угрозы вскрывают более глубокую и старую проблему, которую правила ни разу не называют: одноязычие. требуют «как можно более широкого международного охвата», а на той же странице — «язык журнала — английский».

Цена такого устройства отнюдь не гипотетическая. Опросив 908 специалистов по наукам об окружающей среде, Амано с коллегами выяснили, что не-носители английского тратят на написание статьи до 51 % больше времени, получают отказ в 2,5 раза чаще и в 12,5 раза чаще получают требование переработать текст — исключительно по языковым основаниям ( ). Этот налог взимается ещё до всяких правил насчёт ИИ; декларация с её угрозами — лишь ревизия, надстроенная сверху.

Fin d’empire

Одноязычие — аксиома, которую никто не обсуждает. Это имперское наследство, со временем обзаведшееся практическим оправданием: перевод был медленным и дорогим, и ни одна редколлегия не могла оценить того, чего не могла прочесть. Но с успехами машинного перевода ничто из этого уже не держится. Современный машинный перевод можно использовать как надёжную прослойку между авторами и редакторами.

Идеальный выход — человеческий: учёные должны читать больше чем на одном языке. Вместо этого англоязычные университеты предпочитают закрывать факультеты современных языков. Заметьте: закрытия — явление англо-американское; учёные в других странах никогда не могли позволить себе роскошь одноязычия. И заметьте, когда это происходит. Закрыть языковой факультет — значит сделать ставку на то, что английский победил навсегда и ничего стоящего никогда больше не будет написано ни на каком другом языке. Ставка делается в самый неподходящий момент, причём вдвойне. Во-первых, потому что машинный перевод впервые позволяет обойтись вовсе без лингва франка; во-вторых, потому что порядок, сделавший английский языком по умолчанию, отступает: англосфера замыкается в себе, глобализация идёт на убыль, свободную торговлю оспаривают в самых её колыбелях, и складывается многополярный мир, в котором языков, на которых стоит читать, будет всё больше. Университеты выпускают учёных, читающих только по-английски, для мира, где английского будет мало. Первыми эту потерю унаследуют редколлегии.

Проверка для редакторов

Когда редколлегия сетует, что не слышит собственного голоса своих авторов, — быть может, часть проблемы в самой редколлегии.

Обвинение серьёзное, и к нему прилагается серьёзная проверка. Согласится ли Progress in Human Geography рецензировать рукопись, написанную по-французски, по-итальянски или по-японски и сопровождённую машинным переводом на английский? Собственные инструкции журнала признают «услуги перевода», которые делают это возможным. «Да» закрывает проблему. «Нет» скажет нам, что на самом деле защищают эти правила.

Так или иначе, выбор за редакторами. Если голос важен, как они утверждают, журналу следует принимать статьи на тех языках, на которых авторы думают. Если нет — декларацию нужно отменить, а вместе с ней и угрозы.

tei-mcp v0.3: кодировать в TEI, не переписывая источник

Tue, 05 May 2026 00:00:00 +0000

Когда я , цель была одна: отучить ИИ-ассистентов галлюцинировать разметку TEI. Заземление на схему решило часть проблемы: имея прямой, инструментальный доступ к спецификации P5, модели больше не нужно гадать, что означает элемент и какие атрибуты он принимает. Результат проходит валидацию.

Но у галлюцинации в кодировании TEI два лица, и схема ловит лишь одно. Валидация по спецификации говорит, что разметка корректна. О тексте, который эта разметка обёртывает, она не говорит ничего. А именно там — в самом тексте — живут самые разрушительные галлюцинации. Сборка по закреплённым отрезкам (span-locked composition), главная новинка v0.3, придумана специально, чтобы их не допускать.

Содержание

Галлюцинация, которую схема поймать не может

Попросите модель закодировать французское письмо XVI века — и нередко получите документ TEI безупречного вида. Заголовок заполнен, теги <persName> расставлены правильно, <dateline> оформлен как положено. Прогоните его через validate_document — он пройдёт.

А потом сравните основной текст с источником.

mesme превратилось в même. Запятая переехала. luy тихо осовременили до lui. Фразу, которую трудно было разобрать в рукописи, «исправили» во что-то более гладкое. Ни одного из этих изменений никто не просил. Ни одно не помечено. Документ валиден по схеме и тихо неверен.

Для архивного процесса — где закодированный текст становится постоянной записью, на которую опираются последующие читатели, поисковые индексы и цитаты, — это самый важный вид сбоя. Кривой тег раздражает. Осовремененное написание, которого никто не замечает пять лет, — это порча.

Сборка по закреплённым отрезкам

Новый выпуск (v0.3) содержит механизм предотвращения галлюцинаций, нацеленный ровно на этот сбой. Цель конструкции — сделать галлюцинации в основном тексте невозможными по самому устройству, а не просто маловероятными.

Идея проста: модель никогда не набирает основной текст.

Вместо этого процесс выглядит так:

Модель вызывает get_source("letter_001") и получает исходный простой текст в виде неизменяемой строки.
Для каждого тега, который она хочет поставить, она вызывает tag_span("letter_001", start, end, element_path, attrs), регистрируя элемент TEI на диапазоне символов источника.
Закончив, она вызывает compose("letter_001"). Сервер переплетает записанные теги с исходным простым текстом, отрисовывает итоговый TEI и затем проверяет байт за байтом, что плоское текстовое содержимое полученного документа равно источнику.

Если байты совпадают, документ возвращается. Если нет — если теги модели каким-то образом подразумевают основной текст, отличающийся от источника хотя бы на один символ, — compose() выбрасывает исключение вместо того, чтобы вернуть испорченный документ.

В этом процессе нет пути, на котором модель выдала бы документ TEI с основным текстом, отличным от источника. Инвариант механический, а не поведенческий. Вам не нужно верить, что модель не станет галлюцинировать; нужно верить лишь проверке == между двумя байтовыми строками.

Что это такое — и чем это не является

Сборка по закреплённым отрезкам дополняет заземление на схему, а не заменяет его. Инструменты заземления (validate_document, lookup_element, valid_children и остальные из первоначальных шестнадцати) помогают модели выдавать валидный TEI. Сборка по закреплённым отрезкам гарантирует, что основной текст внутри этого TEI верен источнику. Пригодный к внедрению процесс кодирования должен удовлетворять обеим осям, и теперь обе покрывает один сервер.

Но и волшебной таблеткой от всего это не назовёшь. compose() пока не проверяет, допустимы ли зарегистрированные теги по загруженной ODD-настройке — это следующий шаг. Записанные теги живут в памяти процесса и не переживают перезапуск. А исходные файлы должны быть доступны для чтения оттуда, где запущен сервер. Всё это решаемо; ничто из этого не подрывает основной инвариант.

Почему это важно и за пределами TEI

Этот приём обобщается. Всякий раз, когда модель просят аннотировать, преобразовать или обернуть фрагмент текста — и всякий раз, когда целостность исходного текста важнее, чем способность модели его «улучшить», — годится решение той же формы. Не просите модель перепечатывать текст. Просите её выдать инструкции над текстом, а применять их пусть будет детерминированный сборщик под инвариантом равенства.

Для цифровых изданий в частности это меняет то, что можно ответственно поручить модели. Кодирование вдруг становится задачей, которую можно делегировать, не сверяя вручную каждый результат с источником. Машина идёт скучным путём; редактор проверяет разметку, а не орфографию.

Как обновиться

Если tei-mcp у вас уже установлен:

uvx tei-mcp@latest

Или с нуля:

pip install tei-mcp

Чтобы пользоваться сборкой по закреплённым отрезкам, укажите серверу каталог с исходными текстовыми файлами:

export TEI_MCP_SPAN_SOURCE_ROOT=/path/to/sources
uvx tei-mcp

Имя каждого файла без расширения становится идентификатором документа (letter_001.txt → letter_001).

Исходный код, полная документация и заметки о конструкции инварианта:

Цифровое издание другого рода

Tue, 24 Mar 2026 00:00:00 +0000

Большинство первоисточников так и остаются неопубликованными. Модель, на которую мы полагаемся, чтобы это исправить, — цифровые издания на грантовые деньги, — слишком дорога, слишком централизована и слишком хрупка, чтобы работать в масштабе. Я только что опубликовал , где объясняю, почему критическое издание писем Каврианы я строю иначе: оцифрованные первоисточники, которые растут органически, с минимальной инфраструктурой, автоматическим сопровождением, открытые для сотрудничества и настолько дешёвые, что гранты вовсе не нужны. Это довод в пользу таких цифровых гуманитарных наук, которые работают независимо от институциональной поддержки.

tei-mcp: TEI P5 для ИИ-агентов

Sun, 15 Mar 2026 00:00:00 +0000

Если вы когда-нибудь писали TEI XML с помощью ИИ-ассистента для программирования, вы наверняка замечали, что он ошибается. Элементы появляются там, где им не место. Атрибуты выдумываются. Правила вложенности игнорируются. Модель примерно представляет, как выглядит TEI, но надёжного знания спецификации у неё нет.

tei-mcp решает эту проблему, давая ИИ-агентам прямой доступ к Руководству TEI P5 через инструменты.

Содержание

Что такое MCP?

(MCP) — открытый стандарт, позволяющий ИИ-приложениям подключаться к внешним источникам данных и инструментам. Считайте его USB-портом для ИИ: единый протокол, через который любой совместимый клиент — Claude, Cursor, Windsurf и другие — подключается к специализированным службам.

MCP-сервер предоставляет инструменты, которые ИИ может вызывать по ходу разговора. Вместо того чтобы полагаться на заученные обучающие данные, модель обращается к живому авторитетному источнику.

Что делает tei-mcp

tei-mcp разбирает спецификацию TEI P5 в формате ODD и предоставляет 16 инструментов, покрывающих самые частые вопросы редактора или кодировщика:

Что это за элемент? Поиск любого элемента, класса, макроса или модуля по имени, без учёта регистра и с подсказками при опечатках.
Какие у него атрибуты? Разрешение атрибутов по всей иерархии классов: сначала локальные, затем унаследованные по порядку.
Что может быть внутри? Развёртывание моделей содержимого в структурированные деревья или плоский список допустимых потомков.
Можно ли поставить элемент сюда? Проверка вложенности «родитель — потомок» или трассировка достижимости по всей иерархии элементов.
Валиден ли мой документ? Проверка файла TEI XML по спецификации: модели содержимого, значения атрибутов, закрытые списки значений, целостность ссылок и предупреждения об устаревших элементах.
А как же схема моего проекта? Загрузка файла ODD-настройки, чтобы ограничить всё перечисленное подмножеством TEI, принятым в вашем проекте.

Почему это важно

Кодирование в TEI требует постоянно сверяться с Руководством. Опытные кодировщики усваивают самые ходовые схемы, но даже им приходится заглядывать в спецификацию ради менее знакомых элементов или сложных моделей содержимого. У ИИ-ассистентов такого усвоенного знания нет, и им приходится хуже: они галлюцинируют правдоподобную на вид, но неверную разметку.

С tei-mcp ИИ не приходится гадать. Он может найти ответ в спецификации, прежде чем напишет хоть одну угловую скобку. В результате разметка соответствует TEI P5 — или ODD-настройке вашего проекта.

С чего начать

Установите из PyPI:

pip install tei-mcp

Затем добавьте сервер в конфигурацию вашего MCP-клиента:

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

При первом запуске сервер скачивает спецификацию TEI и работает с любым MCP-совместимым клиентом.

Исходный код и полная документация:

Учим двоичный код на эмуляторе телеграфа ITA2

Thu, 13 Feb 2025 00:00:00 +0000

Как сделать абстрактное осязаемым

Эмулятор ITA2 — практическое учебное пособие. Делая абстрактные понятия кодирования зримыми и интерактивными, он знакомит студентов с одной из ключевых идей вычислительной техники и телекоммуникаций — двоичным представлением, то есть тем, как текст превращается в последовательности нулей и единиц. Обычно мы преподаём это отвлечённо; но когда студент своими глазами видит, как в ленте появляются отверстия, ему куда легче понять, каким образом физическая система может нести цифровую информацию.

ITA2 (Baudot-Murray) Telegraph Type Emulator

Type a word in the input below to see its representation on the ITA2 tape.

Type word:

Исторический контекст: от телеграфа к компьютеру

Код ITA2 (Международный телеграфный алфавит № 2), известный также как код Бодо — Мюррея, был разработан в 1920-е годы как усовершенствование первоначального телеграфного кода Эмиля Бодо 1870-х годов. Эти ранние системы связи напрямую повлияли на позднейшее развитие вычислительной техники:

пятибитная схема была одним из первых примеров кодирования символов;
ограниченность набора символов (пять бит дают всего 32 комбинации) породила остроумный механизм переключения регистров LETTERS/FIGURES (буквы/цифры);
система использовалась в телетайпах ещё долгие десятилетия XX века.

Конечные автоматы в игре

Механизм переключения LETTERS/FIGURES естественным образом подводит к понятию конечного автомата. Экспериментируя, студенты сами обнаруживают, что одна и та же комбинация может означать разные символы в зависимости от текущего режима. Такой живой опыт работы с кодированием, зависящим от состояния, готовит их к более сложным понятиям информатики. Скажем, комбинация битов 00011 означает:

букву «A» в режиме LETTERS;
цифру «1» в режиме FIGURES. Эта двойственность прочтения, зависящая от состояния, лежит в самой основе того, как компьютеры обращаются с данными.

Задания для аудитории

Вот несколько способов включить эмулятор ITA2 в занятия:

Взлом шифра: предложите студентам расшифровать сообщения, закодированные в виде комбинаций ITA2.
Экономное кодирование: обсудите, почему механизм переключения регистров был так важен для экономии пропускной способности.
Эволюция кодировок: сравните пятибитный код ITA2 с ASCII (7 бит) и Unicode.
Физические вычисления: свяжите эту историческую систему с современными микроконтроллерами вроде Arduino.

Польза для доступности

Помимо исторического интереса, такой подход помогает студентам с разными стилями обучения:

визуалы видят узоры;
кинестетики напрямую взаимодействуют с процессом кодирования;
те, кто мыслит понятиями, могут заняться математической стороной теории информации.

Подробности реализации

Эмулятор написан на JavaScript и легко встраивается в любую веб-платформу для обучения. Код модульный и настраивается под разные учебные задачи. Исходный код можно посмотреть, а эмулятор — опробовать здесь:

Перцептивная география Леванта

Sat, 29 Oct 2022 10:02:52 -0500

Введение

Левант — место неуловимое. Его обычно определяют через другую территорию — по соотнесению с ней или по противопоставлению, — и значение его редко бывало устойчивым: в зависимости от того, где и когда употреблялось слово, оно вызывало в воображении разные географии. Но если объективное и точное определение термина дать трудно, можно всё же попытаться начертить субъективную карту этого региона, взяв за основу корреляции внутри определённого корпуса текстов. Иначе говоря: какое пространство Левант мог вызывать в воображении у определённого круга читателей?
В этой заметке я покажу, как с помощью данных из проекта Medici Archive Project визуализировать те места, с которыми связывался этот топоним.

База данных MIA

База MIA — совместная платформа для исследователей, желающих выкладывать собственные фотографии архивных материалов из и делиться ими с коллегами. За прошедший год наша группа под эгидой сфотографировала, транскрибировала, реферировала и классифицировала тысячи документов из раздела avvisi фонда Mediceo del Principato во Флоренции. Хотя наша база задумывалась не для статистического анализа, подготовленные нами метаданные можно скачать и использовать как наборы данных.

Набор данных

В данном случае составленный мной набор охватывает все новости из Леванта с 1543 по 1566 год — то есть от первого avviso, сохранившегося в архиве, до года смерти султана . Вот образец данных, извлечённых с сервера. Три столбца: уникальный номер документа, название места и дата.

57386 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57386 Modon / Messinias, Nomos / Peloponnisos / Ellas 1565-1-3
57386 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57386 Evvoia / Evvoias, Nomos / Sterea Ellas-Evvoia / Ellas 1565-1-3
57386 Venetian Republic / Italia / Europe / World 1565-1-3
57386 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57386 Black Sea / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Otranto / Lecce / Puglia / Italia 1565-1-3
57389 Nisoi Aiyaiou / Ellas / Europe / World 1565-1-3
57389 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57389 Buda / Budapest / Budapest / Magyarorszag 1565-1-3
57389 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57389 Kipros / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Rodhos / Rodos, Nisos / Sporadhes / Nisoi Aiyaiou 1565-1-3
57389 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57389 Çorlu / Thraki / Ellas / Europe 1565-1-3

Чистка данных

Чтобы визуализировать эти данные, нужно привести их к читаемому формату csv (значения, разделённые запятыми). Кроме того, содержащуюся здесь географическую информацию нужно перевести в более «машинный» вид — в GPS-координаты. Поскольку в наборе сотни записей, эту работу лучше автоматизировать. Довольно быстро и достаточно точно с ней справляются предобученные языковые модели, такие как , или , — и это лишь некоторые из них. Впрочем, за процессом нужно внимательно следить: предобученные языковые модели слегка склонны к галлюцинациям.

documentId,latitude,longitude,documentDate
57386,35.899167,14.514167,1565-1-3
57386,37.05,22.116667,1565-1-3
57386,31.200028,29.918719,1565-1-3
57386,38.366667,23.666667,1565-1-3
57386,45.438333,12.331333,1565-1-3
57386,41.018611,28.984444,1565-1-3
57386,42.7,18.8,1565-1-3
57389,40.216667,18.166667,1565-1-3
57389,37.966667,23.716667,1565-1-3
57389,35.899167,14.514167,1565-1-3
57389,47.4925,19.051389,1565-1-3
57389,31.200028,29.918719,1565-1-3
57389,34.916667,33.616667,1565-1-3
57389,36.405419,28.227778,1565-1-3
57389,41.018611,28.984444,1565-1-3
57389,41.133333,27.416667,1565-1-3

Карта плотности

Карта плотности — вид визуализации, показывающий, как часто то или иное место упоминается в наборе данных. Она особенно полезна, когда хочешь понять не только географический охват своих данных, но и их центры тяжести. Какие места на карте упоминаются чаще? А какие — лишь эпизодически? Где центры и как далеко простирается периферия? На каком участке карты скорее всего сосредоточится внимание читателя?

Ради этого эксперимента — и потому что я спешил — я воспользовался одним из API . Впрочем, такую же карту плотности позволяют построить многие библиотеки визуализации и геоинформационные системы.

Несколько наблюдений

Результат — скорее импрессионистская картина, чем точное изображение чётко определимого понятия, и именно это мне в этом эксперименте и нравится. Ведь наука о данных может быть могущественным союзником гуманитариев, но играть по её правилам мы не обязаны.

Ещё одна любопытная сторона эксперимента: карта показывает Левант, полностью встроенный в остальную Европу и Средиземноморье. Она также подчёркивает центральное место Эдирне в политической географии Османской империи. Более того, главный испанский город на карте — не Мадрид и не Эскориал, а Неаполь. И наконец, острова и маленькие города-государства вроде Рагузы, судя по всему, играли важную роль посредников между державами региона.

Как запросить данные у MIA

Хотя MIA — превосходный инструмент для совместной работы исследователей, данные, хранящиеся на её серверах, достать не так просто. Её серверная часть, например, не опубликована в открытых репозиториях. Тем не менее данные можно получить: зарегистрируйтесь в MIA и отправляйте запросы к серверу из Python.

Запрос

url = "https://mia.medici.org/Mia/json/de/advancedsearch/advancedSearchResults/0/90/docYear/asc/?isNewsFeedSearch=False"
payload = [{"searchSection":"archivalLocationSearch","type":"archivalLocationAdvancedSearch","isActiveFilter":True,"repository":None,"collection":"Mediceo del Principato","series":None,"volume":"2863","insert":None},{"searchSection":"categoryAndTypologySearch","type":"categoryAndTypologyAdvancedSearch","isActiveFilter":True,"category":"News","typology":None},{"searchSection":"transcriptionSearch","type":"transcriptionAdvancedSearch","isActiveFilter":False,"transcription":""},{"isActiveFilter":False,"searchSection":"synopsisSearch","type":"synopsisAdvancedSearch","synopsis":""},{"searchSection":"placesSearch","type":"placesAdvancedSearch","isActiveFilter":False,"places":[]},{"searchSection":"peopleSearch","type":"peopleAdvancedSearch","isActiveFilter":False,"people":[]},{"searchSection":"topicsSearch","type":"topicsAdvancedSearch","isActiveFilter":True,"topics":[{"topicTitle":"Place Index","topicId":"51","placeAllId":""}]},{"searchSection":"dateSearch","type":"dateAdvancedSearch","isActiveFilter":False,"dateFilterType":"","dateYear":"","dateMonth":"","dateDay":"","dateBYear":"","dateBMonth":"","dateBDay":""},{"searchSection":"documentOwnerSearch","type":"documentOwnerAdvancedSearch","isActiveFilter":False,"editType":"owner","account":""},{"searchSection":"languagesSearch","type":"languagesAdvancedSearch","isActiveFilter":False,"languages":[]}]
headers = {'Content-type': 'application/json', 'Accept': '*/*'}
r = requests.post(url, data=json.dumps(payload), headers=headers, auth=('LOGIN','PASSWORD'))

Не забудьте заменить LOGIN и PASSWORD на собственные учётные данные.

Записать ответ в файл

with open('response.json', 'wb') as fd:
 for chunk in r.iter_content(chunk_size=128):
 fd.write(chunk)

Открыть JSON

f = open('response.json', encoding="utf8")

Вернуть объект JSON в виде словаря

json_complete = json.load(f)

Выбрать данные из JSON и вывести их в формате CSV

with open('results.csv', 'w', newline='') as csvfile:
 fieldnames = ['documentId', 'placeCited', 'documentDate']
 writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
 writer.writeheader()
 for i in json_complete['data']:
 if i['topics'] != None:
 for x in i['topics']:
 documentId=x['documentId']
 placeCited=x['topicPlaceName']
 year=i['date']['docYear']
 month=i['date']['docMonth']
 day=i['date']['docDay']
 documentDate=str(year)+ "-" + str(month)+"-" + str(day)
 writer.writerow({'documentId': documentId, 'placeCited': placeCited, 'documentDate': documentDate})

Скачав файл results.csv, можно переходить к чистке данных, как описано выше.

Массовый разбор библиографии с помощью предобученных языковых моделей

Thu, 07 Jul 2022 19:04:14 +0200

Автоматизация — ключ к удешевлению проектов в цифровых гуманитарных науках. До сих пор однообразную и утомительную работу, сопутствующую изданию текстов в академической среде, либо за большие деньги выполняли перегруженные учёные, либо её «отдавали на сторону» — студентам. В этой я доказываю, что большинство этих неблагодарных задач не только можно, но и нужно автоматизировать. Автоматизация издательских задач снижает общую стоимость проектов в цифровых гуманитарных науках. А главное, она позволяет учёным из небогатых регионов быстро и недорого публиковать ценные документы.

В я, например, показал, как предобученные языковые модели берут на себя большую часть работы по XML-разметке цифрового издания.

В этой заметке — второй пример, на сей раз с библиографией.

Проблема

Собрать библиографическую базу из ссылок, упомянутых в научной статье, довольно просто. Можно быстро поискать в каталоге вроде , скачать запись в нужном формате или автоматически импортировать её из локальной базы. С одной-двумя статьями это работает прекрасно. Но начиная с некоторого числа ссылок задача становится отталкивающей и долгой. Чтобы помочь делу, можно прибегнуть к алгоритмам разбора вроде . Правда, масштабировать такие алгоритмы бывает трудно. Когда я попробовал с помощью anystyle обработать более 150 научных очерков, вошедших в наше , накопившиеся ошибки стали попросту неуправляемыми. Он не распознал многие наши источники — принимал, например, длинные заглавия книг раннего Нового времени за что-то другое — и не справился с менее типичными документами: отдельными веб-страницами, онлайн-видео и т. п. Парсеры хороши, пока автор свято соблюдает правила известного стандарта — Chicago, Turabian или MLA. Любое отступление от нормы оборачивается ошибками.

Решение

Здесь и приходят на помощь предобученные языковые модели : они быстро схватывают закономерности любого библиографического стиля , даже выдуманного вами, и им хватает нескольких примеров, чтобы правильно перевести большие объёмы оформленной библиографии в .

В начале 2021 года мне посчастливилось получить ранний доступ к от OpenAI. Codex — модель, переводящая с естественного языка на язык программирования и обратно. По словам OpenAI, она владеет более чем дюжиной языков программирования, и хотя её API на момент написания этой заметки всё ещё доступен только в бета-версии, на нём уже работают популярные приложения вроде от GitHub.

Поэкспериментировав с этим API, я понял, что он отлично справляется и с кодом попроще — таким как BibTeX.

И в самом деле, чтобы всё надёжно заработало, мне понадобились всего четыре примера во входном промпте.

Входной промпт

References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009.

Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015.

Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. .

Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994.

@incollection{bayle2009,
 author = {Bayle, Ariane},
 booktitle = {Vulgariser la médecine. Du style médical en France et en Italie},
 title = {Patients exemplaires: la correspondance médicale de Fioravanti},
 editor = {Carlino, Andrea and Michel Jeanneret},
 year = {2009},
 address = {Geneva},
 publisher = {Droz},
 langid = {french}
}
@book{berns2015,
 title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth},
 author = {Berns, Andrew D.},
 address = {Cambridge},
 publisher = {Cambridge University Press},
 langid = {english},
 date = {2015}
}
@article{gabler2010,
 author = {Gabler, Hans Walter},
 title = {Theorizing the Digital Scholarly Edition},
 journal = {Literature Compass},
 volume = {7},
 number = {2},
 pages = {43-56},
 doi = {10.1111/j.1741-4113.2009.00675.x},
 langid = {english},
 year = {2010}
}
@book{findlen1994,
 title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy},
 author = {Findlen, Paula},
 address = {Berkeley},
 publisher = {University of California Press},
 langid = {english},
 date = {1994}
}

Результаты

впечатляют: за считаные дни преобразовано более 2 000 библиографических ссылок. Модель не только точно воспроизвела схему из моего промпта, но и правильно добавила типы записей и полей, которых в промпте не было. Иначе говоря, GPT-3 свободно владеет BibTeX. И — что, пожалуй, ещё удивительнее для модели, обучённой в основном на английском, — она распознала все языки (русский, французский, итальянский, латынь, греческий, немецкий, испанский и т. д.), каждый раз добавляя верное поле langid.

Примечание

У GPT-3 пока ограничены размеры входа и выхода: она обрабатывает не более 2048 лингвистических токенов. Как только это ограничение снимут, та же работа, вероятно, займёт час или меньше.

Несколько неожиданно GPT-3 добавила и сведения, которых в исходных ссылках не было.

Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015.

В этой библиографической записи, например, GPT-3 добавила постоянную ссылку на репозиторий открытого доступа ( ), где статью можно прочесть, включая специальные поля HAL_ID и HAL_VERSION, введённые самим репозиторием HAL:

@inproceedings{baillot2015,
 title = {Editing for Man and Machine},
 author = {Baillot, Anne and Busch, Anna},
 year = 2015,
 booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting},
 address = {Leicester},
 series = {Variants (Journal of the European Society for Textual Scholarship)},
 volume = 13,
 editor = {Bruhn, Siglinde and Schreiber, Manfred},
 langid = {english},
 hal_id = {halshs-01233380},
 hal_version = {v1}
}

Эти дополнения показывают, что GPT-3 не просто разбирает библиографическую ссылку, но и дополняет её на основании того, что усвоила при обучении. Было бы любопытно проверить, поведёт ли она себя так же со ссылками, датированными позже её обучения…

Ограничения

Впрочем, GPT-3 не безупречна. За ней нужен человеческий присмотр. Одно из известных её ограничений — : порой она что-то выдумывает и делает маловероятные допущения.

В моём эксперименте приступы бессвязности проявились, когда GPT-3 ни с того ни с сего переделала фамилию автора «Ruscelli» в «Ruscello». Строго говоря, это не ошибка: в Италии раннего Нового времени фамилии употреблялись во множественном и в единственном числе без разбора. Однако сегодня принято сохранять фамилию в том числе — единственном или множественном, — в каком она есть. Никто не назовёт Макиавелли «Макиавелло», как и от нас ожидают формы Rossello, а не Rosselli. Проигнорировала ли GPT-3 это правило из-за отсутствия чувства хронологии? Или же она сделала допущение по соседним фамилиям, которые в этой части библиографии, как на грех, все стоят в единственном числе (Bariletto, Cesano, Rossello)? Кто знает.

@book{rossello1565,
 title = {Della summa de’ secreti universali},
 author = {Rossello, Timoteo},
 address = {Venice},
 publisher = {Giovanni Bariletto},
 langid = {italian},
 date = {1565}
}
@book{ruscello1559,
 title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese},
 author = {Ruscello, Girolamo},
 address = {Pesaro},
 publisher = {Bartolomeo Cesano},
 langid = {italian},
 date = {1559}
}

Заключение

Написанные за четыре года напряжённого сотрудничества, 150 с лишним очерков, , не только сообщают важнейшие сведения о рукописи, которую мы издали и перевели, но и содержат ценную библиографическую информацию.

Сведя эти ссылки в базу данных, издатели могут менять библиографическое оформление в мгновение ока и свободнее решать, как подавать эту информацию. Кроме того, такая база многое говорит о самом издании и о проекте, который сделал его возможным, открывая учёным новые аналитические перспективы. И составить её можно с высокой точностью и в рекордные сроки.

Ошибки, пожалуй, могут закрадываться — прежде всего из-за склонности GPT-3 к галлюцинациям. Но будущие поколения предобученных языковых моделей смягчат эту проблему.

Автоматизация разметки в цифровых научных изданиях

Mon, 22 Nov 2021 18:15:00 +0000

Введение

Как готовить цифровые научные издания, не разоряясь? В этой заметке — первой из серии об экономном издании текстов — я оцениваю, какую роль предобученные языковые модели могут сыграть в автоматизации издательских задач, например семантической разметки.

Содержание

Проблема

Труд по любви

Когда любишь, не считаешь… во всяком случае, так гласит старая пословица. К цифровым научным изданиям это относится в полной мере: транскрипция, перевод и комментирование, из которых они складываются, требуют тысяч часов работы, и выполняют её — как в случае — сотни высококвалифицированных сотрудников.

В каком-то смысле то, что заметные проекты в цифровых гуманитарных науках способны собрать огромные средства, необходимые для их работы, — благо. И всё же тяжёлая зависимость от щедрости богатых фондов, университетов и государственных ведомств, затяжная потребность в больших людских ресурсах — не та экономическая модель, на которой можно строить будущее.

В сущности, если мы хотим, чтобы учёные по всему миру открывали исторические документы широкой публике, стоимость цифровых критических изданий должна упасть на порядки .

Высокий порог

Как ни парадоксально, решение могут дать сами трудоёмкие проекты вроде : они представляют собой ценный обучающий набор , на котором можно автоматизировать самые отталкивающие и однообразные операции цифрового издания — например, разметку.

Не то чтобы разметка была делом второстепенным. Напротив, разметка стала непременной составляющей любого серьёзного цифрового научного проекта. Стандартизованная , она позволяет зафиксировать как можно больше сведений о документе и о тексте, который он передаёт: структуру, маргиналии, вычёркивания, разночтения, сорт бумаги, пятна, почерк… что угодно.

Следующий пример, взятый из , показывает, как разметка обогащает текст дополнительной информацией (категория, структура, семантические поля, вычёркивания и т. д.), в конечном счёте давая цифровым изданиям серьёзное преимущество перед их бумажными предками.

Plain Text XML Markup

Plain Text	XML Markup
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

Эти сведения ценны не только для архивных целей, но и — как я уже показывал прежде — для синтеза и анализа. Тем не менее подобное аннотирование может отнимать чрезвычайно много времени, ведь один и тот же текст зачастую должен существовать в нескольких обличьях: как перевод, как транскрипция, как модернизированная версия и т. д.

Решение

Трансформеры: кратчайший путь к автоматизации?

В 2020 году с большой помпой выпустила новое семейство универсальных больших языковых моделей под названием GPT-3 — «Generative Pre-trained Transformer 3». Трансформеры — сравнительно недавний прорыв в области искусственного интеллекта. Новым задачам они обучаются поразительно быстро: достаточно прочесть промпт и посмотреть на очень небольшое число примеров. Их можно и дообучить на специально подобранном наборе данных (fine-tuning), улучшив скорость отклика и точность. Потому GPT-3 и подобные ей трансформеры называют — моделями, которым хватает нескольких примеров.

По словам OpenAI, GPT-3 содержит рекордные 175 млрд параметров и обучена более чем на 570 ГБ текста, по большей части английских документов, взятых, надо думать, . Благодаря одним своим размерам GPT-3 задала новую планку в этой области: прямо «из коробки» она выполняет самые разные задачи с тревожным правдоподобием. Она пишет убедительные , в чатах, , , переводит документы, объясняет жаргон и т. д.

Получив ранний доступ к API OpenAI в мае 2021 года, я смог проверить, как модель справляется с задачами, которые слывут трудными: переводом французской поэзии и новолатинских текстов на английский, объяснением аналогий и даже пересказом третьего раздела кантовского «Основоположения к метафизике нравов» для семилетнего ребёнка (правда, не слишком убедительным).

Codex

Одно из последних ответвлений GPT-3 посвящено языкам программирования. Модель под названием Codex переводит с естественного языка на язык программирования и обратно. Скажем, если мне нужно регулярное выражение, которое «находит только слова, начинающиеся с заглавной буквы», GPT-3 тут же превращает эту фразу в рабочее регулярное выражение: [A-Z]+\w+.

По словам OpenAI, Codex работает с дюжиной языков программирования, включая Python, JavaScript, Go, Perl, PHP, Ruby и Swift. Гладко превращая псевдокод в код, Codex позволяет сосредоточиться не на утомительном синтаксисе языка, а на логических шагах и стратегиях, благодаря которым программы решают задачи.

Не только OpenAI

Разумеется, OpenAI — не единственный игрок на поле. Как уже говорилось, Пекинская академия искусственного интеллекта объявила в 2021 году о ещё более крупной и мощной модели Wu Dao 2. Nvidia и Microsoft объединили усилия и выпустили модель с говорящим названием Megatron-Turing NLG 530B. Стартапы поменьше, такие как и , тоже предлагают публике свои API. Стоит упомянуть и инициативы с открытым исходным кодом вроде . Сцена ИИ, конечно, меняется очень быстро; чтобы следить за новыми начинаниями в этой области, загляните на .

Эксперименты

Примечание

Цель этих экспериментов — найти самый экономный путь к надёжной автоматизации издательских задач. Можно возразить, что некоторые из них поддаются автоматизации и с помощью алгоритмов обучения с учителем. Эту гипотезу мы рассмотрим в одной из следующих заметок.

Может ли трансформер вроде GPT-3 научиться аннотировать, скажем, технико-научную рукопись XVI века?

Эксперимент 1. Классификация текстов

Начнём с чего-нибудь относительно простого. Как «few-shot learner», GPT-3 должна быстро уловить, по какому принципу наша редакционная группа классифицировала статьи Ms Fr 640.

Составление промпта

Для обучения я взял самый минималистичный промпт и выбрал в качестве примеров четыре коротких статьи в виде простого текста — в том числе о «медицине», «оружии и доспехах» и «живописи».

Проверка

Затем я скопировал ещё один отрывок, которого не было в исходной подборке:

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

Результат полностью соответствует содержанию:

<categories="painting">

Если же взять статью из категории, которой вообще не было среди текстов, отобранных для обучения GPT-3, результат удивляет.

<categories="jewelry">

Итог

Категории «jewelry» (ювелирное дело) в нашем издании Ms. Fr. 640 нет. Редакционная группа более широкую категорию «Stones» (камни). Впрочем, чутьё у GPT-3 хорошее, и это значит, что, немного доучившись, она сможет классифицировать любую статью Ms. Fr. 640, а возможно, и других технических текстов XVI века.

Эксперимент 2. Семантическая разметка

Поднимем планку. Если трансформеры вроде GPT-3 способны научиться классифицировать тексты по определённым редакционным критериям, могут ли они распознавать и часть разметки текста?

Примечание

Secrets of Craft and Nature использует семантических и структурных тегов. К сожалению, GPT-3, в отличие от других проектов вроде , не обрабатывает изображения. Вероятно, будущие версии GPT получат эту способность, без которой не распознать большинство структурных и материальных особенностей документа. Эти теги мы пропустим и сосредоточимся на разметке, не требующей распознавания изображений.

Составление промпта

Семантические теги охватывают упоминания животных, растений, топонимов, чувственных ощущений и т. д. В обучающий промпт я включил несколько примеров из издания:

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

Проверка

Попробуем несколько простых слов на модели Davinci-codex: Apothecary (аптекарь), smoke (дым), glassmakers (стеклодувы), latten (латунь) и snake (змея). Результат мгновенный и безупречный:

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

Задача посложнее — составные выражения вроде copper plates (медные пластины), walnut oil (ореховое масло) и wood block (деревянная колода). Цель здесь — проверить, справляется ли GPT-3 с вложенными тегами.

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

Результат, однако, неоднозначен: Davinci-codex правильно разметила только walnut oil, не распознав вложенные теги tl и m в copper plates и wood block. Впрочем, как показывает следующая проверка, эти ошибки можно исправить, улучшив обучающий промпт. Стоило добавить ещё пять примеров вложенных тегов, и Davinci-codex выдала почти безукоризненный результат с единственной ошибкой (oil paintbrushes):

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

Заключение

Важно помнить, что эти испытания проводились на небольших фрагментах текста. Подозреваю, что, дай мы в примерах и в промпте больше контекста, модели GPT-3 показали бы ещё лучшие результаты. Более того, дообучение модели на специально подобранных данных, без сомнения, ещё повысило бы точность разметки.
Пусть для доказательства надёжности предобученных языковых моделей эти эксперименты ещё предстоит повторить в большем масштабе, мы всё же можем заключить, что такой подход позволяет издателям автоматизировать целый ряд задач аннотирования в несколько простых шагов, потенциально экономя огромное количество времени и денег.

Визуализация рукописей 2 (обновление)

Sat, 20 Nov 2021 16:00:00 +0000

Как и обещал, новая версия интерактивной древовидной карты из — на сей раз с двумя режимами просмотра.

Примечание

Для лучшего просмотра переключите страницу в светлый режим (щёлкните по значку луны в правом верхнем углу).

Group folios by category

Визуальный обозреватель архива

Sun, 20 Jun 2021 16:00:00 +0000

Проблема

Цифровые издания страдают парадоксом: открывая труднодоступные документы широкой публике, они вместе с тем лишают читателя чувственного восприятия, и эта дематериализация нередко дезориентирует его и даже отбивает охоту вникать в содержание. Навигация по огромным хранилищам документов становится громоздкой и пугающей. Это верно не только для тех, кто неопытен в архивной работе, но и для читателей с когнитивными нарушениями.

Решение

Здесь нам могут помочь архивные метаданные. Ведь такие данные позволяют создавать интерактивные визуальные абстракции, которые дают читателю альтернативный чувственный вход, повышая тем самым и удобство, и доступность. Чтобы по архиву можно было перемещаться глазами, сгодится древовидная карта (treemap) или любая другая диаграмма, толково раскладывающая иерархические данные.

Эксперимент

В первом опыте я приспособил для D3.js, добавив в него гиперссылки. Карта изображает рукопись BnF Ms Fr 640, её листы и статьи внутри каждого листа. Цвета обозначают преобладающую категорию. При наведении курсора на статью открываются дополнительные данные, включая гиперссылку на рукопись.
Так древовидная карта превращается в интерактивный визуальный указатель, который очень быстро и отзывчиво показывает читателю не только содержание рукописи, но и размеры каждого листа и каждой статьи.
В ближайшие месяцы я продолжу экспериментировать с этой идеей, пробуя другие диаграммы и другие иерархии… Следите за новостями! Новая версия древовидной карты — .

Примечание

Для лучшего просмотра переключите страницу в светлый режим (щёлкните по значку луны в правом верхнем углу).

Click any cell to zoom in, or the top to zoom out.

Архив как на ладони

Mon, 24 May 2021 16:00:00 +0000

Проблема

Исторические архивы бывают устрашающе беспорядочны. Фонд Mediceo del Principato в — наглядный тому пример. Инвентаризована лишь малая его часть, а многие документы без всякой видимой причины рассеяны по более чем 6 500 томам. Мало того, архив разрешает заказывать лишь ограниченное число томов (или filze — связок, как их здесь называют). В обычное время предел — четыре filze в день. В пандемию же он упал до четырёх за две недели. За неимением подробных описей огромные размеры архива вынуждают исследователей изобретать стратегии, чтобы быстро находить нужные документы.

Решение

Кто-то полагается на случай, кто-то пытается строить обоснованные догадки — по хронологии, адресатам, авторам, происхождению архивного фонда, языку и т. д. Но если посмотреть на все эти переменные разом, могут проступить неожиданные закономерности в устройстве архива, а догадки станут точнее. Мой опыт показывает: метаданные, которые исследователи обычно копят в электронной таблице, будучи представлены графически, заметно помогают ориентироваться в архиве.

Эксперимент

Моё нынешнее исследование посвящено переписке шпиона XVI века. Его письма разбросаны по сотням filze. Они написаны под разными именами, разным и порой неожиданным адресатам, из разных мест и т. д. Чтобы находить filze, в которых нужные письма вероятнее всего, я собрал дашборд — интерактивное веб-приложение для визуализации данных ( ), которое связывает самые разные сведения, в том числе географические и хронологические, с иерархической диаграммой ( ) архивного фонда. Дашборд с одного взгляда показывает мне, что уже найдено, сколько это составляет, и в общих чертах подсказывает, где ещё можно искать новые письма. А стоит щёлкнуть по той или иной переменной, как все диаграммы перестраиваются, показывая конкретные корреляции.

Что дальше

Пожалуй, важнее другое: этот дашборд можно превратить в визуальный указатель. Когда критическое издание писем выйдет в сети, дашборд станет альтернативным входом, откуда читатели смогут просматривать данные. Из соображений конфиденциальности сейчас я могу показать лишь снимок экрана с затёртыми деталями, но полную версию дашборда выпущу в следующем году. А пока скоро появится прототип. Следите за новостями!

Визуализация семантической разметки BnF Ms. Fr. 640

Sun, 20 Dec 2020 18:15:00 +0000

Обзор

Насыщенные данными научные издания содержат ценные редакторские аннотации, которые можно извлекать, анализировать и визуализировать для самых разных научных целей. Таково , вышедшее в 2020 году: файл с его метаданными можно скачать из репозитория проекта на GitHub. В этой заметке я показываю, как собрать все эти переменные в корреляционную матрицу и визуализировать её разными способами.

Данные

Making and Knowing Project формирует таблицу с актуальными сведениями о содержании рукописи: entry_metadata.csv. Файл можно взять из . Можно и сгенерировать собственные .csv-файлы с дополнительной разметкой благодаря превосходному Мэттью Кумара — Python-версии BnF Ms. Fr. 640.

Настройка Python

Для обработки данных возьмём Pandas, для тепловых карт — Matplotlib и seaborn, а для построения сетей на основе корреляций — NetworkX.
Для переменных такого типа мы откажемся от метода Пирсона и воспользуемся методом 𝜙𝐾. Обязательно об этом методе корреляции и о соответствующей библиотеке PhiK.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

Подготовка данных

Сначала скачаем свежий файл метаданных издания из папки metadata в его . Выберем только нужные столбцы. Для этой демонстрации я беру все семантические теги из английского перевода tl, но можно взять теги из французской транскрипции tc или нормализованной версии tcn. Данные приходят в виде значений, разделённых точкой с запятой, и Python должен их для нас подсчитать. Для этого воспользуемся методом stack-unstack с регулярным выражением [^;\s][^\;]*[^;\s]*. Чтобы матрица была понятнее, переименуем столбцы. Если вы спешите, этот шаг можно пропустить — только помните, что наш датафрейм на этом этапе называется tagsrn.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

Корреляция

Когда датафрейм очищен, можно переходить к расчёту коэффициентов корреляции между переменными. На этом этапе важно понимать свои данные и убедиться, что выбран самый подходящий метод корреляции. Здесь особенно полезен пакет pandas-profiling.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag — наша корреляционная матрица. Теперь можно пробовать разные виды визуализации.

Визуализация

Первое, что можно попробовать, — представить её как матрицу с цветовой кодировкой при помощи из seaborn.

Тепловая карта корреляций

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

Если вы хорошо знаете текст, то сразу увидите, что тепловая карта во многом осмысленна. Например, имена сильно коррелируют с латынью: их было принято латинизировать, особенно среди гуманистов XVI века.

Кто-то, возможно, возразит, что тепловая карта лишь ломится в открытую дверь. И будет не совсем неправ: на первый взгляд медицинские теги — наглядный тому пример, ведь они предсказуемо коррелируют с частями тела, мерами и растениями.

Но если читать тепловую карту внимательнее, строка за строкой, можно найти любопытные и неожиданные корреляции. То, что медицинские теги, например, коррелируют с итальянскими и латинскими словами, кое-что подсказывает о происхождении медицинских рецептов в Ms. Fr. 640. Точно так же корреляция между профессиями, определениями и мерами показывает, насколько профессиональная идентичность структурирует технический дискурс XVI века.

Кластерная карта корреляций

Тепловые карты хороши в «разведочном» режиме, но публике они могут показаться неряшливыми, особенно если вы обсуждаете — или всё ещё ищете — конкретные семантические кластеры в рукописи. Любопытные результаты может дать модуль clustermap из seaborn.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

Помимо того, что кластерная карта похожа на пикселизированное (да, это слово есть в Оксфордском словаре) насекомое, она чётко отделяет изолированные теги (сверху и слева) от более связанных между собой. Различимы и обособленные кластеры — например, музыка и пуатевинский диалект (кто бы мог подумать!) — и более центральные: меры, материалы, определения и оружие. Профессии связаны со многими, но, по крайней мере в этой конкретной корреляционной матрице, не входят ни в какой определённый кластер.

Корреляционная сеть

Если хочется ещё сильнее сжать корреляции, содержащиеся в матрице, изящное решение дают сетевые графы. Это особенно верно, когда нужно рассказать о содержании рукописи.
Для этого нужно превратить матрицу в список рёбер и узлов и задать порог, чтобы убрать из графа слабые корреляции.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

Если рёбер и узлов слишком много, порог всегда можно изменить и получить более чистый результат. Или же экспортировать граф функцией .write_gexf() и поиграть с ним в Gephi.

nx.write_gexf(G, 'graph.gexf')

Результат можно увидеть в начале этой заметки.

Обновление: круговая взвешенная сеть

Я искал способы показать корреляционные матрицы в виде взвешенных сетей и нашёл интересный подход, ; здесь я приспосабливаю его к нашему набору данных.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

Убрав часть рёбер, можно задать их цвет и толщину.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

Узлам мы также придаём размер, пропорциональный числу их связей.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

В результате получаем взвешенный граф, который вмещает больше узлов и значительно больше рёбер, оставаясь при этом читаемым и информативным.