Заметки |

Skyrails, воссозданный по скриншотам

Thu, 01 Oct 2026 00:00:00 +0000

Около 2007 года Йосе Виджая, тогда студент Университета Нового Южного Уэльса, создал Skyrails — удивительную программу для исследования сетей в трёх измерениях. Путешествовать можно было по самой сети, от узла к узлу, по светящимся рельсам, словно находишься внутри данных. Программа походила на видеоигру — в то время, когда большинство исследовательских инструментов были плоскими и серыми. За зрелищностью скрывалась настоящая глубина: у Skyrails был собственный скриптовый язык для оформления и анализа графов, и на этом же языке были написаны меню, так что пользоваться программой могли и те, кто не умел программировать. И всё это — работа одного-единственного студента. Много лет назад я увидел её демонстрацию на YouTube и с тех пор её не забыл.

Исчезнувшая программа

Skyrails никто никогда не поддерживал. Программа работала под Windows, её страница на сайте университета исчезла, а все ссылки, по которым я переходил, оказывались мёртвыми. Зато уцелели следы: и несколько записей в блогах 2007 года — на , в блоге Тима Ламберта и в .

Скриншоты оказываются на удивление красноречивыми. На них видно ночное синее небо, исчерченное облаками, рёбра в виде анимированных шевронов, узлы в виде значков или круговых диаграмм и радиальное меню, которое раскрывается вокруг узла, если зажать правую кнопку мыши. Видны на них и названия скриптов, управлявших каждой демонстрацией (labs.van, macaque.van, worldtrade.van), меню, которые эти скрипты создавали, и четыре темы — normal, desert, valley и openspace. А на одном даже сохранилась строчка самого скриптового языка, набранная в консоли вверху экрана:

with all nodes do nodeplane x 1 -1 end

Реконструкция по уликам

Опираясь на эти свидетельства, Claude за одну ночь воссоздал Skyrails. Новая версия работает в браузере на и в принципе должна запускаться и в шлеме виртуальной реальности. В ней повторены небо, шевронные рельсы, светящиеся узлы со значками, круговыми диаграммами и кольцами, крупная подпись узла под указателем, радиальное меню и четыре темы. Есть в ней и небольшой скриптовый язык, выстроенный вокруг той единственной строки, что сохранили скриншоты: конструкции with … do … end задают оформление графа и определяют меню.

Для проверки я загрузил три классических набора данных: сеть флорентийских семейств Джона Паджетта с их брачными и деловыми связями, клуб карате Уэйна Закари и составленную Дональдом Кнутом сеть персонажей «Отверженных», где два персонажа связаны, если они появляются в одной главе. Видео ниже проводит по последней из них — от Вальжана к Жаверу, Фантине, Козетте и Мариусу. Каждый рельс загорается, пока по нему движется камера.

Ваш браузер не может воспроизвести это видео. Зато его можно скачать.

Результат настолько походил на скриншоты, что я сразу заподозрил: при обучении модель впитала следы оригинального кода.

Оригинал отыскался

А потом сюжет сделал неожиданный поворот. Уже после реконструкции я нашёл оригинальную программу на GitHub. В 2015 году её выложил один исследователь — с разрешения Йосе Виджаи — вместе с кодом к докладу о визуализации данных на конференции по безопасности ShmooCon ( , копия есть также в ). В репозитории есть исполняемые файлы для Windows, данные, шейдеры и оригинальные скрипты, но нет исходного кода основного движка.

Так что мы смогли сравнить одно с другим. По облику и ощущению от работы реконструкция подошла к оригиналу близко, но её скриптовый язык и шейдеры сильно от него отличаются. Оригинальные скрипты выглядят так:

with all edges do (
 if(#marriage == 1) then (
 linkorigin <- marriage -> linktarget;
 ) end;
) end;

Подпрограммы в них задаются через sub, меню — через menudef и menulink, цвета — записью rgb: 130 0 0, а типы связей — стрелками. Ничего этого в реконструкции нет: с оригиналом её роднит только форма with … do … end, видная на скриншоте. Оригинальные шейдеры с названиями вроде BloomFX и RetinalBurnFX тоже не имеют ничего общего с новыми.

Вопроса о запоминании это не закрывает. Оригинальные скрипты общедоступны с 2015 года и вполне могли попасть в обучающие данные модели, а сказать наверняка, что именно она видела, не может никто, включая её саму. Но если бы модель запомнила Skyrails, я бы ожидал, что она воспроизвела бы хотя бы язык. Различия позволяют предположить, что Claude исходил из того, что видно на скриншотах.

Цифровая археология и долговечность программ

Я вижу в этом эксперименте своего рода цифровую археологию: восстановить утраченный предмет по оставленным им следам, а затем найти оригинал и измерить, насколько близко удалось подойти. Как всякая реконструкция, новый Skyrails — это интерпретация. Его облик и поведение опираются на свидетельства, а всё, что под ними, создано заново.

Это ещё и вопрос долговечности. Программы устаревают гораздо быстрее, чем данные, для чтения которых они создавались. Когда программа умирает, сделанные в ней файлы, скрипты и визуализации становится трудно открыть, даже если сами они уцелели. Многое из программного обеспечения 2000-х годов существует теперь лишь в виде скриншотов, видеозаписей и старых двоичных файлов, которые способно запустить всё меньше машин. Оригинальный Skyrails, возможно, ещё запустится на компьютере с Windows или в эмуляторе, но поддерживать, дорабатывать или переносить его на другие платформы уже нельзя: исходный код утрачен.

Как я и предсказывал несколько лет назад, ИИ становится практическим средством против такого устаревания. Он может восстановить утраченный инструмент по его следам и заново построить программы чтения, благодаря которым старые данные остаются пригодными к использованию. Очевидный следующий шаг для этого проекта — научить новый движок читать оригинальные скрипты .van и файлы данных, чтобы демонстрации, написанные Йосе Виджаей в 2007 году, снова заработали. Для всех, кому небезразлична долговечность данных — в науке, в архивах или в цифровых гуманитарных науках, — это заслуживает внимания.

Skyrails опередил своё время и почти двадцать лет спустя по-прежнему впечатляет. Все заслуги в замысле и дизайне принадлежат Йосе Виджае, и я надеюсь, что эти строки до него дойдут.

Не костёр, а ограда

Sun, 06 Sep 2026 00:00:00 +0000

На складе в Норт-Лас-Вегасе у Amazon работает машина, которая срезает корешки с подержанных книг. Отделённые страницы проходят через сканер, а бумага отправляется в макулатуру. Уничтожать книги, чтобы кормить ИИ: у этой истории было всё, чтобы стать культурным скандалом. сравнила происходящее с современным сожжением книг, не пожалев ни одного штампа: намёки на Савонаролу, стоковые фотографии якобы редких изданий и, конечно, берлинский костёр. Солидные газеты, как и следовало ожидать, были сдержаннее, но то же сравнение повисло в воздухе и у них. При всём своём негодовании эти статьи, однако, позволили индустрии ИИ отделаться лёгким испугом. Судьба бумаги занимает всю сцену; вопрос о том, кому принадлежат получившиеся цифровые библиотеки, едва попадает в кадр. Кто будет распоряжаться знанием, которое сейчас сканируют? Этот вопрос подождёт, пока мы разделаемся с чепухой о сожжении книг.

Сканер — не костёр

Аналогия с кострами Савонаролы или нацистским сожжением книг нелепа: уничтожить экземпляр — не то же самое, что запретить текст. Костры были публичными актами отречения. Бедный монах Савонарола, чьё имя поминают всякий раз, когда речь заходит о сожжении книг, призывал людей пожертвовать частью своего имущества в знак публичного покаяния. Нацистские костры разыгрывали отречение иного рода: публичное сожжение книг объявляло, что их авторам нет места в немецкой культурной жизни. В обоих случаях, как бы это ни было неприятно, уничтожение было представлением. Деструктивное сканирование — широко распространённый метод оцифровки — служит другой цели: экземпляр гильотинируют, чтобы сохранить его содержание. Книга уничтожена; текст дематериализован. Тем, кто тянется за «451° по Фаренгейту», стоило бы вспомнить его главный урок: текст — не та бумага, на которой он напечатан.

Задиристее, чем Daily Mail, но не менее неуклюже, подлило масла в огонь, вынеся в заголовок «редкие книги». Между тем букинист, которого цитирует само же издание, сказал, что из этих оптовых заказов , — а это указывает главным образом на издания, вышедшие после введения ISBN около 1970 года. Это товар барахолок и благотворительных лавок, которому до помойки нередко одна генеральная уборка. Прежде чем объявлять культурную катастрофу, стоило бы заглянуть в библиотечный каталог. Именно такие издания и призваны хранить библиотеки, получающие обязательный экземпляр. Правда, ISBN не гарантирует, что обязательный экземпляр сохранился, — но и редкость на букинистическом рынке не доказывает исчезновения текста.

Разумеется, у книг есть и материальная история. Экземпляры, которым пометы, дарственные надписи или провенанс придают историческую значимость, заслуживают того, чтобы их выявляли и сохраняли. Здесь есть роль и для букинистов: распознать такой экземпляр — повод не отправлять его в партию, обречённую на макулатуру. Можно тревожиться и о том, что физических экземпляров распроданных изданий становится всё меньше. Но тогда стоит спросить и о том, почему правообладатели их не переиздают и не открывают доступ к уже существующим цифровым факсимиле. Учёным знакома эта досада: Google Books находит нужный отрывок, а затем показывает лишь обрывок книги, которую нельзя ни купить новой, ни прочесть онлайн. Так что потери здесь есть, и о них стоит спорить, но они не превращают сканер в нацистский костёр.

Книжная торговля, между тем, давно и рутинно отправляет непроданные книги в макулатуру. В одной только Франции в 2023 году, по оценкам, — примерно 60 % тоннажа, возвращённого дистрибьюторам как непроданный. Это называется управлением запасами. Лишние экземпляры и редкие букинистические издания ставят разные вопросы о доступе, но уничтожение бумаги само по себе не равнозначно цензуре или тирании.

Больше книг — лучше ИИ?

То, что компании, занимающиеся ИИ, покупают и сканируют книги, — на самом деле хорошая новость. Технология, которую постоянно ругают за поверхностное знакомство с человеческой культурой, усваивает её больше, и можно было бы ожидать, что учёные это усилие поприветствуют.

Веб — плохая замена накопленному наследию языка. Значительная часть записанной жизни языка — от романов и мемуаров до популярных песен и расшифрованных разговоров — так и не перекочевала из печати в сеть. Многие из этих книг пережили своих издателей. Включать их в обучающие данные важнее всего там, где больше почти ничего нет. Ещё несколько книг по-английски дадут, может быть, кое-какие незначительные улучшения. Зато в слабо представленном языке те же книги могут стать разницей между пригодной системой и бесполезной. Место ли этим инструментам в наших публичных службах и повседневной жизни — вопрос для общественного обсуждения. Но где бы мы ни решили ими пользоваться, мы должны иметь возможность делать это на собственном языке.

Заказы, о которых сообщали из Испании и Нидерландов, делают языковые ставки осязаемыми. В мае рассказал о букинисте из Бадалоны, получавшем повторяющиеся заказы — главным образом на каталонскую нехудожественную литературу: книги по истории, технические руководства, старые сборники материалов конференций. К августу голландская пресса описала запрос к De Slegte на . Язык книг заслуживает по меньшей мере не меньшего внимания, чем судьба их переплётов. Возможно, от Daily Mail требовать этого — слишком много. Но даже более трезвые газеты почти ничего не сказали о том, на каких языках эти книги.

Лицензионные соглашения с крупными издательствами тоже могут дать ценный материал, но их цифровые каталоги покрывают лишь малую долю того, что когда-либо выходило в печати. Книги, никогда не оцифрованные или те, права на которые издательство больше не держит, в предложение не попадают. Даже щедрая лицензионная сделка не заменит истории книгоиздания, а тем более истории культуры. Скупка подержанных экземпляров — способ дотянуться до того, что лежит за этими коммерческими границами.

«Воровство» — не аргумент

Слово «воровство» тоже не помогает. В июне 2025 года два окружных суда США постановили, что в рассматриваемых ими делах использование книг для обучения языковых моделей было добросовестным использованием (fair use). В деле суд подчеркнул преобразующий характер обучения: книги использовались, чтобы построить систему, способную порождать новые формы выражения. Модели могут запоминать отрывки, но использование книги для обучения не делает весь её текст доступным по первому требованию. Впрочем, отсутствие дословного воспроизведения не снимает всех возражений. В деле судья предупредил, что произведения, созданные ИИ, могут наводнить рынок и что доказательства такого ущерба способны опрокинуть защиту на основании fair use. Однако эти истцы не представили сколько-нибудь весомых доказательств такого ущерба их собственным произведениям. Ни одно из решений не даёт компаниям, занимающимся ИИ, неограниченного разрешения и не закрывает этический спор. Они требуют от нас различать, как книги приобретаются, как хранятся копии и что именно с ними делает обучение. Назвав всё это «воровством», мы оставим эти вопросы без ответа.

К слову, решение по делу Anthropic даёт гильотине обоснование. Суд поддержал оцифровку купленных экземпляров и отверг накопление пиратских книг в постоянной библиотеке, за которое компания впоследствии . Оцифровка прошла отчасти потому, что каждый печатный экземпляр при преобразовании уничтожался: цифровая копия его замещала и за пределы компании не выходила. Уничтожение, которое так возмущает некоторых, помогло Anthropic доказать, что её программа оцифровки — добросовестное использование. Купить, отсканировать и выбросить оказалось в этом случае законным путём. Гильотина здесь — инструмент соблюдения закона.

Есть веские причины желать, чтобы ИИ опирался на большее число языков, на большее число научных работ и на большую часть мира, существовавшего до интернета. Эти причины не исчезают оттого, что компания, которую мы недолюбливаем, нашла в этом коммерческую возможность.

Негодование напрокат

Вернёмся же к Daily Mail. Её статья — часть кампании , которую ведут владельцы газет и издатели, добиваясь для ИИ. Всю работу делают две удобные подмены: Big Tech выдаётся за ИИ, а правообладатели — за «британское творчество». Читателей приглашают защищать культуру, пока издатели торгуются об условиях её продажи. Учёным, разносящим эту историю, стоило бы спросить себя, чьему делу служит их негодование.

Big Tech и ссорятся из-за ренты, но ограда не смущает ни одну из сторон. История об одиноком авторе, ограбленном технологическим гигантом, заслоняет то, что дорогие лицензионные сделки сулят обоим корпоративным лагерям: издатели получают деньги, а Big Tech — рынок, на котором его мелкие соперники не могут позволить себе конкурировать. Питер Тиль выразил предпочтения Кремниевой долины откровеннее: .

Лицензирование не обязано приводить к такому итогу. Доступный по цене, неисключительный доступ мог бы помочь мелким разработчикам. Но система, заставляющая каждого новичка заключать дорогостоящие сделки с крупными правообладателями, превращает покупательную способность в условие входа. Платёж, поданный как уступка индустрии культуры, в итоге покупает защиту от будущих соперников.

ИИ не принадлежит Big Tech

Есть проблема и поглубже. Слишком много критики ИИ принимает крупнейших коммерческих поставщиков за всю область целиком. Продукты не сходят с заголовков; исследования и разработки за пределами этих компаний исчезают из виду. О более полезном недоразумении Big Tech не мог бы и мечтать. Его притязание владеть всей областью становится исходной посылкой критики, направленной против него же. Монополия ещё не обеспечена. Считать её свершившейся — значит оказывать этим компаниям огромную услугу. А заодно отводить внимание от открытого исходного кода: от его нужд, от его шансов на существование, от его интересов, от его легитимности как альтернативы.

Открытый ИИ позволяет людям строить и приспосабливать системы, отражающие большее разнообразие языков, культур и форм выражения. Для стран Европы, Африки, Латинской Америки и Азии это практическая основа технологического и культурного суверенитета: возможности решать, как работают системы, каким языкам они служат и где применяются. Использовать ли ИИ и для каких целей — должно оставаться публичным выбором, а не решением, продиктованным зависимостью от иностранной олигополии.

Но свобода менять систему мало что значит без средств для этого. Независимой работе нужны экспертиза, вычислительная инфраструктура и доступ к обучающему материалу. Это возвращает нас к книгам. Если каждой исследовательской группе или публичному учреждению придётся заключать собственные сделки с издательствами или собирать собственную частную библиотеку, независимость станет не по карману даже некоторым богатым странам.

Книги уже здесь

Библиотеки и архивы поколениями собирали материал, который нужен этим системам. Их собрания существуют потому, что доступ к знанию должен переживать коммерческий интерес к его продаже. Многое уже отсканировано: хранит около девятнадцати миллионов оцифрованных томов из научных библиотек, многие из которых всё ещё защищены авторским правом. Библиотека сканирует книгу и оставляет её себе. Гильотина там никому не нужна. HathiTrust , но объявил и о проекте , который откроет доступ к корпусу для некоммерческих исследований и разработок в области ИИ. Доступ на таких условиях всё равно оставит часть независимых разработчиков за бортом.

Однако владение книгами не даёт библиотеке права распространять их охраняемое авторским правом содержание как обучающий корпус. разрешает научным учреждениям и библиотекам проводить интеллектуальный анализ законно доступных произведений в научных целях и допускает более широкий анализ там, где правообладатели не оговорили свои права. : её исключение для такого анализа охватывает некоммерческие исследования и ограничивает передачу копий. Ни та ни другая система не даёт библиотекам общего права делиться своими охраняемыми фондами, чтобы другие могли на них строить.

Стоило бы также пересмотреть, как долго правообладатели должны контролировать вычислительное использование книг. Фармацевтические патенты воплощают сделку: временная исключительность вознаграждает новаторство, а затем изобретение становится доступным для всех. Их обычный двадцатилетний срок куда короче, чем охрана авторского права на протяжении жизни автора и семидесяти лет после. Почему бы не применить сходный принцип к вычислительному использованию книг? Скажем, через двадцать лет после первой публикации книга могла бы становиться доступной для интеллектуального анализа текстов и данных без лицензионных отчислений, тогда как права на переиздание и продажу оставались бы под защитой. Авторы продолжали бы зарабатывать на своих книгах, а поколениям исследователей не пришлось бы договариваться о разрешении на их анализ.

Два года назад я доказывал в , что данные о культурном наследии следует считать общественным благом. Государства должны финансировать библиотеки и архивы, чтобы те оцифровывали, транскрибировали и документировали свои собрания, и наделить их юридическими полномочиями открывать полученные корпуса для других. Big Tech мог бы помочь оплатить счёт через целевой сбор.

Государственное финансирование должно сопровождаться опубликованными правилами комплектования и доступа, охватывающими как академическую, так и коммерческую работу — без исключительных сделок и привилегированного доступа для доноров. Доступ для обучения не обязан означать неограниченного распространения книг, охраняемых авторским правом. Авторы должны участвовать в разработке публичной схемы, включая то, как она решает вопросы согласия, вознаграждения и конкуренции с их произведениями. Бесплатный доступ для пользователей не исключает вознаграждения авторов из государственных средств. Один из прецедентов — британская схема (право на вознаграждение за библиотечную выдачу), по которой авторы получают деньги из общественных фондов, когда их книги берут в библиотеках. Костёр никогда не был сутью дела. Суть — ограда.

Уважаемые редакторы: хотите мой голос — верните мне мой язык

Thu, 27 Aug 2026 00:00:00 +0000

Что ни день, то очередной журнал трубит о своих правилах насчёт ИИ. На сей раз это Progress in Human Geography, редакторы которого опубликовали , предупреждающее: использовать ИИ вместо собственного чтения, мышления и письма — «нарушение академической этики, сродни плагиату». Статьи, уличённые в нарушении, «могут быть отозваны»; в лучшем случае их исправят, напечатав в журнале уведомление. Авторам же, добавляют редакторы, следует «хорошенько подумать, хотят ли они, чтобы их имена связывались с отзывами и уведомлениями об исправлениях».

На этой фразе стоит задержаться. Отзыв статьи — высшая мера в научных публикациях, кара, которую обычно приберегают для фальсификации и мошенничества. Здесь же её грозят применить за проступок, которого тот же самый редакционный текст не в состоянии определить. Есть, признают редакторы, «настоящие серые зоны» и «нет чётких линий, отделяющих зону „безответственности“». Решать будут на основании «субъективных суждений, которые могут огорчить некоторых авторов, утверждающих, что не злоупотребляли ИИ», — иначе говоря, вашу собственную декларацию могут и не принять во внимание. Далее следует совет оставаться «в безопасности, в зоне „ответственности“», — а к осторожности призывают лишь там, где есть опасность. Карать людей за переход черты, которую вы сами признаётесь не в силах провести, имеет смысл только в одном случае — если цель состоит в том, чтобы править страхом. Запомним это: пригодится.

Предлог: голос

Что же такое ответственное использование? Авторам говорят: «нужно приложить огромные усилия … чтобы сохранить собственный голос». Злоупотребление — прибегать к ИИ, «чтобы писать на языке, которым авторы сами обычно никогда бы не пользовались». Для носителя языка это осмысленно: не притворяйся тем, кем ты не являешься. Но для иностранцев, вынужденных писать на чужом языке, это предписание противоречит само себе. Голос, который эти правила берегут, — как раз то единственное, в чём собственные правила журнала нам отказывают.

Возьмите меня в качестве подопытного. Английский — мой четвёртый язык, ровно такой, каким я «обычно» никогда бы не пользовался. Англоязычные университеты выучили меня писать на нём коротко, с указателями, почти механически: тезис — в первой фразе абзаца, оговорки — в положенных местах, связки — из утверждённого списка. Выучка сработала: в моём английском никогда не было голоса, который стоило бы беречь; он-то и был первым, от чего пришлось избавиться. По определению самих редакторов, всё, что я написал по-английски, — ненадлежащее использование, с машиной или без.

Куда ни кинь, всюду клин

Редакторы говорят, что подумали о нас: правила признают, что не-носителям полезно проверять свой английский с помощью ИИ и даже пользоваться его «услугами перевода, письма и редактуры». И всё же участие ИИ в письме «должно сводиться, самое большее, к помощи в редактуре и корректуре» и не доходить до «больших кусков текста, написанных ИИ». Машинно переведённая статья написана ИИ от первого слова до последнего; она и есть сплошь такие куски. Значит, уступка действует лишь при условии, что перевод — это не письмо. Где проходит эта граница? Нам уже ответили: «чётких линий нет».

Есть и кое-что похуже, потому что подозрение не просто нельзя опровергнуть. Оно ещё и играет краплёными картами. В 2023 году стэнфордская группа проверила семь широко используемых детекторов ИИ на эссе, написанных людьми: детекторы в среднем пометили как машинные 61 % эссе TOEFL, написанных не-носителями, тогда как эссе носителей распознавали почти безошибочно; один детектор пометил 97,8 % набора TOEFL ( ). Причина поучительна. Детекторы измеряют предсказуемость, а английский как второй язык, натасканный на среднюю норму, предсказуем по самому своему устройству: самое вероятное слово в самом вероятном порядке. То же исследование нашло этот сигнал и в настоящей науке — меньшую языковую вариативность в докладах на конференциях, где первый автор не носитель языка. Стилистические приметы, которые читаются как «ИИ», — это приметы грамотного английского как второго языка, и человек, выносящий «субъективное суждение», читает те же приметы, что и машина. Клин со всех сторон: пишу на собственном английском — выгляжу машиной; беру машину — нарушаю их правило.

Налог на язык

Парадокс был бы безобиден, если бы не сопровождался угрозами. Но угрозы вскрывают более глубокую и старую проблему, которую правила ни разу не называют: одноязычие. требуют «как можно более широкого международного охвата», а на той же странице — «язык журнала — английский».

Цена такого устройства отнюдь не гипотетическая. Опросив 908 специалистов по наукам об окружающей среде, Амано с коллегами выяснили, что не-носители английского тратят на написание статьи до 51 % больше времени, получают отказ в 2,5 раза чаще и в 12,5 раза чаще получают требование переработать текст — исключительно по языковым основаниям ( ). Этот налог взимается ещё до всяких правил насчёт ИИ; декларация с её угрозами — лишь ревизия, надстроенная сверху.

Fin d’empire

Одноязычие — аксиома, которую никто не обсуждает. Это имперское наследство, со временем обзаведшееся практическим оправданием: перевод был медленным и дорогим, и ни одна редколлегия не могла оценить того, чего не могла прочесть. Но с успехами машинного перевода ничто из этого уже не держится. Современный машинный перевод можно использовать как надёжную прослойку между авторами и редакторами.

Идеальный выход — человеческий: учёные должны читать больше чем на одном языке. Вместо этого англоязычные университеты предпочитают закрывать факультеты современных языков. Заметьте: закрытия — явление англо-американское; учёные в других странах никогда не могли позволить себе роскошь одноязычия. И заметьте, когда это происходит. Закрыть языковой факультет — значит сделать ставку на то, что английский победил навсегда и ничего стоящего никогда больше не будет написано ни на каком другом языке. Ставка делается в самый неподходящий момент, причём вдвойне. Во-первых, потому что машинный перевод впервые позволяет обойтись вовсе без лингва франка; во-вторых, потому что порядок, сделавший английский языком по умолчанию, отступает: англосфера замыкается в себе, глобализация идёт на убыль, свободную торговлю оспаривают в самых её колыбелях, и складывается многополярный мир, в котором языков, на которых стоит читать, будет всё больше. Университеты выпускают учёных, читающих только по-английски, для мира, где английского будет мало. Первыми эту потерю унаследуют редколлегии.

Проверка для редакторов

Когда редколлегия сетует, что не слышит собственного голоса своих авторов, — быть может, часть проблемы в самой редколлегии.

Обвинение серьёзное, и к нему прилагается серьёзная проверка. Согласится ли Progress in Human Geography рецензировать рукопись, написанную по-французски, по-итальянски или по-японски и сопровождённую машинным переводом на английский? Собственные инструкции журнала признают «услуги перевода», которые делают это возможным. «Да» закрывает проблему. «Нет» скажет нам, что на самом деле защищают эти правила.

Так или иначе, выбор за редакторами. Если голос важен, как они утверждают, журналу следует принимать статьи на тех языках, на которых авторы думают. Если нет — декларацию нужно отменить, а вместе с ней и угрозы.

Перцептивная география Леванта

Sat, 29 Oct 2022 10:02:52 -0500

Введение

Левант — место неуловимое. Его обычно определяют через другую территорию — по соотнесению с ней или по противопоставлению, — и значение его редко бывало устойчивым: в зависимости от того, где и когда употреблялось слово, оно вызывало в воображении разные географии. Но если объективное и точное определение термина дать трудно, можно всё же попытаться начертить субъективную карту этого региона, взяв за основу корреляции внутри определённого корпуса текстов. Иначе говоря: какое пространство Левант мог вызывать в воображении у определённого круга читателей?
В этой заметке я покажу, как с помощью данных из проекта Medici Archive Project визуализировать те места, с которыми связывался этот топоним.

База данных MIA

База MIA — совместная платформа для исследователей, желающих выкладывать собственные фотографии архивных материалов из и делиться ими с коллегами. За прошедший год наша группа под эгидой сфотографировала, транскрибировала, реферировала и классифицировала тысячи документов из раздела avvisi фонда Mediceo del Principato во Флоренции. Хотя наша база задумывалась не для статистического анализа, подготовленные нами метаданные можно скачать и использовать как наборы данных.

Набор данных

В данном случае составленный мной набор охватывает все новости из Леванта с 1543 по 1566 год — то есть от первого avviso, сохранившегося в архиве, до года смерти султана . Вот образец данных, извлечённых с сервера. Три столбца: уникальный номер документа, название места и дата.

57386 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57386 Modon / Messinias, Nomos / Peloponnisos / Ellas 1565-1-3
57386 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57386 Evvoia / Evvoias, Nomos / Sterea Ellas-Evvoia / Ellas 1565-1-3
57386 Venetian Republic / Italia / Europe / World 1565-1-3
57386 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57386 Black Sea / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Otranto / Lecce / Puglia / Italia 1565-1-3
57389 Nisoi Aiyaiou / Ellas / Europe / World 1565-1-3
57389 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57389 Buda / Budapest / Budapest / Magyarorszag 1565-1-3
57389 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57389 Kipros / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Rodhos / Rodos, Nisos / Sporadhes / Nisoi Aiyaiou 1565-1-3
57389 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57389 Çorlu / Thraki / Ellas / Europe 1565-1-3

Чистка данных

Чтобы визуализировать эти данные, нужно привести их к читаемому формату csv (значения, разделённые запятыми). Кроме того, содержащуюся здесь географическую информацию нужно перевести в более «машинный» вид — в GPS-координаты. Поскольку в наборе сотни записей, эту работу лучше автоматизировать. Довольно быстро и достаточно точно с ней справляются предобученные языковые модели, такие как , или , — и это лишь некоторые из них. Впрочем, за процессом нужно внимательно следить: предобученные языковые модели слегка склонны к галлюцинациям.

documentId,latitude,longitude,documentDate
57386,35.899167,14.514167,1565-1-3
57386,37.05,22.116667,1565-1-3
57386,31.200028,29.918719,1565-1-3
57386,38.366667,23.666667,1565-1-3
57386,45.438333,12.331333,1565-1-3
57386,41.018611,28.984444,1565-1-3
57386,42.7,18.8,1565-1-3
57389,40.216667,18.166667,1565-1-3
57389,37.966667,23.716667,1565-1-3
57389,35.899167,14.514167,1565-1-3
57389,47.4925,19.051389,1565-1-3
57389,31.200028,29.918719,1565-1-3
57389,34.916667,33.616667,1565-1-3
57389,36.405419,28.227778,1565-1-3
57389,41.018611,28.984444,1565-1-3
57389,41.133333,27.416667,1565-1-3

Карта плотности

Карта плотности — вид визуализации, показывающий, как часто то или иное место упоминается в наборе данных. Она особенно полезна, когда хочешь понять не только географический охват своих данных, но и их центры тяжести. Какие места на карте упоминаются чаще? А какие — лишь эпизодически? Где центры и как далеко простирается периферия? На каком участке карты скорее всего сосредоточится внимание читателя?

Ради этого эксперимента — и потому что я спешил — я воспользовался одним из API . Впрочем, такую же карту плотности позволяют построить многие библиотеки визуализации и геоинформационные системы.

Несколько наблюдений

Результат — скорее импрессионистская картина, чем точное изображение чётко определимого понятия, и именно это мне в этом эксперименте и нравится. Ведь наука о данных может быть могущественным союзником гуманитариев, но играть по её правилам мы не обязаны.

Ещё одна любопытная сторона эксперимента: карта показывает Левант, полностью встроенный в остальную Европу и Средиземноморье. Она также подчёркивает центральное место Эдирне в политической географии Османской империи. Более того, главный испанский город на карте — не Мадрид и не Эскориал, а Неаполь. И наконец, острова и маленькие города-государства вроде Рагузы, судя по всему, играли важную роль посредников между державами региона.

Как запросить данные у MIA

Хотя MIA — превосходный инструмент для совместной работы исследователей, данные, хранящиеся на её серверах, достать не так просто. Её серверная часть, например, не опубликована в открытых репозиториях. Тем не менее данные можно получить: зарегистрируйтесь в MIA и отправляйте запросы к серверу из Python.

Запрос

url = "https://mia.medici.org/Mia/json/de/advancedsearch/advancedSearchResults/0/90/docYear/asc/?isNewsFeedSearch=False"
payload = [{"searchSection":"archivalLocationSearch","type":"archivalLocationAdvancedSearch","isActiveFilter":True,"repository":None,"collection":"Mediceo del Principato","series":None,"volume":"2863","insert":None},{"searchSection":"categoryAndTypologySearch","type":"categoryAndTypologyAdvancedSearch","isActiveFilter":True,"category":"News","typology":None},{"searchSection":"transcriptionSearch","type":"transcriptionAdvancedSearch","isActiveFilter":False,"transcription":""},{"isActiveFilter":False,"searchSection":"synopsisSearch","type":"synopsisAdvancedSearch","synopsis":""},{"searchSection":"placesSearch","type":"placesAdvancedSearch","isActiveFilter":False,"places":[]},{"searchSection":"peopleSearch","type":"peopleAdvancedSearch","isActiveFilter":False,"people":[]},{"searchSection":"topicsSearch","type":"topicsAdvancedSearch","isActiveFilter":True,"topics":[{"topicTitle":"Place Index","topicId":"51","placeAllId":""}]},{"searchSection":"dateSearch","type":"dateAdvancedSearch","isActiveFilter":False,"dateFilterType":"","dateYear":"","dateMonth":"","dateDay":"","dateBYear":"","dateBMonth":"","dateBDay":""},{"searchSection":"documentOwnerSearch","type":"documentOwnerAdvancedSearch","isActiveFilter":False,"editType":"owner","account":""},{"searchSection":"languagesSearch","type":"languagesAdvancedSearch","isActiveFilter":False,"languages":[]}]
headers = {'Content-type': 'application/json', 'Accept': '*/*'}
r = requests.post(url, data=json.dumps(payload), headers=headers, auth=('LOGIN','PASSWORD'))

Не забудьте заменить LOGIN и PASSWORD на собственные учётные данные.

Записать ответ в файл

with open('response.json', 'wb') as fd:
 for chunk in r.iter_content(chunk_size=128):
 fd.write(chunk)

Открыть JSON

f = open('response.json', encoding="utf8")

Вернуть объект JSON в виде словаря

json_complete = json.load(f)

Выбрать данные из JSON и вывести их в формате CSV

with open('results.csv', 'w', newline='') as csvfile:
 fieldnames = ['documentId', 'placeCited', 'documentDate']
 writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
 writer.writeheader()
 for i in json_complete['data']:
 if i['topics'] != None:
 for x in i['topics']:
 documentId=x['documentId']
 placeCited=x['topicPlaceName']
 year=i['date']['docYear']
 month=i['date']['docMonth']
 day=i['date']['docDay']
 documentDate=str(year)+ "-" + str(month)+"-" + str(day)
 writer.writerow({'documentId': documentId, 'placeCited': placeCited, 'documentDate': documentDate})

Скачав файл results.csv, можно переходить к чистке данных, как описано выше.

Визуализация рукописей 2 (обновление)

Sat, 20 Nov 2021 16:00:00 +0000

Как и обещал, новая версия интерактивной древовидной карты из — на сей раз с двумя режимами просмотра.

Примечание

Для лучшего просмотра переключите страницу в светлый режим (щёлкните по значку луны в правом верхнем углу).

Group folios by category

Визуальный обозреватель архива

Sun, 20 Jun 2021 16:00:00 +0000

Проблема

Цифровые издания страдают парадоксом: открывая труднодоступные документы широкой публике, они вместе с тем лишают читателя чувственного восприятия, и эта дематериализация нередко дезориентирует его и даже отбивает охоту вникать в содержание. Навигация по огромным хранилищам документов становится громоздкой и пугающей. Это верно не только для тех, кто неопытен в архивной работе, но и для читателей с когнитивными нарушениями.

Решение

Здесь нам могут помочь архивные метаданные. Ведь такие данные позволяют создавать интерактивные визуальные абстракции, которые дают читателю альтернативный чувственный вход, повышая тем самым и удобство, и доступность. Чтобы по архиву можно было перемещаться глазами, сгодится древовидная карта (treemap) или любая другая диаграмма, толково раскладывающая иерархические данные.

Эксперимент

В первом опыте я приспособил для D3.js, добавив в него гиперссылки. Карта изображает рукопись BnF Ms Fr 640, её листы и статьи внутри каждого листа. Цвета обозначают преобладающую категорию. При наведении курсора на статью открываются дополнительные данные, включая гиперссылку на рукопись.
Так древовидная карта превращается в интерактивный визуальный указатель, который очень быстро и отзывчиво показывает читателю не только содержание рукописи, но и размеры каждого листа и каждой статьи.
В ближайшие месяцы я продолжу экспериментировать с этой идеей, пробуя другие диаграммы и другие иерархии… Следите за новостями! Новая версия древовидной карты — .

Примечание

Для лучшего просмотра переключите страницу в светлый режим (щёлкните по значку луны в правом верхнем углу).

Click any cell to zoom in, or the top to zoom out.

Архив как на ладони

Mon, 24 May 2021 16:00:00 +0000

Проблема

Исторические архивы бывают устрашающе беспорядочны. Фонд Mediceo del Principato в — наглядный тому пример. Инвентаризована лишь малая его часть, а многие документы без всякой видимой причины рассеяны по более чем 6 500 томам. Мало того, архив разрешает заказывать лишь ограниченное число томов (или filze — связок, как их здесь называют). В обычное время предел — четыре filze в день. В пандемию же он упал до четырёх за две недели. За неимением подробных описей огромные размеры архива вынуждают исследователей изобретать стратегии, чтобы быстро находить нужные документы.

Решение

Кто-то полагается на случай, кто-то пытается строить обоснованные догадки — по хронологии, адресатам, авторам, происхождению архивного фонда, языку и т. д. Но если посмотреть на все эти переменные разом, могут проступить неожиданные закономерности в устройстве архива, а догадки станут точнее. Мой опыт показывает: метаданные, которые исследователи обычно копят в электронной таблице, будучи представлены графически, заметно помогают ориентироваться в архиве.

Эксперимент

Моё нынешнее исследование посвящено переписке шпиона XVI века. Его письма разбросаны по сотням filze. Они написаны под разными именами, разным и порой неожиданным адресатам, из разных мест и т. д. Чтобы находить filze, в которых нужные письма вероятнее всего, я собрал дашборд — интерактивное веб-приложение для визуализации данных ( ), которое связывает самые разные сведения, в том числе географические и хронологические, с иерархической диаграммой ( ) архивного фонда. Дашборд с одного взгляда показывает мне, что уже найдено, сколько это составляет, и в общих чертах подсказывает, где ещё можно искать новые письма. А стоит щёлкнуть по той или иной переменной, как все диаграммы перестраиваются, показывая конкретные корреляции.

Что дальше

Пожалуй, важнее другое: этот дашборд можно превратить в визуальный указатель. Когда критическое издание писем выйдет в сети, дашборд станет альтернативным входом, откуда читатели смогут просматривать данные. Из соображений конфиденциальности сейчас я могу показать лишь снимок экрана с затёртыми деталями, но полную версию дашборда выпущу в следующем году. А пока скоро появится прототип. Следите за новостями!

Визуализация семантической разметки BnF Ms. Fr. 640

Sun, 20 Dec 2020 18:15:00 +0000

Обзор

Насыщенные данными научные издания содержат ценные редакторские аннотации, которые можно извлекать, анализировать и визуализировать для самых разных научных целей. Таково , вышедшее в 2020 году: файл с его метаданными можно скачать из репозитория проекта на GitHub. В этой заметке я показываю, как собрать все эти переменные в корреляционную матрицу и визуализировать её разными способами.

Данные

Making and Knowing Project формирует таблицу с актуальными сведениями о содержании рукописи: entry_metadata.csv. Файл можно взять из . Можно и сгенерировать собственные .csv-файлы с дополнительной разметкой благодаря превосходному Мэттью Кумара — Python-версии BnF Ms. Fr. 640.

Настройка Python

Для обработки данных возьмём Pandas, для тепловых карт — Matplotlib и seaborn, а для построения сетей на основе корреляций — NetworkX.
Для переменных такого типа мы откажемся от метода Пирсона и воспользуемся методом 𝜙𝐾. Обязательно об этом методе корреляции и о соответствующей библиотеке PhiK.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

Подготовка данных

Сначала скачаем свежий файл метаданных издания из папки metadata в его . Выберем только нужные столбцы. Для этой демонстрации я беру все семантические теги из английского перевода tl, но можно взять теги из французской транскрипции tc или нормализованной версии tcn. Данные приходят в виде значений, разделённых точкой с запятой, и Python должен их для нас подсчитать. Для этого воспользуемся методом stack-unstack с регулярным выражением [^;\s][^\;]*[^;\s]*. Чтобы матрица была понятнее, переименуем столбцы. Если вы спешите, этот шаг можно пропустить — только помните, что наш датафрейм на этом этапе называется tagsrn.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

Корреляция

Когда датафрейм очищен, можно переходить к расчёту коэффициентов корреляции между переменными. На этом этапе важно понимать свои данные и убедиться, что выбран самый подходящий метод корреляции. Здесь особенно полезен пакет pandas-profiling.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag — наша корреляционная матрица. Теперь можно пробовать разные виды визуализации.

Визуализация

Первое, что можно попробовать, — представить её как матрицу с цветовой кодировкой при помощи из seaborn.

Тепловая карта корреляций

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

Если вы хорошо знаете текст, то сразу увидите, что тепловая карта во многом осмысленна. Например, имена сильно коррелируют с латынью: их было принято латинизировать, особенно среди гуманистов XVI века.

Кто-то, возможно, возразит, что тепловая карта лишь ломится в открытую дверь. И будет не совсем неправ: на первый взгляд медицинские теги — наглядный тому пример, ведь они предсказуемо коррелируют с частями тела, мерами и растениями.

Но если читать тепловую карту внимательнее, строка за строкой, можно найти любопытные и неожиданные корреляции. То, что медицинские теги, например, коррелируют с итальянскими и латинскими словами, кое-что подсказывает о происхождении медицинских рецептов в Ms. Fr. 640. Точно так же корреляция между профессиями, определениями и мерами показывает, насколько профессиональная идентичность структурирует технический дискурс XVI века.

Кластерная карта корреляций

Тепловые карты хороши в «разведочном» режиме, но публике они могут показаться неряшливыми, особенно если вы обсуждаете — или всё ещё ищете — конкретные семантические кластеры в рукописи. Любопытные результаты может дать модуль clustermap из seaborn.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

Помимо того, что кластерная карта похожа на пикселизированное (да, это слово есть в Оксфордском словаре) насекомое, она чётко отделяет изолированные теги (сверху и слева) от более связанных между собой. Различимы и обособленные кластеры — например, музыка и пуатевинский диалект (кто бы мог подумать!) — и более центральные: меры, материалы, определения и оружие. Профессии связаны со многими, но, по крайней мере в этой конкретной корреляционной матрице, не входят ни в какой определённый кластер.

Корреляционная сеть

Если хочется ещё сильнее сжать корреляции, содержащиеся в матрице, изящное решение дают сетевые графы. Это особенно верно, когда нужно рассказать о содержании рукописи.
Для этого нужно превратить матрицу в список рёбер и узлов и задать порог, чтобы убрать из графа слабые корреляции.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

Если рёбер и узлов слишком много, порог всегда можно изменить и получить более чистый результат. Или же экспортировать граф функцией .write_gexf() и поиграть с ним в Gephi.

nx.write_gexf(G, 'graph.gexf')

Результат можно увидеть в начале этой заметки.

Обновление: круговая взвешенная сеть

Я искал способы показать корреляционные матрицы в виде взвешенных сетей и нашёл интересный подход, ; здесь я приспосабливаю его к нашему набору данных.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

Убрав часть рёбер, можно задать их цвет и толщину.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

Узлам мы также придаём размер, пропорциональный числу их связей.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

В результате получаем взвешенный граф, который вмещает больше узлов и значительно больше рёбер, оставаясь при этом читаемым и информативным.