Clement |

persNamer 1.2: jeden numer VIAF, dziewięć kartotek haseł wzorcowych

Mon, 07 Sep 2026 00:00:00 +0000

był na początku zwykłym udogodnieniem: numer VIAF na wejściu, wpis TEI <person> na wyjściu, do tego znacznik <persName>, którym adnotuje się tekst. Nic ponadto – a i sam wpis był chudy: nazwa, dwie daty, jeden identyfikator. Wydana dziś wersja 1.2 wciąż robi tylko tę jedną rzecz, ale wpis, który zwraca, jest nareszcie wart zachowania.

Co dziś zawiera wpis osobowy

Zacznijmy od nazwy. W klastrze VIAF każda uczestnicząca biblioteka wnosi własną formę nazwy, a stary persNamer brał po prostu pierwszą etykietę, jaka mu się nawinęła. Zapytany o Woltera odpowiadał „فولتير،” – po arabsku, z przecinkiem na końcu – i dorzucał do tego pusty xml:id. Teraz program zlicza formy w całym klastrze i zostawia tę, która wśród rekordów źródłowych powtarza się najczęściej; pozostałe idą za nią jako <persName type="variant">, od najczęstszej. Daty są normalizowane (1572-08-00 zamienia się w 1572-08) i zapisywane dwa razy: jako tekst i w atrybucie @when, bo to właśnie tam zajrzy każde przetwarzanie, które ma cokolwiek do czynienia z datami. Płeć i opisy dochodzą, o ile VIAF je udostępnia.

No i to, na czym zależało mi najbardziej: każdy identyfikator, który VIAF wiąże z daną osobą – przez schema:sameAs albo przez własne identyfikatory źródeł – trafia do osobnego <idno>: BnF, GND, Biblioteka Kongresu, SUDOC, Wikidata, ISNI, BNE, LIBRIS, NDL. Jeden numer wchodzi, dziewięć katalogów wychodzi. Dla personografii to cała różnica między listą nazwisk a węzłem w sieci danych wzorcowych.

<person xml:id="pers-teligny-c">
 <persName>Charles de Téligny</persName>
 <birth when="1535">1535</birth>
 <death when="1572-08-24">1572-08-24</death>
 <sex value="M">M</sex>
 <idno type="VIAF">314802260</idno>
 <idno type="BNF">16133360</idno>
 <idno type="Wikidata">Q1868249</idno>
 <idno type="ISNI">0000000071126808</idno>
</person>

Od luźnych fragmentów do personografii

Dla jednej osoby XML wypisany w terminalu w zupełności wystarczy. Edycja ma jednak osób setki. Dlatego persNamer przyjmuje teraz kilka numerów VIAF naraz, grzecznie daje VIAF-owi odetchnąć między jednym żądaniem a drugim, buforuje to, co już pobrał, a z opcją --merge wstawia nowe wpisy prosto do <listPerson> istniejącego pliku TEI. Kogo już tam zapisano, tego rozpoznaje po numerze VIAF i zostawia mu dotychczasowy xml:id; nowe identyfikatory sprawdza względem pliku i w razie kolizji dokleja im przyrostek (-2, -3); na koniec plik dostaje nowe wcięcia – ale dopiero wtedy, gdy kopia .bak leży już odłożona na bok.

persnamer --merge edition.xml 314802260 36925746

Jedna zmiana, o której trzeba wiedzieć: partykuła nazwiska domyślnie wypada już z identyfikatora, toteż Charles de Téligny to odtąd pers-teligny-c, nie pers-deteligny-c. Jeśli twój projekt zdążył się przyzwyczaić do dawnej formy, --keep-particle ją przywraca; jeśli zaś wolisz w ogóle nie polegać na nazwiskach, --id-format viaf da ci pers-viaf-314802260.

Porządki

Ze skryptu zrobił się porządny pakiet z poleceniem persnamer: jedna linijka wystarczy, by go zainstalować (uv tool install albo pipx) lub uruchomić jednorazowo przez uvx, niczego nie instalując. Dwadzieścia sześć testów sprawdza go na nagranych odpowiedziach VIAF – zestaw obywa się więc bez sieci. CI przepuszcza je na Pythonie od 3.9 do 3.13, a wynik jest walidowany względem TEI P5. Licencja: Apache 2.0, jak dotąd.

Czego nadal nie umie, to powiedzieć, gdzie ktoś się urodził ani z czego żył: klastrowy RDF VIAF-u nie zawiera ani miejsc, ani zawodów. Zawierają je za to powiązane rekordy BnF i GND – a ich numery masz już w ręku.

Kod i dokumentacja na .

Płot, nie stos

Sun, 06 Sep 2026 00:00:00 +0000

W magazynie w North Las Vegas Amazon uruchomił maszynę, która odcina grzbiety używanym książkom. Luźne kartki przechodzą przez skaner, a potem papier idzie na przemiał. Niszczenie książek, by karmić AI: historia miała wszystko, czego trzeba, by stać się skandalem kulturalnym. porównał ten proceder do współczesnego palenia książek, nie szczędząc przy tym frazesów: aluzje do Savonaroli, zdjęcia z banku obrazów przedstawiające rzekomo białe kruki i, rzecz jasna, berliński stos. Jak można się było spodziewać, poważniejsze gazety zachowały chłodniejszy ton, ale to samo porównanie zawisło w powietrzu. Przy całym swoim oburzeniu artykuły te puściły jednak branży AI płazem zadziwiająco wiele. Los papieru zajmuje środek sceny; kwestia własności powstających w ten sposób bibliotek cyfrowych ledwie się pojawia. Kto ma kontrolować skanowaną wiedzę? To pytanie musi poczekać, aż uprzątniemy bzdury o paleniu książek.

Skaner to nie stos

Analogia ze stosami Savonaroli czy nazistowskim paleniem książek jest niedorzeczna: zniszczyć egzemplarz to nie to samo, co stłumić tekst. Stosy były publicznymi aktami wyparcia się. Ten biedny mnich Savonarola, przywoływany przy każdej awanturze o palenie książek, wzywał ludzi, by w ramach publicznej pokuty poświęcili część swojego dobytku. Nazistowskie stosy inscenizowały inny rodzaj wyparcia: publiczne spalenie książek obwieszczało, że ich autorzy nie mają miejsca w niemieckim życiu kulturalnym. W obu przypadkach, jakkolwiek przykrych, niszczenie było performatywne. Skanowanie destrukcyjne, szeroko stosowana metoda digitalizacji, służy czemu innemu: egzemplarz idzie pod gilotynę, aby zachować jego treść. Książka zostaje zniszczona; tekst – zdematerializowany. Ci, którzy sięgają po Fahrenheit 451, mogliby sobie przypomnieć jego główną naukę: tekst to nie papier, na którym go wydrukowano.

Ostrzejszy od Daily Mail, ale nie mniej nieporadny, dolał oliwy do ognia, umieszczając w nagłówku „rzadkie książki”. Tymczasem księgarz cytowany w jego własnym śledztwie powiedział, że te hurtowe zamówienia , co wskazuje w przeważającej mierze na wydania opublikowane po wprowadzeniu ISBN około 1970 r. To towar z wyprzedaży garażowych i sklepów charytatywnych, często o jedne wiosenne porządki od śmietnika. Zanim ogłosi się katastrofę kulturalną, warto by zajrzeć do katalogu bibliotecznego. To dokładnie te publikacje, do których zachowania istnieją biblioteki z egzemplarzem obowiązkowym. Owszem, ISBN nie gwarantuje, że egzemplarz obowiązkowy przetrwał, ale i rzadkość na rynku antykwarycznym nie dowodzi, że tekst zniknął.

Książki mają oczywiście swoją historię materialną. Egzemplarze, którym adnotacje, dedykacje czy proweniencja nadają znaczenie historyczne, zasługują na to, by je zidentyfikować i zachować. Antykwariusze mają tu swoją rolę do odegrania: rozpoznanie takiego egzemplarza powinno być powodem, by nie trafił do partii przeznaczonej na przemiał. Możemy też nadal martwić się kurczącą się podażą fizycznych egzemplarzy tytułów wyczerpanych. W takim razie powinniśmy jednak zapytać także, dlaczego posiadacze praw ani ich nie wznawiają, ani nie zezwalają na dostęp do istniejących faksymiliów cyfrowych. Badacze znają tę frustrację: Google Books znajduje potrzebny fragment, po czym podsuwa urywek książki, której nie można ani kupić nowej, ani przeczytać online. Są więc tu straty warte dyskusji, ale nie zamieniają one skanera w nazistowski stos.

Tymczasem branża księgarska od dawna rutynowo oddaje na przemiał niesprzedane książki. W samej Francji w 2023 r. , czyli mniej więcej 60 procent tonażu zwróconego dystrybutorom jako niesprzedany. Nazywa się to zarządzaniem zapasami. Nadwyżki egzemplarzy i rzadkie tytuły antykwaryczne stawiają różne pytania o dostęp, ale niszczenie papieru samo w sobie nie jest ani cenzurą, ani tyranią.

Więcej książek, lepsza AI?

To, że firmy AI kupują i skanują książki, jest w gruncie rzeczy dobrą wiadomością. Technologia rutynowo krytykowana za płytkie rozumienie ludzkiej kultury przyswaja jej sobie więcej – można by się spodziewać, że badacze przyjmą ten wysiłek z zadowoleniem.

Sieć jest marnym substytutem nagromadzonego dorobku danego języka. Znaczna część zapisanego życia języka – od powieści i pamiętników po popularne piosenki i spisane rozmowy – nigdy nie przeszła z druku do sieci. Wiele z tych książek przeżyło swoich wydawców. Włączenie ich do danych treningowych ma największe znaczenie tam, gdzie niewiele innego jest dostępne. Kilka książek więcej po angielsku może przynieść jakąś marginalną poprawę. W języku słabo reprezentowanym te kilka książek może jednak zdecydować o tym, czy system będzie użyteczny, czy bezużyteczny. Czy narzędzia te mają miejsce w naszych usługach publicznych i codziennym życiu – to kwestia do debaty publicznej. Ale gdziekolwiek zdecydujemy się ich używać, powinniśmy móc to robić we własnym języku.

Zamówienia, o których donoszono z Hiszpanii i Holandii, konkretyzują stawkę językową. W maju opisało księgarza z Badalony, który otrzymywał powtarzające się zamówienia, głównie na katalońską literaturę faktu: książki historyczne, podręczniki techniczne i stare materiały konferencyjne. W sierpniu prasa holenderska opisała zapytanie skierowane do De Slegte o . Język książek zasługuje na co najmniej tyle samo uwagi, co los ich opraw. Może to zbyt wiele, by wymagać od Daily Mail. Ale i poważniejsze gazety miały niewiele do powiedzenia o językach, o które tu chodzi.

Umowy licencyjne z dużymi wydawcami również mogą dostarczyć cennego materiału, ale ich katalogi cyfrowe obejmują tylko ułamek tego, co ukazało się drukiem. Książki nigdy niezdigitalizowane albo takie, do których wydawca nie ma już praw, pozostają poza ofertą. Nawet hojna umowa licencyjna nie zastąpi historii wydawnictw, a tym bardziej historii kultury. Kupowanie używanych egzemplarzy to sposób na sięgnięcie poza te komercyjne granice.

„Kradzież” to nie argument

Nazywanie tego „kradzieżą” też nic nie daje. W czerwcu 2025 r. dwa amerykańskie sądy okręgowe orzekły, że w rozpatrywanych sprawach wykorzystanie książek do trenowania modeli językowych mieściło się w granicach dozwolonego użytku (fair use). W sprawie sąd podkreślił transformatywny charakter treningu: książki posłużyły do zbudowania systemu zdolnego tworzyć nową ekspresję. Modele potrafią zapamiętywać fragmenty, ale użycie książki do treningu nie sprawia, że cały tekst staje się dostępny na żądanie. Brak dosłownego odtworzenia nie rozstrzyga też wszystkich zastrzeżeń. W sprawie sędzia ostrzegł, że utwory generowane przez AI mogłyby zalać rynek i że dowód takiej szkody mógłby obalić obronę opartą na dozwolonym użytku. Ci powodowie nie przedstawili jednak istotnych dowodów takiej szkody dla własnych utworów. Żadne z tych orzeczeń nie daje firmom AI nieograniczonego przyzwolenia ani nie zamyka sporu etycznego. Wymagają one od nas rozróżnienia, jak książki są nabywane, jak przechowuje się kopie i co robi z nimi trening. Nazywanie tego wszystkiego „kradzieżą” pozostawia te pytania bez odpowiedzi.

Nawiasem mówiąc, orzeczenie w sprawie Anthropic dostarcza uzasadnienia dla gilotyny. Sąd podtrzymał legalność digitalizacji zakupionych egzemplarzy, a odrzucił gromadzenie pirackich książek w stałej bibliotece – za które firma później . Digitalizacja przeszła po części dlatego, że każdy egzemplarz drukowany niszczono w trakcie konwersji: kopia cyfrowa go zastępowała i nie była udostępniana poza firmą. Niszczenie, które tak niektórych bulwersuje, pomogło Anthropic wykazać, że jej program digitalizacji mieścił się w dozwolonym użytku. Kupić, zeskanować, wyrzucić – w tym przypadku była to droga zgodna z prawem. Gilotyna jest tu narzędziem zgodności z przepisami.

Są dobre powody, by chcieć, żeby AI czerpała z większej liczby języków, z większego dorobku naukowego i z większej części świata, który istniał przed internetem. Powody te nie znikają dlatego, że nielubiana przez nas firma dostrzegła w tym okazję komercyjną.

Pożyczone oburzenie

Wróćmy zatem do Daily Mail. Jego artykuł jest częścią , kampanii właścicieli gazet i wydawców zabiegających o dla AI. Robotę odwalają dwa wygodne podstawienia: Big Tech staje za AI, a posiadacze praw – za „brytyjską kreatywnością”. Czytelników zaprasza się do obrony kultury, podczas gdy wydawcy negocjują warunki jej sprzedaży. Badacze udostępniający tę historię mogliby zapytać, czyjej sprawie służy ich oburzenie.

Big Tech i kłócą się o czynsz, ale żadne z nich nie ma nic przeciwko płotowi. Opowieść o samotnym autorze okradzionym przez technologicznego giganta przesłania to, co kosztowne umowy licencyjne oferują obu korporacyjnym obozom: wydawcy dostają pieniądze, a Big Tech – rynek, na którym mniejszych rywali nie stać na konkurowanie. Peter Thiel ujął preferencję Doliny Krzemowej dosadniej: .

Licencjonowanie nie musi prowadzić do takiego rezultatu. Przystępny, niewyłączny dostęp mógłby pomóc mniejszym deweloperom. Ale system, który każe każdemu nowemu graczowi negocjować kosztowne umowy z głównymi posiadaczami praw, czyni z siły nabywczej warunek wejścia. Opłata przedstawiana jako ustępstwo wobec przemysłów kultury kończy jako zakup ochrony przed przyszłymi rywalami.

AI nie należy do Big Techu

Jest jeszcze głębszy problem. Zbyt wiele krytyki AI bierze jej największych komercyjnych dostawców za całą dziedzinę. Produkty dominują w nagłówkach; badania i rozwój poza tymi firmami znikają z pola widzenia. Big Tech nie mógłby sobie wymarzyć użyteczniejszego nieporozumienia. Jego ambicja zawładnięcia dziedziną staje się przesłanką krytyki wymierzonej przeciw niemu. Monopol nie jest jeszcze przesądzony. Traktowanie go jako faktu dokonanego to ogromna przysługa dla tych firm. Odwraca też uwagę od open source: od jego potrzeb, od jego szans na istnienie, od jego interesów, od jego prawomocności jako alternatywy.

AI open source pozwala ludziom budować i dostosowywać systemy odzwierciedlające większą różnorodność języków, kultur i form ekspresji. Dla krajów Europy, Afryki, Ameryki Łacińskiej i Azji to praktyczna podstawa suwerenności technologicznej i kulturowej: zdolność decydowania, jak systemy działają, jakim językom służą i gdzie są używane. To, czy używać AI i do jakich celów, powinno pozostać wyborem publicznym, a nie decyzją podyktowaną zależnością od zagranicznego oligopolu.

Ale wolność modyfikowania systemu niewiele znaczy bez środków, by to robić. Niezależna praca wymaga wiedzy eksperckiej, infrastruktury obliczeniowej i dostępu do materiału treningowego. I tu wracamy do książek. Jeśli każdy zespół badawczy czy instytucja publiczna będzie musiała negocjować własne umowy wydawnicze albo montować własną prywatną bibliotekę, niezależność stanie się nieosiągalna finansowo nawet dla niektórych zamożnych krajów.

Książki już tu są

Biblioteki i archiwa od pokoleń gromadzą materiał, którego te systemy potrzebują. Ich zbiory istnieją dlatego, że dostęp do wiedzy powinien przetrwać komercyjny interes w jej sprzedawaniu. Wiele już zeskanowano: przechowuje około dziewiętnastu milionów zdigitalizowanych woluminów z bibliotek naukowych, w tym wiele wciąż objętych prawem autorskim. Biblioteka skanuje książkę i ją zachowuje. Nikt tam nie potrzebuje gilotyny. HathiTrust , ale ogłosił też , projekt mający zapewnić dostęp do korpusu na potrzeby niekomercyjnych badań i rozwoju AI. Dostęp na takich warunkach nadal zostawiłby niektórych niezależnych deweloperów za drzwiami.

Posiadanie książek nie daje jednak bibliotece prawa do rozpowszechniania ich chronionej treści jako korpusu treningowego. pozwala instytucjom badawczym i bibliotekom eksplorować legalnie dostępne utwory na potrzeby badań naukowych i dopuszcza szerszą eksplorację tam, gdzie posiadacze praw nie zastrzegli swoich praw. : jej wyjątek eksploracyjny obejmuje badania niekomercyjne i ogranicza przekazywanie kopii. Żadne z tych ram nie daje bibliotekom ogólnego prawa do udostępniania chronionych zbiorów, by inni mogli na nich budować.

Możemy też przemyśleć, jak długo posiadacze praw powinni kontrolować obliczeniowe użycie książek. Patenty farmaceutyczne ucieleśniają pewien układ: tymczasowa wyłączność nagradza innowację, a potem wynalazek staje się dostępny dla innych. Ich zwykły dwudziestoletni okres jest znacznie krótszy niż ochrona prawnoautorska na czas życia autora i siedemdziesiąt lat po jego śmierci. Czemu nie zastosować podobnej zasady do obliczeniowych zastosowań książek? Po, powiedzmy, dwudziestu latach od pierwszego wydania książka mogłaby stać się dostępna do eksploracji tekstów i danych bez opłat licencyjnych, podczas gdy prawa do wznowień i sprzedaży pozostawałyby chronione. Autorzy mogliby nadal zarabiać na swoich książkach, a kolejne pokolenia badaczy nie musiałyby negocjować zgody na ich analizowanie.

Dwa lata temu dowodziłem w , że dane dziedzictwa kulturowego należy traktować jako dobro publiczne. Rządy powinny finansować bibliotekom i archiwom digitalizację, transkrypcję i dokumentowanie zbiorów oraz dać im prawne upoważnienie do udostępniania powstałych korpusów, by inni mogli na nich budować. Big Tech mógłby dołożyć się do rachunku poprzez specjalną daninę.

Finansowanie publiczne powinno iść w parze z jawną polityką gromadzenia zbiorów i zasadami dostępu, obejmującymi pracę akademicką i komercyjną, bez umów na wyłączność i uprzywilejowanego dostępu dla darczyńców. Dostęp do celów treningowych nie musi oznaczać nieograniczonej redystrybucji chronionych książek. Autorzy powinni współtworzyć ten publiczny system, w tym sposób, w jaki podchodzi on do zgody, wynagrodzenia i konkurencji z ich twórczością. Darmowy dostęp dla użytkowników nie musi wykluczać finansowanego ze środków publicznych wynagrodzenia dla autorów. – brytyjski system, który wypłaca autorom wynagrodzenie z funduszy publicznych za wypożyczenia ich książek – stanowi jeden z precedensów. Stos nigdy nie był tematem. Tematem jest płot.

Drodzy redaktorzy: jeśli chcecie mojego głosu, oddajcie mi mój język

Thu, 27 Aug 2026 00:00:00 +0000

Nie ma dnia, żeby jakieś czasopismo nie obwieściło z fanfarami swojej polityki wobec AI. Tym razem padło na Progress in Human Geography, którego redaktorzy opublikowali ostrzegające, że posługiwanie się AI zamiast własnej lektury, własnego myślenia i własnego pisania jest „naruszeniem etyki akademickiej pokrewnym plagiatowi”. Artykuły, którym dowiedzie się takiego naruszenia, „mogą zostać wycofane”; w najlepszym razie zostaną poprawione, a czasopismo wydrukuje stosowną notę. Autorzy, dodają redaktorzy, powinni „starannie rozważyć, czy chcą, by ich nazwiska kojarzono z wycofaniami i notami korygującymi”.

Zatrzymajmy się na chwilę przy tym zdaniu. Wycofanie artykułu to najwyższy stopień w hierarchii sankcji wydawnictw naukowych – kara zarezerwowana normalnie dla fabrykowania danych i oszustwa. Tu przypisano ją wykroczeniu, którego ten sam artykuł redakcyjny nie potrafi zdefiniować. Istnieją, przyznają redaktorzy, „prawdziwe szare strefy” i „nie ma wyraźnych linii wyznaczających strefę «nieodpowiedzialności»”. Egzekwowanie oprze się na „ocenach uznaniowych, które mogą zirytować niektórych autorów, twierdzących, że nie nadużyli AI” – innymi słowy, własne oświadczenie autora może zostać unieważnione. Rada, jaka po tym następuje, brzmi: pozostać „bezpiecznie w strefie «odpowiedzialności»”; a bezpieczeństwo zaleca się tylko tam, gdzie grozi niebezpieczeństwo. Karanie ludzi za przekroczenie linii, której – jak się samemu przyznaje – nie umie się wytyczyć, ma sens tylko wtedy, gdy celem jest rządzenie strachem. Zachowajmy tę myśl na później.

Pretekst głosu

Jak wygląda odpowiedzialne użycie? Autorom mówi się: „należy dołożyć wielkiej staranności… by zachować własny głos”. Nadużyciem jest sięganie po AI, „by pisać w języku, którym autorzy sami normalnie nigdy by się nie posłużyli”. Dla rodzimego użytkownika języka to ma sens: nie udawaj kogoś, kim nie jesteś. Ale dla cudzoziemców, którzy muszą pisać w nie swoim języku, ten nakaz sam sobie przeczy. Głos, który polityka ta chroni, jest właśnie tym, czego własne reguły czasopisma nam odmawiają.

Weźmy mnie jako przypadek testowy. Angielski to mój czwarty język – dokładnie taki, którym „normalnie” nigdy bym się nie posłużył. Anglojęzyczne uniwersytety wyćwiczyły mnie w pisaniu po angielsku krótko, z drogowskazami, niemal mechanicznie: zdanie tematyczne na początku, asekuracyjne zastrzeżenia w przepisowych miejscach, spójniki z zatwierdzonej listy. Trening zadziałał: w mojej angielszczyźnie nigdy nie było żadnego głosu do ochrony; głos był pierwszą rzeczą, którą trzeba było wyrugować. Wedle definicji samych redaktorów wszystko, co kiedykolwiek napisałem po angielsku, byłoby użyciem niewłaściwym – z maszyną czy bez.

Między młotem a kowadłem

Redaktorzy zapewniają, że o nas pomyśleli: polityka uznaje, że osoby, dla których angielski nie jest językiem ojczystym, korzystają na tym, że AI sprawdza ich angielski, a nawet na jej „usługach translatorskich, pisarskich i redakcyjnych”. A jednak udział AI w pisaniu „powinien się sprowadzać co najwyżej do pomocy w redakcji i korekcie” i nie może sięgać „dużych fragmentów tekstu napisanego przez AI”. Artykuł przetłumaczony maszynowo jest napisany przez AI od pierwszego do ostatniego słowa; to nic innego jak takie fragmenty. Ustępstwo ostaje się więc tylko pod warunkiem, że tłumaczenie nie jest pisaniem. Gdzie przebiega ta granica? Już nam powiedzieli: „nie ma wyraźnych linii”.

Gorzej: to podejrzenie jest nie tylko nie do obalenia. Ono gra znaczonymi kartami. W 2023 r. zespół ze Stanfordu przetestował siedem powszechnie używanych detektorów AI na esejach napisanych przez ludzi: detektory oznaczyły średnio 61% esejów TOEFL autorstwa osób nierodzimych jako wygenerowane maszynowo, niemal bezbłędnie klasyfikując zarazem eseje rodzimych użytkowników; jeden z detektorów oznaczył 97,8% zestawu TOEFL ( ). Powód jest pouczający. Detektory mierzą przewidywalność, a angielszczyzna drugiego języka, trenowana ku średniej, jest przewidywalna z założenia: najbardziej prawdopodobne słowo w najbardziej prawdopodobnym porządku. To samo badanie wykryło ów sygnał w prawdziwej nauce – mniejszą zmienność językową w referatach konferencyjnych, których pierwsi autorzy nie są rodzimymi użytkownikami angielskiego. Cechy stylistyczne, które czyta się jako „AI”, to cechy kompetentnej angielszczyzny drugiego języka, a ludzka ocena uznaniowa odczytuje te same sygnały co maszyna. Młot i kowadło są na miejscu: piszę własną angielszczyzną i wyglądam na maszynę; sięgam po maszynę i łamię ich regułę.

Podatek językowy

Paradoks byłby niegroźny, gdyby nie towarzyszyły mu groźby. Groźby te odsłaniają jednak głębszy, starszy problem, którego polityka nigdy nie nazywa po imieniu: jednojęzyczność. proszą o „możliwie najszerszy zasięg międzynarodowy”, podczas gdy na tej samej stronie czytamy, że „językiem czasopisma jest angielski”.

Koszt tego układu nie jest hipotetyczny. Ankietując 908 badaczy środowiska, Amano i współpracownicy ustalili, że osoby, dla których angielski nie jest językiem ojczystym, poświęcają na napisanie artykułu do 51% więcej czasu, 2,5 razy częściej doświadczają jego odrzucenia i 12,5 razy częściej są proszone o poprawki – wyłącznie z powodów językowych ( ). Ten podatek pobiera się, zanim jakakolwiek polityka AI wejdzie w życie; formularz oświadczenia i towarzyszące mu groźby to audyt dołożony na wierzch.

Fin d’empire

Jednojęzyczność to aksjomat, o którym nikt nie dyskutuje. To spadek po imperium, który z czasem zyskał praktyczne uzasadnienie: tłumaczenie było powolne i kosztowne, a żadna redakcja nie mogła ocenić tego, czego nie umiała przeczytać. Nic z tego nie przetrwa jednak postępów tłumaczenia maszynowego. Najnowsze systemy tłumaczenia maszynowego mogą posłużyć za niezawodną warstwę pośredniczącą między autorami a redaktorami.

Idealne wyjście jest ludzkie: badacze powinni czytać w więcej niż jednym języku. Tymczasem anglojęzyczne uniwersytety wolą zamykać instytuty języków nowożytnych. Zauważmy, że te zamknięcia to zjawisko angloamerykańskie: badacze gdzie indziej nigdy nie mogli sobie pozwolić na luksus jednojęzyczności. I zauważmy moment. Zamknąć instytut języków to postawić zakład: że angielski wygrał na dobre i że nic wartego lektury nie zostanie już nigdy napisane w żadnym innym języku. Zakład ten stawia się w najgorszym możliwym momencie – i to z dwóch powodów. Po pierwsze dlatego, że tłumaczenie maszynowe po raz pierwszy pozwala obejść się bez lingua franca w ogóle; po drugie dlatego, że porządek, który uczynił angielski domyślnym, cofa się: anglosfera zwraca się do wewnątrz, globalizacja odpływa, wolny handel jest kwestionowany w samych swoich ojczyznach, a kształtuje się świat wielobiegunowy, w którym języków wartych czytania będzie przybywać. Uniwersytety produkują badaczy czytających wyłącznie po angielsku – na potrzeby świata, w którym angielski nie wystarczy. Redakcje czasopism odziedziczą tę stratę jako pierwsze.

Test dla redaktorów

Kiedy redakcja ubolewa, że nie słyszy własnego głosu swoich autorów, być może część problemu leży po stronie samej redakcji.

To poważny zarzut i idzie z nim w parze poważny test. Czy Progress in Human Geography skierowałoby do recenzji tekst napisany po francusku, włosku lub japońsku, z dołączoną maszynowo przetłumaczoną wersją angielską? Własne wytyczne czasopisma uznają „usługi translatorskie”, które to umożliwiają. „Tak” kończy problem. „Nie” powiedziałoby nam, co ta polityka naprawdę chroni.

Tak czy inaczej, wybór należy do redaktorów. Jeśli głos się liczy, jak twierdzą, czasopismo powinno przyjmować artykuły w językach, w których autorzy myślą. Jeśli nie, formularz oświadczenia powinien zniknąć – a wraz z nim groźby.

tei-mcp v0.3: kodowanie TEI bez przepisywania źródła

Tue, 05 May 2026 00:00:00 +0000

Kiedy , celem było powstrzymanie asystentów AI przed halucynowaniem znakowania TEI. Osadzenie w schemacie rozwiązało część problemu: mając bezpośredni, oparty na narzędziach dostęp do specyfikacji P5, model nie musi już zgadywać, co znaczy dany element ani jakie atrybuty przyjmuje. Wynik przechodzi walidację.

Ale halucynacja w kodowaniu TEI ma dwa oblicza, a schemat wyłapuje tylko jedno z nich. Walidacja względem specyfikacji mówi, że znakowanie jest poprawne. Nie mówi nic o tekście, który to znakowanie obejmuje. A właśnie tam – w samym tekście – gnieżdżą się groźniejsze halucynacje. Kompozycja z blokadą zakresów (span-locked composition), główna nowość w v0.3, została zaprojektowana właśnie po to, by im zapobiegać.

Spis treści

Halucynacja, której schemat nie wyłapie

Poproś model o zakodowanie szesnastowiecznego francuskiego listu, a często dostaniesz z powrotem dokument TEI, który wygląda nienagannie. Nagłówek wypełniony, znaczniki <persName> na swoich miejscach, <dateline> poprawnie zbudowany. Przepuść go przez validate_document – przejdzie.

Potem porównaj tekst główny ze źródłem.

mesme stało się même. Przecinek się przesunął. luy po cichu zmodernizowano na lui. Zdanie trudne do odczytania w rękopisie zostało „poprawione” na coś gładszego. Żadnej z tych zmian nikt nie zlecił. Żadna nie została oznaczona. Dokument jest zgodny ze schematem i po cichu błędny.

W pracy archiwalnej – gdzie zakodowany tekst staje się trwałym zapisem, na którym polegają czytelnicy, indeksy wyszukiwania i cytowania – to właśnie ten rodzaj awarii liczy się najbardziej. Zniekształcony znacznik irytuje. Zmodernizowana pisownia, której nikt nie zauważy przez pięć lat, to skażenie tekstu.

Kompozycja z blokadą zakresów

Nowe wydanie (v0.3) zawiera mechanizm zapobiegania halucynacjom wycelowany dokładnie w ten rodzaj awarii. Cel projektowy: sprawić, by halucynacje w tekście głównym były niemożliwe z samej konstrukcji, a nie tylko mało prawdopodobne.

Pomysł jest prosty: model nigdy nie wpisuje tekstu głównego.

Zamiast tego przebieg pracy wygląda tak:

Model wywołuje get_source("letter_001") i otrzymuje źródłowy czysty tekst jako niezmienny ciąg znaków.
Dla każdego znacznika, który chce zastosować, wywołuje tag_span("letter_001", start, end, element_path, attrs) – rejestrując element TEI na zakresie znaków w źródle.
Gdy skończy, wywołuje compose("letter_001"). Serwer przeplata zarejestrowane znaczniki z pierwotnym czystym tekstem, renderuje końcowy dokument TEI, a następnie sprawdza bajt po bajcie, czy płaska zawartość tekstowa wyrenderowanego dokumentu jest równa źródłu.

Jeśli bajty się zgadzają, dokument wraca. Jeśli nie – jeśli znaczniki modelu w jakiś sposób implikują tekst główny różniący się od źródła choćby jednym znakiem – compose() zgłasza wyjątek, zamiast zwracać skażony dokument.

W tym przebiegu nie ma ścieżki, na której model wyprodukowałby dokument TEI z tekstem głównym różnym od źródła. Ten niezmiennik jest mechaniczny, nie behawioralny. Nie musisz ufać, że model nie halucynuje; musisz ufać porównaniu == dwóch ciągów bajtów.

Czym to jest, a czym nie jest

Kompozycja z blokadą zakresów jest uzupełnieniem osadzenia w schemacie, nie jego zamiennikiem. Narzędzia osadzające w schemacie (validate_document, lookup_element, valid_children i reszta pierwotnej szesnastki) pomagają modelowi wytwarzać poprawne TEI. Kompozycja z blokadą zakresów gwarantuje, że tekst główny wewnątrz tego TEI jest wierny źródłu. Przebieg kodowania nadający się do wdrożenia musi spełniać oba warunki – i teraz oba pokrywa jeden serwer.

Nie jest to też magiczne lekarstwo na wszystko. compose() nie sprawdza jeszcze, czy zarejestrowane znaczniki są dopuszczalne wedle wczytanego dostosowania ODD – to zadanie na później. Zarejestrowane znaczniki żyją w pamięci procesu i nie przetrwają restartu. A pliki źródłowe muszą być czytelne z miejsca, w którym działa serwer. Wszystko to da się rozwiązać; nic z tego nie podważa głównego niezmiennika.

Dlaczego to ważne poza TEI

Ten wzorzec się uogólnia. Zawsze, gdy model ma adnotować, przekształcać lub obudowywać fragment tekstu – i zawsze, gdy integralność tekstu bazowego liczy się bardziej niż zdolność modelu do jego „ulepszania” – stosuje się ten sam kształt rozwiązania. Nie każ modelowi przepisywać tekstu. Każ mu wytwarzać instrukcje nad tekstem, a deterministycznemu kompozytorowi pozwól je zastosować pod niezmiennikiem równości.

Dla edycji cyfrowych w szczególności zmienia to zakres tego, co można odpowiedzialnie zlecić modelowi. Kodowanie staje się nagle zadaniem, które można delegować bez ręcznego porównywania każdego wyniku ze źródłem. Maszyna idzie nudną ścieżką; edytor sprawdza znakowanie, nie pisownię.

Jak pobrać aktualizację

Jeśli masz już zainstalowany tei-mcp:

uvx tei-mcp@latest

Albo od zera:

pip install tei-mcp

Aby korzystać z kompozycji z blokadą zakresów, wskaż serwerowi katalog z plikami źródłowymi w postaci czystego tekstu:

export TEI_MCP_SPAN_SOURCE_ROOT=/path/to/sources
uvx tei-mcp

Rdzeń nazwy każdego pliku staje się identyfikatorem dokumentu (letter_001.txt → letter_001).

Kod źródłowy, pełna dokumentacja i notatki projektowe dotyczące niezmiennika:

Edycja cyfrowa inna niż wszystkie

Tue, 24 Mar 2026 00:00:00 +0000

Większość źródeł pierwotnych nigdy nie doczeka się publikacji. Model, na którym polegamy, by temu zaradzić – edycje cyfrowe finansowane z grantów – jest zbyt drogi, zbyt scentralizowany i zbyt kruchy, by działać na dużą skalę. Właśnie opublikowałem , w którym tłumaczę, dlaczego edycję krytyczną listów Cavriany buduję inaczej: jako zdigitalizowane źródła pierwotne, które rosną organicznie, przy minimalnej infrastrukturze, z automatyczną konserwacją, otwarte na współpracę i tak tanie, że nie potrzebują żadnych grantów. To argument na rzecz takiej humanistyki cyfrowej, która działa niezależnie od wsparcia instytucji.

tei-mcp: TEI P5 dla agentów AI

Sun, 15 Mar 2026 00:00:00 +0000

Kto choć raz prosił asystenta AI o napisanie TEI XML, ten zapewne zauważył, że coś mu nie wychodzi. Elementy pojawiają się tam, gdzie nie powinny. Atrybuty są zmyślone. Reguły zagnieżdżania – ignorowane. Model ma z grubsza pojęcie, jak wygląda TEI, ale żadnej pewnej wiedzy o specyfikacji.

tei-mcp rozwiązuje ten problem, dając agentom AI bezpośredni, oparty na narzędziach dostęp do wytycznych TEI P5.

Spis treści

Czym jest MCP?

(MCP) to otwarty standard, który pozwala aplikacjom AI łączyć się z zewnętrznymi źródłami danych i narzędziami. Można o nim myśleć jak o porcie USB dla AI: jeden protokół, dzięki któremu każdy zgodny klient – Claude, Cursor, Windsurf i inne – może się podłączyć do wyspecjalizowanych usług.

Serwer MCP udostępnia narzędzia, które AI może wywoływać w trakcie rozmowy. Zamiast polegać na zapamiętanych danych treningowych, model może odpytać żywe, miarodajne źródło.

Co robi tei-mcp

tei-mcp parsuje specyfikację ODD TEI P5 i udostępnia 16 narzędzi, które odpowiadają na najczęstsze pytania edytora czy kodera:

Co to za element? Wyszukaj dowolny element, klasę, makro lub moduł po nazwie, bez rozróżniania wielkości liter i z podpowiedziami przy literówkach.
Jakie przyjmuje atrybuty? Rozwiąż atrybuty w całej hierarchii klas – najpierw lokalne, potem po kolei dziedziczone.
Co może się w nim znaleźć? Rozwiń modele zawartości w ustrukturyzowane drzewa albo pobierz płaską listę dopuszczalnych dzieci.
Czy ten element może tu stać? Sprawdź zagnieżdżenie rodzic–dziecko albo prześledź osiągalność w całej hierarchii elementów.
Czy mój dokument jest poprawny? Zwaliduj plik TEI XML względem specyfikacji: modele zawartości, wartości atrybutów, zamknięte listy wartości, spójność odwołań i ostrzeżenia o elementach przestarzałych.
A co z moim schematem projektowym? Wczytaj plik dostosowania ODD, by zawęzić wszystko powyższe do podzbioru TEI właściwego dla twojego projektu.

Dlaczego to ważne

Kodowanie w TEI wymaga ciągłego zaglądania do wytycznych. Doświadczeni koderzy mają najczęstsze wzorce w małym palcu, ale nawet oni muszą sprawdzać w specyfikacji mniej znane elementy czy złożone modele zawartości. Dla asystentów AI, które takiej przyswojonej wiedzy nie mają, problem jest poważniejszy: halucynują znakowanie, które wygląda wiarygodnie, ale jest błędne.

Z tei-mcp AI nie musi zgadywać. Może sprawdzić odpowiedź w specyfikacji, zanim napisze choćby jeden nawias ostry. W rezultacie powstaje znakowanie zgodne z TEI P5 – albo z dostosowaniem ODD twojego projektu.

Pierwsze kroki

Zainstaluj z PyPI:

pip install tei-mcp

Następnie dodaj go do konfiguracji swojego klienta MCP:

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

Serwer pobiera specyfikację TEI przy pierwszym uruchomieniu i współpracuje z każdym klientem zgodnym z MCP.

Kod źródłowy i pełna dokumentacja:

Nauka kodu dwójkowego z emulatorem telegrafu ITA2

Thu, 13 Feb 2025 00:00:00 +0000

Abstrakcja, którą można wziąć do ręki

Ten emulator ITA2 to praktyczna pomoc dydaktyczna. Unaoczniając abstrakcyjne pojęcia z zakresu kodowania i pozwalając się nimi bawić, wprowadza studentów w jedno z kluczowych zagadnień informatyki i telekomunikacji – reprezentację binarną, czyli to, jak tekst zamienia się w ciągi jedynek i zer. Często uczymy tego na sucho; tymczasem widok dziurek pojawiających się na taśmie pomaga studentom pojąć, w jaki sposób fizyczne układy mogą przechowywać informację cyfrową.

ITA2 (Baudot-Murray) Telegraph Type Emulator

Type a word in the input below to see its representation on the ITA2 tape.

Type word:

Kontekst historyczny: od telegrafu do komputera

Kod ITA2 (Międzynarodowy Alfabet Telegraficzny nr 2), znany też jako kod Baudota-Murraya, opracowano w latach dwudziestych XX wieku jako udoskonalenie pierwotnego kodu telegraficznego Émile’a Baudota z lat siedemdziesiątych XIX wieku. Te wczesne systemy telekomunikacyjne wywarły bezpośredni wpływ na późniejszy rozwój informatyki:

pięciobitowy schemat kodowania był jednym z pierwszych przykładów kodowania znaków;
ograniczony zestaw znaków (pięć bitów daje zaledwie 32 kombinacje) wymusił pomysłowy mechanizm przełączania rejestrów LETTERS/FIGURES (litery/cyfry);
system ten służył dalekopisom jeszcze przez dobrą część XX wieku.

Automaty skończone przez zabawę

Mechanizm przełączania LETTERS/FIGURES wprowadza pojęcie automatu skończonego w sposób zupełnie naturalny. Studenci sami, eksperymentując, odkrywają, że ten sam wzór może oznaczać różne znaki w zależności od bieżącego trybu. To doświadczenie z kodowaniem zależnym od stanu przygotowuje ich do bardziej złożonych zagadnień informatycznych. Na przykład ciąg bitów 00011 oznacza:

literę „A” w trybie LETTERS,
cyfrę „1” w trybie FIGURES. Taka podwójna interpretacja zależna od stanu leży u podstaw tego, jak komputery obchodzą się z danymi.

Ćwiczenia na zajęcia

Oto kilka sposobów wykorzystania emulatora ITA2 w dydaktyce:

Łamanie szyfru: studenci dekodują wiadomości zapisane jako wzory ITA2.
Oszczędne kodowanie: dyskusja o tym, dlaczego mechanizm przełączania rejestrów był tak ważny dla oszczędzania pasma.
Ewolucja kodowania: porównanie pięciobitowego kodu ITA2 z ASCII (7 bitów) i Unicode.
Fizyczna informatyka: powiązanie tego historycznego systemu ze współczesnymi mikrokontrolerami, takimi jak Arduino.

Korzyści w zakresie dostępności

Poza walorem historycznym podejście to pomaga studentom o różnych stylach uczenia się:

wzrokowcy widzą wzory,
kinestetycy wchodzą w bezpośrednią interakcję z procesem kodowania,
umysły teoretyczne mogą zgłębiać matematyczną stronę teorii informacji.

Szczegóły implementacji

Emulator napisano w JavaScripcie i można go łatwo osadzić na dowolnej internetowej platformie edukacyjnej. Kod jest modułowy i daje się dostosować do różnych kontekstów dydaktycznych. Kod źródłowy oraz działający emulator można znaleźć tu:

Percepcyjna geografia Lewantu

Sat, 29 Oct 2022 10:02:52 -0500

Wprowadzenie

Levante – Lewant – to miejsce nieuchwytne. Definiowany zwykle w relacji do innego terytorium – albo w opozycji do niego – rzadko miał stałe znaczenie i przywoływał różne geografie zależnie od tego, gdzie i kiedy używano tego słowa. Jeśli jednak trudno o obiektywną i ścisłą definicję terminu, można przynajmniej spróbować nakreślić subiektywną mapę tego regionu, opierając się na korelacjach istniejących w danym korpusie tekstów. Innymi słowy: jaką przestrzeń mógł Levante przywoływać w wyobraźni określonej grupy czytelników?
W tym wpisie pokażę, jak wykorzystać dane z prowadzonej przez Medici Archive Project, by zwizualizować konkretne miejsca, z którymi kojarzono ten toponim.

Baza MIA

Baza MIA to platforma współpracy dla badaczy, którzy chcą zamieszczać i udostępniać własne fotografie materiałów archiwalnych z . W ciągu minionego roku, pod patronatem , nasz zespół sfotografował, przepisał, streścił i sklasyfikował tysiące dokumentów przechowywanych w dziale avvisi zespołu Mediceo del Principato we Florencji. Choć nasza baza nie była pomyślana przede wszystkim z myślą o analizie statystycznej, udostępnione przez nas metadane można pobrać i wykorzystać jako zbiory danych.

Zbiór danych

W tym przypadku stworzony przeze mnie zbiór obejmuje wszystkie wiadomości z Levante z lat 1543–1566, to znaczy od pierwszego avviso odnotowanego w archiwum do roku śmierci sułtana . Oto próbka danych, które pobrałem z serwera. Składają się z trzech kolumn: unikatowego numeru dokumentu, nazwy miejsca i daty.

57386 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57386 Modon / Messinias, Nomos / Peloponnisos / Ellas 1565-1-3
57386 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57386 Evvoia / Evvoias, Nomos / Sterea Ellas-Evvoia / Ellas 1565-1-3
57386 Venetian Republic / Italia / Europe / World 1565-1-3
57386 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57386 Black Sea / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Otranto / Lecce / Puglia / Italia 1565-1-3
57389 Nisoi Aiyaiou / Ellas / Europe / World 1565-1-3
57389 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57389 Buda / Budapest / Budapest / Magyarorszag 1565-1-3
57389 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57389 Kipros / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Rodhos / Rodos, Nisos / Sporadhes / Nisoi Aiyaiou 1565-1-3
57389 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57389 Çorlu / Thraki / Ellas / Europe 1565-1-3

Czyszczenie danych

Aby zwizualizować te dane, musimy je przekształcić w czytelny zbiór csv (wartości rozdzielone przecinkami). Musimy też przełożyć zawarte tu informacje geograficzne na format „przyjaźniejszy maszynie”: współrzędne GPS. Ponieważ zbiór liczy setki wpisów, wolimy ten proces zautomatyzować. Da się to zrobić dość szybko i całkiem dokładnie przy użyciu wstępnie wytrenowanych modeli językowych, takich jak , czy , by wymienić tylko kilka. Operację tę trzeba jednak ściśle nadzorować, bo wstępnie wytrenowane modele językowe mają lekką skłonność do halucynowania.

documentId,latitude,longitude,documentDate
57386,35.899167,14.514167,1565-1-3
57386,37.05,22.116667,1565-1-3
57386,31.200028,29.918719,1565-1-3
57386,38.366667,23.666667,1565-1-3
57386,45.438333,12.331333,1565-1-3
57386,41.018611,28.984444,1565-1-3
57386,42.7,18.8,1565-1-3
57389,40.216667,18.166667,1565-1-3
57389,37.966667,23.716667,1565-1-3
57389,35.899167,14.514167,1565-1-3
57389,47.4925,19.051389,1565-1-3
57389,31.200028,29.918719,1565-1-3
57389,34.916667,33.616667,1565-1-3
57389,36.405419,28.227778,1565-1-3
57389,41.018611,28.984444,1565-1-3
57389,41.133333,27.416667,1565-1-3

Mapa gęstości

Mapa gęstości to typ wizualizacji, który uwydatnia, jak często dane miejsce pojawia się w zbiorze. Przydaje się szczególnie do zrozumienia nie tylko zasięgu geograficznego danych, ale i ich punktów ogniskowych. Które miejsca na mapie wzmiankowane są częściej? A które tylko epizodycznie? Gdzie leżą ośrodki i jak daleko sięgają peryferie? Na czym na mapie najprawdopodobniej skupi się uwaga czytelnika?

Na potrzeby tego eksperymentu – a że się spieszyłem – użyłem jednego z API . Wiele bibliotek do wizualizacji i systemów informacji geograficznej pozwala jednak uzyskać ten sam rodzaj mapy gęstości.

Kilka spostrzeżeń

Wynik jest raczej impresjonistycznym obrazem niż ścisłym odwzorowaniem wyraźnie definiowalnego pojęcia – i właśnie to lubię w tym eksperymencie. Bo też choć nauka o danych może być potężnym sprzymierzeńcem humanistyki, nie musimy koniecznie grać według jej reguł.

Inny ciekawy aspekt tego eksperymentu: mapa ukazuje Levante całkowicie zintegrowany z resztą Europy i Morza Śródziemnego. Uwydatnia też centralne miejsce Edirne w geografii politycznej Imperium Osmańskiego. Co więcej, najważniejszym hiszpańskim miastem na mapie nie jest ani Madryt, ani Escorial, lecz Neapol. Wreszcie wyspy i małe miasta-państwa, takie jak Ragusa, zdają się odgrywać ważną rolę pośredników między różnymi potęgami regionu.

Jak pobrać dane z MIA

Choć MIA jest znakomitym narzędziem współpracy dla badaczy, dane przechowywane na jej serwerach nie są łatwo dostępne. Jej back-end, na przykład, nie został opublikowany w żadnym publicznym repozytorium. Dane można jednak uzyskać, rejestrując się w MIA i wysyłając zapytania do serwera z poziomu Pythona.

Zapytanie

url = "https://mia.medici.org/Mia/json/de/advancedsearch/advancedSearchResults/0/90/docYear/asc/?isNewsFeedSearch=False"
payload = [{"searchSection":"archivalLocationSearch","type":"archivalLocationAdvancedSearch","isActiveFilter":True,"repository":None,"collection":"Mediceo del Principato","series":None,"volume":"2863","insert":None},{"searchSection":"categoryAndTypologySearch","type":"categoryAndTypologyAdvancedSearch","isActiveFilter":True,"category":"News","typology":None},{"searchSection":"transcriptionSearch","type":"transcriptionAdvancedSearch","isActiveFilter":False,"transcription":""},{"isActiveFilter":False,"searchSection":"synopsisSearch","type":"synopsisAdvancedSearch","synopsis":""},{"searchSection":"placesSearch","type":"placesAdvancedSearch","isActiveFilter":False,"places":[]},{"searchSection":"peopleSearch","type":"peopleAdvancedSearch","isActiveFilter":False,"people":[]},{"searchSection":"topicsSearch","type":"topicsAdvancedSearch","isActiveFilter":True,"topics":[{"topicTitle":"Place Index","topicId":"51","placeAllId":""}]},{"searchSection":"dateSearch","type":"dateAdvancedSearch","isActiveFilter":False,"dateFilterType":"","dateYear":"","dateMonth":"","dateDay":"","dateBYear":"","dateBMonth":"","dateBDay":""},{"searchSection":"documentOwnerSearch","type":"documentOwnerAdvancedSearch","isActiveFilter":False,"editType":"owner","account":""},{"searchSection":"languagesSearch","type":"languagesAdvancedSearch","isActiveFilter":False,"languages":[]}]
headers = {'Content-type': 'application/json', 'Accept': '*/*'}
r = requests.post(url, data=json.dumps(payload), headers=headers, auth=('LOGIN','PASSWORD'))

Pamiętaj, by zastąpić LOGIN i PASSWORD własnymi danymi logowania.

Zapis odpowiedzi do pliku

with open('response.json', 'wb') as fd:
 for chunk in r.iter_content(chunk_size=128):
 fd.write(chunk)

Otwarcie pliku JSON

f = open('response.json', encoding="utf8")

Zwrócenie obiektu JSON jako słownika

json_complete = json.load(f)

Wybór danych z JSON-a i zapis w formacie CSV

with open('results.csv', 'w', newline='') as csvfile:
 fieldnames = ['documentId', 'placeCited', 'documentDate']
 writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
 writer.writeheader()
 for i in json_complete['data']:
 if i['topics'] != None:
 for x in i['topics']:
 documentId=x['documentId']
 placeCited=x['topicPlaceName']
 year=i['date']['docYear']
 month=i['date']['docMonth']
 day=i['date']['docDay']
 documentDate=str(year)+ "-" + str(month)+"-" + str(day)
 writer.writerow({'documentId': documentId, 'placeCited': placeCited, 'documentDate': documentDate})

Po pobraniu pliku results.csv można przystąpić do czyszczenia danych, jak opisano wyżej.

Masowe parsowanie bibliografii za pomocą wstępnie wytrenowanych modeli językowych

Thu, 07 Jul 2022 19:04:14 +0200

Automatyzacja to klucz do obniżenia kosztów projektów z zakresu humanistyki cyfrowej. Do dziś powtarzalne i żmudne zadania związane z pracą edytorską w środowisku akademickim wykonywali albo – wielkim kosztem – przeciążeni badacze, albo „zlecano” je studentom. W tym dowodzę, że większość tych niewdzięcznych zadań nie tylko można, ale i należy zautomatyzować. Automatyzacja pracy edytorskiej obniża całkowity koszt projektów humanistyki cyfrowej. Co najważniejsze, pozwala badaczom z uboższych regionów świata szybko i tanio publikować cenne dokumenty.

W pokazałem na przykład, jak wstępnie wytrenowane modele językowe mogą wykonać większość pracy związanej ze znakowaniem XML w edycji cyfrowej.

W tym wpisie przedstawiam drugi przykład, tym razem dotyczący bibliografii.

Problem

Zbudowanie bazy bibliograficznej z odsyłaczy przywołanych w jednym artykule naukowym to zadanie dość proste. Można szybko przeszukać katalog taki jak , pobrać opis w wybranym formacie albo zaimportować go automatycznie z lokalnej bazy. Przy jednym czy dwóch artykułach to działa bez zarzutu. Powyżej pewnej liczby odsyłaczy zadanie staje się jednak odstręczające i czasochłonne. Żeby temu zaradzić, można sięgnąć po algorytmy parsujące, takie jak . Trudno je jednak skalować. Kiedy użyłem anystyle do przetworzenia ponad 150 esejów naukowych zamieszczonych w naszej , liczba nagromadzonych błędów okazała się po prostu nie do opanowania. Program nie rozpoznał wielu naszych źródeł, biorąc na przykład długie tytuły wczesnonowożytnych książek za coś zupełnie innego, i nie radził sobie z mniej typowymi dokumentami, takimi jak konkretne strony internetowe, filmy online itd. Parsery działają dobrze pod warunkiem, że autor skrupulatnie trzyma się reguł znanej konwencji – Chicago, Turabian czy MLA. Każde odstępstwo od normy kończy się błędem.

Rozwiązanie

Tu właśnie mogą pomóc wstępnie wytrenowane modele językowe : błyskawicznie chwytają one schemat dowolnego stylu bibliograficznego , nawet własnego wynalazku, i potrzebują zaledwie kilku przykładów, by poprawnie przekształcić obszerną, sformatowaną bibliografię w .

Na początku 2021 r. miałem szczęście uzyskać wczesny dostęp do firmy OpenAI. Codex to model, który pozwala tłumaczyć język naturalny na kod i odwrotnie. OpenAI twierdzi, że biegle włada kilkunastoma językami programowania, i choć jego API jest w chwili pisania tego wpisu dostępne jeszcze w wersji beta, napędza już popularne aplikacje, takie jak GitHuba.

Pobawiwszy się tym API, zorientowałem się, że równie dobrze radzi sobie z prostszym kodem, takim jak BibTeX.

I rzeczywiście: wystarczyły cztery przykłady w prompcie wejściowym, żeby działało niezawodnie.

Prompt wejściowy

References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009.

Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015.

Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. .

Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994.

@incollection{bayle2009,
 author = {Bayle, Ariane},
 booktitle = {Vulgariser la médecine. Du style médical en France et en Italie},
 title = {Patients exemplaires: la correspondance médicale de Fioravanti},
 editor = {Carlino, Andrea and Michel Jeanneret},
 year = {2009},
 address = {Geneva},
 publisher = {Droz},
 langid = {french}
}
@book{berns2015,
 title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth},
 author = {Berns, Andrew D.},
 address = {Cambridge},
 publisher = {Cambridge University Press},
 langid = {english},
 date = {2015}
}
@article{gabler2010,
 author = {Gabler, Hans Walter},
 title = {Theorizing the Digital Scholarly Edition},
 journal = {Literature Compass},
 volume = {7},
 number = {2},
 pages = {43-56},
 doi = {10.1111/j.1741-4113.2009.00675.x},
 langid = {english},
 year = {2010}
}
@book{findlen1994,
 title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy},
 author = {Findlen, Paula},
 address = {Berkeley},
 publisher = {University of California Press},
 langid = {english},
 date = {1994}
}

Wyniki

są uderzające: ponad 2000 odsyłaczy bibliograficznych przekonwertowanych w ciągu kilku dni. Podejście to nie tylko wiernie odtworzyło schemat z mojego promptu, ale też poprawnie dodało typy wpisów i pól, których w prompcie w ogóle nie było. Innymi słowy, GPT-3 włada BibTeX-em doskonale. Co może bardziej zaskakujące w modelu trenowanym głównie na angielszczyźnie, rozpoznał on wszystkie języki (rosyjski, francuski, włoski, łacinę, grekę, niemiecki, hiszpański itd.), za każdym razem dodając właściwe pole langid.

Uwaga

GPT-3 ma obecnie ograniczony rozmiar wejścia i wyjścia: przetwarza maksymalnie 2048 tokenów. Gdy tylko to ograniczenie zniknie, to samo zadanie zajmie zapewne godzinę lub mniej.

Nieco nieoczekiwanie GPT-3 dodał także informacje, których nie było w pierwotnych odsyłaczach.

Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015.

W tym odsyłaczu, na przykład, GPT-3 dodał trwały link do repozytorium otwartego dostępu ( ), w którym można przeczytać artykuł, wraz z polami HAL_ID i HAL_VERSION, stworzonymi ad hoc przez repozytorium HAL:

@inproceedings{baillot2015,
 title = {Editing for Man and Machine},
 author = {Baillot, Anne and Busch, Anna},
 year = 2015,
 booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting},
 address = {Leicester},
 series = {Variants (Journal of the European Society for Textual Scholarship)},
 volume = 13,
 editor = {Bruhn, Siglinde and Schreiber, Manfred},
 langid = {english},
 hal_id = {halshs-01233380},
 hal_version = {v1}
}

Te dodatki wskazują, że GPT-3 nie tylko parsuje odsyłacz bibliograficzny, ale też uzupełnia go na podstawie tego, czego nauczył się wcześniej. Ciekawie byłoby w tym kontekście sprawdzić, czy zachowa się podobnie wobec odsyłaczy późniejszych niż jego dane treningowe…

Ograniczenia

GPT-3 nie jest jednak doskonały. Wymaga nadzoru człowieka. Jednym z jego znanych ograniczeń jest : czasem wymyśla rzeczy i przyjmuje nieprawdopodobne założenia.

W moim eksperymencie napady niespójności GPT-3 ujawniły się, gdy samorzutnie zmienił nazwisko autora z „Ruscelli” na „Ruscello”. Technicznie rzecz biorąc, nie jest to błąd, bo wczesnonowożytnych włoskich nazwisk używano w liczbie mnogiej i pojedynczej bez różnicy. Dzisiejsza konwencja każe jednak zostawić nazwisko w takiej formie, w jakiej występuje. Nikt dziś nie nazwałby Machiavellego „Machiavello”, tak jak od nas oczekuje się formy Rossello, a nie Rosselli. Czy GPT-3 zignorował tę konwencję z braku świadomości chronologicznej? A może kierował się sąsiednimi nazwiskami, które w tej części bibliografii akurat wszystkie mają formę liczby pojedynczej (Bariletto, Cesano, Rossello)? Kto to wie.

@book{rossello1565,
 title = {Della summa de’ secreti universali},
 author = {Rossello, Timoteo},
 address = {Venice},
 publisher = {Giovanni Bariletto},
 langid = {italian},
 date = {1565}
}
@book{ruscello1559,
 title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese},
 author = {Ruscello, Girolamo},
 address = {Pesaro},
 publisher = {Bartolomeo Cesano},
 langid = {italian},
 date = {1559}
}

Wnioski

Ponad 150 esejów , napisanych w ciągu czterech lat intensywnej współpracy, nie tylko dostarcza kluczowych informacji o rękopisie, który wydaliśmy i przetłumaczyliśmy, ale zawiera też cenne dane bibliograficzne.

Zebranie tych odsyłaczy w bazie pozwala wydawcom zmieniać formatowanie bibliografii w mgnieniu oka, dając im więcej swobody w prezentowaniu tych informacji. Baza ta mówi też wiele o samej edycji i o projekcie, który ją umożliwił, otwierając przed badaczami nowe perspektywy analityczne. Taką bazę można sporządzić z dużą dokładnością i w rekordowym czasie.

Owszem, jakieś błędy mogą się wkraść, zwłaszcza z powodu skłonności GPT-3 do halucynowania. Przyszłe iteracje wstępnie wytrenowanych modeli językowych złagodzą jednak ten problem.

Automatyzacja znakowania w cyfrowych edycjach naukowych

Mon, 22 Nov 2021 18:15:00 +0000

Wprowadzenie

Jak wydawać cyfrowe edycje naukowe, nie rujnując przy tym budżetu? W tym wpisie, pierwszym z cyklu poświęconego wydajnemu edytorstwu, oceniam, jaką rolę mogą odegrać wstępnie wytrenowane modele językowe w automatyzacji zadań edytorskich, takich jak znakowanie semantyczne.

Spis treści

Problem

Dzieło z miłości

Kto kocha, ten nie liczy… tak przynajmniej głosi stare przysłowie. Do cyfrowych edycji naukowych pasuje ono szczególnie: transkrypcja, przekład i adnotacje, jakich wymaga ich opracowanie, to tysiące godzin pracy, wykonywanej – jak w przypadku – przez setki wysoko wykwalifikowanych współpracowników.

W pewnym sensie to błogosławieństwo, że głośne projekty humanistyki cyfrowej potrafią zdobyć ogromne fundusze niezbędne do ich prowadzenia. A jednak uzależnienie od hojności bogatych fundacji, uniwersytetów i agencji rządowych, w połączeniu z długotrwałym zapotrzebowaniem na znaczne zasoby ludzkie, nie stanowi na przyszłość realnego modelu ekonomicznego.

W gruncie rzeczy, jeśli chcemy zachęcić badaczy z całego świata do udostępniania dokumentów historycznych szerszej publiczności, koszt cyfrowych edycji krytycznych powinien spaść o rzędy wielkości .

Wysoki próg

Paradoksalnie, rozwiązanie może przyjść właśnie od tak pracochłonnych projektów jak , stanowią one bowiem cenny zbiór treningowy , pozwalający zautomatyzować niektóre z najbardziej odstręczających i powtarzalnych zadań edytorstwa cyfrowego, takich jak znakowanie.

Nie znaczy to, że znakowanie jest nieważne. Przeciwnie: znakowanie stało się nieodzownym składnikiem każdego poważnego projektu cyfrowej edycji naukowej. Ustandaryzowane przez , pozwala nam utrwalić możliwie wiele aspektów dokumentu i tekstu, który on przekazuje: strukturę, marginalia, skreślenia, warianty, rodzaj papieru, plamy, kaligrafię… Co tylko dusza zapragnie.

Poniższy przykład, zaczerpnięty z , pokazuje, jak znakowanie wzbogaca tekst o dodatkowe informacje (kategoria, struktura, pola semantyczne, skreślenia itd.), dając ostatecznie edycjom cyfrowym istotną przewagę nad ich materialnymi przodkami.

Plain Text XML Markup

Plain Text	XML Markup
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

Te informacje są cenne nie tylko z punktu widzenia archiwizacji, ale też – jak pokazywałem już przy innych okazjach – do celów syntetycznych i analitycznych. Tego typu adnotowanie bywa jednak niezwykle czasochłonne, bo ten sam tekst często musi być dostępny w kilku odmianach: jako przekład, jako transkrypcja, jako wersja zmodernizowana itd.

Rozwiązanie

Transformery: najprostsza droga do automatyzacji?

W 2020 r. wypuściło z wielką pompą swoją najnowszą rodzinę wielkoskalowych modeli językowych ogólnego przeznaczenia pod nazwą GPT-3, czyli „Generative Pre-trained Transformer 3”. Transformery to dość świeży przełom w sztucznej inteligencji. Uczą się nowych zadań w imponującym tempie, po prostu czytając prompt i przyglądając się bardzo niewielkiej liczbie przykładów. Można je też dotrenować na zbiorze danych przygotowanym ad hoc (fine-tuning), co poprawia czas odpowiedzi i dokładność. Z tego powodu mówimy, że GPT-3 i porównywalne transformery to modele (few-shot learners).

OpenAI twierdzi, że GPT-3 ma rekordowe 175 miliardów parametrów i został wytrenowany na ponad 570 GB tekstu, w większości dokumentów angielskich, zaczerpniętych zapewne z . Samą swoją skalą GPT-3 wyznaczył nowy standard w tej dziedzinie, wykonując od ręki najróżniejsze zadania z niepokojącym realizmem. Pisze wiarygodne , na czatach, , , tłumaczy dokumenty, objaśnia żargon itd.

Mając od maja 2021 r. wczesny dostęp do API OpenAI, mogłem sprawdzić, jak model radzi sobie z szeregiem zadań uchodzących za trudne: z przekładem francuskiej poezji i tekstów nowołacińskich na angielski, z objaśnianiem analogii, a nawet z uproszczeniem trzeciego rozdziału Uzasadnienia metafizyki moralności Kanta dla siedmiolatka (co prawda nieprzekonująco).

Codex

Jedno z najnowszych rozwinięć GPT-3 dotyczy języków programowania. Model ten, nazwany Codex, tłumaczy język naturalny na język komputerowy i odwrotnie. Jeśli na przykład szukam wyrażenia regularnego, które pozwoli mi „znaleźć tylko słowa zaczynające się wielką literą”, GPT-3 natychmiast przekłada to na działające wyrażenie regularne: [A-Z]+\w+.

OpenAI twierdzi, że Codex obsługuje kilkanaście języków programowania, w tym Pythona, JavaScript, Go, Perla, PHP, Ruby i Swifta. Płynnie zamieniając pseudokod w kod, Codex pozwala skupić się nie na żmudnej składni języka, lecz na logicznych krokach i strategiach, dzięki którym aplikacje rozwiązują problemy.

Poza OpenAI

OpenAI nie jest oczywiście jedynym graczem na rynku. Jak już wspomniałem, Pekińska Akademia Sztucznej Inteligencji ogłosiła w 2021 r. jeszcze większy i sprawniejszy model, znany jako Wu Dao 2. Nvidia i Microsoft połączyły siły, by stworzyć model o wymownej nazwie Megatron-Turing NLG 530B. Mniejsze start-upy, takie jak i , również oferują publicznie swoje API. Warto też wspomnieć o inicjatywach open source, takich jak . Scena AI zmienia się oczywiście bardzo szybko; aby śledzić nowe inicjatywy w tej dziedzinie, warto zajrzeć na .

Eksperymenty

Uwaga

Celem tych eksperymentów jest znalezienie najoszczędniejszej drogi do niezawodnej automatyzacji zadań edytorskich. Można by argumentować, że niektóre z nich dałoby się zautomatyzować także algorytmami uczenia nadzorowanego. Tę hipotezę zbadamy w jednym z przyszłych wpisów.

Czy transformer taki jak GPT-3 może nauczyć się adnotować, powiedzmy, szesnastowieczny rękopis techniczno-naukowy?

Eksperyment 1 – kategoryzacja tekstu.

Zacznijmy od czegoś stosunkowo prostego. Jako model „uczący się na kilku przykładach” GPT-3 powinien szybko pojąć, jak nasz zespół redakcyjny sklasyfikował wpisy w Ms Fr 640.

Konstruowanie promptu

Do treningu użyłem bardzo oszczędnego promptu i wybrałem jako przykłady cztery krótkie wpisy w postaci czystego tekstu, m.in. o „medycynie”, „broni i uzbrojeniu” oraz „malarstwie”.

Test

Następnie wkleiłem inny fragment, którego nie było w początkowej sekwencji:

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

Wynik jest w pełni zgodny z treścią:

<categories="painting">

Jeśli spróbujemy z wpisem należącym do kategorii, której nie było nawet w początkowym zestawie tekstów wybranych do treningu GPT-3, wynik zaskakuje.

<categories="jewelry">

Wynik

Kategoria „jewelry” (biżuteria) nie istnieje w naszej edycji Ms. Fr. 640. Zespół redakcyjny szerszą kategorię „Stones” (kamienie). Intuicja GPT-3 jest jednak dobra i wskazuje, że przy odrobinie dodatkowego treningu może się on nauczyć kategoryzować każdy wpis Ms. Fr. 640, a być może nawet wpisy podobnych szesnastowiecznych tekstów technicznych.

Eksperyment 2 – znakowanie semantyczne

Podnieśmy nieco poprzeczkę. Skoro transformery takie jak GPT-3 potrafią nauczyć się kategoryzować teksty według określonych kryteriów edytorskich, czy potrafią też rozpoznać część znakowania tekstu?

Uwaga

Secrets of Craft and Nature łączy semantyczne ze strukturalnymi. Niestety GPT-3, w odróżnieniu od innych projektów, takich jak , nie przetwarza obrazów. Przyszłe iteracje GPT prawdopodobnie zyskają tę zdolność, niezbędną do rozpoznawania większości strukturalnych i materialnych aspektów dokumentu. Pominiemy więc te konkretne znaczniki i skupimy się na znakowaniu, które nie wymaga rozpoznawania obrazów.

Konstruowanie promptu

Znaczniki semantyczne obejmują odniesienia do zwierząt, roślin, toponimów, bodźców zmysłowych itd. W prompcie treningowym wybrałem kilka przykładów z edycji:

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

Test

Wypróbujmy na modelu Davinci-codex kilka łatwych słów, takich jak Apothecary, smoke, glassmakers, latten i snake. Wyniki są natychmiastowe i bezbłędne:

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

Trudniejszy test wymaga użycia wyrażeń złożonych, takich jak copper plates, walnut oil i wood block. Chodzi o sprawdzenie, czy GPT-3 poprawnie obsługuje znaczniki zagnieżdżone.

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

Wyniki są jednak mieszane: Davinci-codex poprawnie oznaczył tylko walnut oil, nie wykrywając zagnieżdżonych znaczników tl i m w copper plates i wood block. Jak jednak pokazuje kolejny test, błędy te można ograniczyć lepszym promptem treningowym. Po dodaniu pięciu kolejnych przykładów zagnieżdżonych znaczników Davinci-codex zwrócił niemal bezbłędny wynik, z jedną tylko pomyłką (oil paintbrushes):

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

Wnioski

Trzeba pamiętać, że testy te przeprowadzono na krótkich fragmentach tekstu. Podejrzewam, że gdyby dostarczyć więcej kontekstu w przykładach i w prompcie, modele GPT-3 dałyby jeszcze lepsze wyniki. Co więcej, dotrenowanie modelu na zbiorach danych przygotowanych ad hoc bez wątpienia dodatkowo poprawiłoby dokładność znakowania.
Choć eksperymenty te trzeba by jeszcze przeprowadzić na większą skalę, by wykazać niezawodność wstępnie wytrenowanych modeli językowych, możemy mimo to stwierdzić, że podejście to pozwala wydawcom zautomatyzować szereg zadań adnotacyjnych w kilku prostych krokach, oszczędzając potencjalnie ogromne ilości czasu i pieniędzy.

Wizualizacja rękopisów 2 (aktualizacja)

Sat, 20 Nov 2021 16:00:00 +0000

Zgodnie z obietnicą – nowa wersja interaktywnej treemapy przedstawionej w , tym razem z dwoma trybami wyświetlania.

Uwaga

Dla lepszego efektu upewnij się, że strona wyświetla się w trybie jasnym (kliknij ikonę księżyca w prawym górnym rogu).

Group folios by category

Wizualna przeglądarka archiwum

Sun, 20 Jun 2021 16:00:00 +0000

Problem

Edycje cyfrowe cierpią na pewien paradoks: udostępniają wprawdzie szerokiej publiczności dokumenty trudno dostępne, ale utrata bodźców zmysłowych, jaka wynika z ich dematerializacji, na ogół dezorientuje czytelników, a nawet zniechęca ich do obcowania z treścią. Poruszanie się po ogromnych zbiorach dokumentów staje się przez to uciążliwe i onieśmielające. Dotyczy to nie tylko użytkowników bez doświadczenia w badaniach archiwalnych, ale i czytelników z zaburzeniami poznawczymi.

Rozwiązanie

Tu z pomocą przychodzą metadane archiwalne. Pozwalają one bowiem tworzyć interaktywne abstrakcje wizualne, które dostarczają czytelnikom alternatywnego bodźca zmysłowego, poprawiając zarazem ergonomię i dostępność. Aby po archiwum dało się nawigować wzrokiem, wystarczy treemapa (mapa drzewa) albo jakikolwiek inny diagram, który sprawnie rozkłada dane hierarchiczne.

Eksperyment

W pierwszym eksperymencie adaptuję dla D3.js, dodając do niego hiperłącza. Diagram przedstawia rękopis BnF Ms Fr 640, jego karty oraz wpisy na każdej z nich. Kolory oznaczają dominującą kategorię. Po najechaniu kursorem na wpis pojawiają się dodatkowe dane, w tym hiperłącze do rękopisu.
W ten sposób treemapa staje się interaktywnym indeksem wizualnym, który daje czytelnikom błyskawiczny i responsywny przegląd nie tylko zawartości rękopisu, ale i rozmiarów każdej karty i każdego wpisu.
~~W nadchodzących miesiącach będę dalej rozwijał ten pomysł, próbując innych diagramów i innych hierarchii… Ciąg dalszy nastąpi!~~ Nową wersję treemapy znajdziesz .

Uwaga

Dla lepszego efektu upewnij się, że strona wyświetla się w trybie jasnym (kliknij ikonę księżyca w prawym górnym rogu).

Click any cell to zoom in, or the top to zoom out.

Archiwum na jeden rzut oka

Mon, 24 May 2021 16:00:00 +0000

Problem

Archiwa historyczne bywają przerażająco chaotyczne. Zespół Mediceo del Principato w jest tego najlepszym przykładem. Zinwentaryzowano ledwie niewielką jego część, a wiele dokumentów rozproszono, bez widocznej przyczyny, po ponad 6500 tomach. Na domiar złego archiwum pozwala zamawiać tylko ograniczoną liczbę tomów (czyli filze – poszytów, jak się je tam nazywa). W normalnych czasach limit wynosi 4 filze dziennie; w czasach pandemii spadł jednak do 4 na dwa tygodnie. Wobec braku szczegółowych inwentarzy ogrom archiwum zmusza badaczy do obmyślania strategii, które pozwolą szybko trafić na poszukiwane dokumenty.

Rozwiązanie

Jedni zdadzą się na szczęśliwy traf, inni spróbują też stawiać uzasadnione hipotezy na podstawie chronologii, adresatów, autorów, pochodzenia zespołu archiwalnego, języka itd. Kiedy jednak spojrzeć na wszystkie te zmienne naraz, mogą się ujawnić nieoczekiwane prawidłowości w strukturze archiwum, a nasze domysły zyskują na trafności. Z mojego doświadczenia wynika, że metadane, które badacze zwykle gromadzą w arkuszu kalkulacyjnym, po przedstawieniu w formie wykresów potrafią znacząco poprawić orientację w archiwum.

Eksperyment

Moje obecne badania dotyczą korespondencji szesnastowiecznego szpiega. Jego listy rozsiane są po setkach poszytów (filze). Pisane pod różnymi tożsamościami, do różnych, czasem zaskakujących adresatów, z różnych miejsc itd. Aby wytypować filze, w których z największym prawdopodobieństwem kryją się poszukiwane listy, zbudowałem dashboard – interaktywną aplikację internetową do wizualizacji danych ( ), która łączy najrozmaitsze dane, w tym informacje geograficzne i chronologiczne, z hierarchicznym diagramem ( ) zespołu archiwalnego. Dashboard mówi mi na jeden rzut oka, co już znalazłem, ile to stanowi, i podsuwa z grubsza, gdzie mógłbym szukać kolejnych listów. Co więcej, po kliknięciu wybranej zmiennej wszystkie diagramy aktualizują się, ukazując konkretne korelacje.

Kolejne kroki

Co być może ważniejsze, ten dashboard da się przekształcić w indeks wizualny. Kiedy edycja krytyczna tych listów ukaże się w sieci, dashboard posłuży za alternatywne wejście, z którego czytelnicy będą mogli przeglądać dane. Ze względów poufności mogę na razie pokazać tylko zamazany zrzut ekranu, ale pełny dashboard udostępnię w przyszłym roku. Tymczasem wkrótce pojawi się prototyp. Ciąg dalszy nastąpi!

Wizualizacja znakowania semantycznego w BnF Ms. Fr. 640

Sun, 20 Dec 2020 18:15:00 +0000

Zarys

Edycje naukowe bogate w dane zawierają cenne adnotacje edytorskie, które można wydobyć, przeanalizować i zwizualizować do najrozmaitszych celów badawczych. Tak jest w przypadku , edycji opublikowanej w 2020 r., której plik metadanych można pobrać z repozytorium GitHub. W tym wpisie pokazuję, jak zebrać wszystkie te zmienne w macierz korelacji i zwizualizować je na kilka sposobów.

Dane

Making and Knowing Project generuje arkusz z aktualnymi informacjami o zawartości rękopisu: entry_metadata.csv. Plik można pobrać z projektu Making & Knowing. Można też wygenerować własne pliki .csv, z większą liczbą znaczników, dzięki znakomitemu Matthew Kumara – pythonowej wersji BnF Ms. Fr. 640.

Konfiguracja Pythona

Do przygotowania danych użyjemy Pandas, do map ciepła – Matplotlib i seaborn, a na koniec NetworkX, by zbudować sieci oparte na korelacjach.
Przy tego rodzaju zmiennych unikniemy metody Pearsona i sięgniemy zamiast niej po metodę 𝜙𝐾. Warto o tej metodzie korelacji i o PhiK, odpowiadającej jej bibliotece.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

Przygotowanie danych

Najpierw pobierzmy najnowszy plik metadanych edycji z folderu metadata w jej . Wybierzemy tylko potrzebne kolumny. Na potrzeby tej demonstracji biorę wszystkie znaczniki semantyczne z angielskiego przekładu tl, ale równie dobrze można wziąć znaczniki z francuskiej transkrypcji tc albo z wersji znormalizowanej tcn. Dane mają postać wartości rozdzielonych średnikami, a Python musi je dla nas policzyć. Posłużymy się więc metodą stack–unstack z wyrażeniem regularnym [^;\s][^\;]*[^;\s]*. Żeby macierz była czytelniejsza, zmieniamy nazwy kolumn. Jeśli się spieszysz, możesz ten krok pominąć; pamiętaj tylko, że nasza ramka danych nazywa się na tym etapie tagsrn.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

Korelacja

Kiedy ramka danych jest już czysta, możemy przejść do obliczenia współczynników korelacji między poszczególnymi zmiennymi. Na tym etapie trzeba dobrze rozumieć swoje dane i upewnić się, że stosujemy najwłaściwszą metodę korelacji. Szczególnie pomocny jest tu pakiet pandas-profiling.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag to nasza macierz korelacji. Możemy teraz wypróbować różne typy wizualizacji.

Wizualizacja

Na początek spróbujmy przedstawić ją jako macierz kodowaną kolorem, za pomocą modułu z biblioteki seaborn.

Mapa ciepła korelacji

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

Kto dobrze zna tekst, od razu dostrzeże, że mapa ciepła ma sens. Nazwiska na przykład silnie korelują z łaciną, zwyczajem było bowiem – zwłaszcza wśród szesnastowiecznych humanistów – latynizować je.

Ktoś mógłby zarzucić, że taka mapa ciepła to wyważanie otwartych drzwi. I nie byłby całkiem w błędzie: na pierwszy rzut oka znaczniki medyczne zdają się to potwierdzać, bo, jak łatwo przewidzieć, korelują z częściami ciała, miarami i roślinami.

Jeśli jednak odczytamy mapę uważniej, wiersz po wierszu, możemy natrafić na korelacje ciekawe i nieoczekiwane. To, że znaczniki medyczne korelują ze słowami włoskimi i łacińskimi, podsuwa nam pewne wskazówki co do pochodzenia receptur medycznych w Ms. Fr. 640. Podobnie korelacja między zawodami, definicjami i miarami pokazuje, jak dalece tożsamość zawodowa organizuje szesnastowieczny dyskurs techniczny.

Mapa skupień korelacji

Mapy ciepła przydają się w kontekstach „eksploracyjnych”, ale odbiorcom mogą się wydać nieco chaotyczne, zwłaszcza gdy omawiamy – albo wciąż szukamy – konkretne skupienia semantyczne w rękopisie. Ciekawe rezultaty może dać moduł clustermap z biblioteki seaborn.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

Poza tym, że przypomina spikselowanego (tak, jest takie słowo w słowniku) owada, mapa skupień wyraźnie oddziela znaczniki izolowane (u góry i po lewej) od tych silniej powiązanych. Dostrzegamy też skupienia odosobnione, jak muzyka i dialekt poitevin (kto by pomyślał!), oraz bardziej centralne, jak miary, materiały, definicje i broń. Zawody są mocniej powiązane z resztą, ale nie należą – przynajmniej w tej konkretnej macierzy korelacji – do żadnego wyraźnego skupienia.

Sieć korelacji

Jeśli chcemy jeszcze mocniej zsyntetyzować korelacje zawarte w macierzy, eleganckim rozwiązaniem są grafy sieciowe. Sprawdzają się szczególnie tam, gdzie chcemy opowiedzieć o zawartości rękopisu.
W tym celu musimy przekształcić macierz w listę krawędzi i węzłów oraz ustalić próg, poniżej którego słabsze korelacje wypadną z grafu.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

Jeśli krawędzi i węzłów jest zbyt wiele, zawsze można zmienić próg, by uzyskać czystszy wynik. Można też wyeksportować graf funkcją .write_gexf() i pobawić się nim w Gephi.

nx.write_gexf(G, 'graph.gexf')

Wynik widać na początku tego wpisu.

Aktualizacja: kołowa sieć ważona

Szukałem sposobów na przedstawianie macierzy korelacji w postaci sieci ważonych i natrafiłem na interesujące podejście, – adaptuję je tu do naszego zbioru danych.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

Po usunięciu kilku krawędzi możemy określić ich kolor i grubość.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

Węzłom nadajemy też rozmiar proporcjonalny do liczby ich połączeń.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

W rezultacie otrzymujemy graf ważony, który mieści więcej węzłów i znacznie więcej krawędzi, a mimo to pozostaje czytelny i pouczający.