Bieżące Badania |

The Spy Who Wished Them Well

Sun, 12 Dec 2021 00:00:00 +0000

Więcej informacji wkrótce.

Automatyzacja znakowania w cyfrowych edycjach naukowych

Mon, 22 Nov 2021 18:15:00 +0000

Wprowadzenie

Jak wydawać cyfrowe edycje naukowe, nie rujnując przy tym budżetu? W tym wpisie, pierwszym z cyklu poświęconego wydajnemu edytorstwu, oceniam, jaką rolę mogą odegrać wstępnie wytrenowane modele językowe w automatyzacji zadań edytorskich, takich jak znakowanie semantyczne.

Spis treści

Problem

Dzieło z miłości

Kto kocha, ten nie liczy… tak przynajmniej głosi stare przysłowie. Do cyfrowych edycji naukowych pasuje ono szczególnie: transkrypcja, przekład i adnotacje, jakich wymaga ich opracowanie, to tysiące godzin pracy, wykonywanej – jak w przypadku – przez setki wysoko wykwalifikowanych współpracowników.

W pewnym sensie to błogosławieństwo, że głośne projekty humanistyki cyfrowej potrafią zdobyć ogromne fundusze niezbędne do ich prowadzenia. A jednak uzależnienie od hojności bogatych fundacji, uniwersytetów i agencji rządowych, w połączeniu z długotrwałym zapotrzebowaniem na znaczne zasoby ludzkie, nie stanowi na przyszłość realnego modelu ekonomicznego.

W gruncie rzeczy, jeśli chcemy zachęcić badaczy z całego świata do udostępniania dokumentów historycznych szerszej publiczności, koszt cyfrowych edycji krytycznych powinien spaść o rzędy wielkości .

Wysoki próg

Paradoksalnie, rozwiązanie może przyjść właśnie od tak pracochłonnych projektów jak , stanowią one bowiem cenny zbiór treningowy , pozwalający zautomatyzować niektóre z najbardziej odstręczających i powtarzalnych zadań edytorstwa cyfrowego, takich jak znakowanie.

Nie znaczy to, że znakowanie jest nieważne. Przeciwnie: znakowanie stało się nieodzownym składnikiem każdego poważnego projektu cyfrowej edycji naukowej. Ustandaryzowane przez , pozwala nam utrwalić możliwie wiele aspektów dokumentu i tekstu, który on przekazuje: strukturę, marginalia, skreślenia, warianty, rodzaj papieru, plamy, kaligrafię… Co tylko dusza zapragnie.

Poniższy przykład, zaczerpnięty z , pokazuje, jak znakowanie wzbogaca tekst o dodatkowe informacje (kategoria, struktura, pola semantyczne, skreślenia itd.), dając ostatecznie edycjom cyfrowym istotną przewagę nad ich materialnymi przodkami.

Plain Text XML Markup

Plain Text	XML Markup
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

Te informacje są cenne nie tylko z punktu widzenia archiwizacji, ale też – jak pokazywałem już przy innych okazjach – do celów syntetycznych i analitycznych. Tego typu adnotowanie bywa jednak niezwykle czasochłonne, bo ten sam tekst często musi być dostępny w kilku odmianach: jako przekład, jako transkrypcja, jako wersja zmodernizowana itd.

Rozwiązanie

Transformery: najprostsza droga do automatyzacji?

W 2020 r. wypuściło z wielką pompą swoją najnowszą rodzinę wielkoskalowych modeli językowych ogólnego przeznaczenia pod nazwą GPT-3, czyli „Generative Pre-trained Transformer 3”. Transformery to dość świeży przełom w sztucznej inteligencji. Uczą się nowych zadań w imponującym tempie, po prostu czytając prompt i przyglądając się bardzo niewielkiej liczbie przykładów. Można je też dotrenować na zbiorze danych przygotowanym ad hoc (fine-tuning), co poprawia czas odpowiedzi i dokładność. Z tego powodu mówimy, że GPT-3 i porównywalne transformery to modele (few-shot learners).

OpenAI twierdzi, że GPT-3 ma rekordowe 175 miliardów parametrów i został wytrenowany na ponad 570 GB tekstu, w większości dokumentów angielskich, zaczerpniętych zapewne z . Samą swoją skalą GPT-3 wyznaczył nowy standard w tej dziedzinie, wykonując od ręki najróżniejsze zadania z niepokojącym realizmem. Pisze wiarygodne , na czatach, , , tłumaczy dokumenty, objaśnia żargon itd.

Mając od maja 2021 r. wczesny dostęp do API OpenAI, mogłem sprawdzić, jak model radzi sobie z szeregiem zadań uchodzących za trudne: z przekładem francuskiej poezji i tekstów nowołacińskich na angielski, z objaśnianiem analogii, a nawet z uproszczeniem trzeciego rozdziału Uzasadnienia metafizyki moralności Kanta dla siedmiolatka (co prawda nieprzekonująco).

Codex

Jedno z najnowszych rozwinięć GPT-3 dotyczy języków programowania. Model ten, nazwany Codex, tłumaczy język naturalny na język komputerowy i odwrotnie. Jeśli na przykład szukam wyrażenia regularnego, które pozwoli mi „znaleźć tylko słowa zaczynające się wielką literą”, GPT-3 natychmiast przekłada to na działające wyrażenie regularne: [A-Z]+\w+.

OpenAI twierdzi, że Codex obsługuje kilkanaście języków programowania, w tym Pythona, JavaScript, Go, Perla, PHP, Ruby i Swifta. Płynnie zamieniając pseudokod w kod, Codex pozwala skupić się nie na żmudnej składni języka, lecz na logicznych krokach i strategiach, dzięki którym aplikacje rozwiązują problemy.

Poza OpenAI

OpenAI nie jest oczywiście jedynym graczem na rynku. Jak już wspomniałem, Pekińska Akademia Sztucznej Inteligencji ogłosiła w 2021 r. jeszcze większy i sprawniejszy model, znany jako Wu Dao 2. Nvidia i Microsoft połączyły siły, by stworzyć model o wymownej nazwie Megatron-Turing NLG 530B. Mniejsze start-upy, takie jak i , również oferują publicznie swoje API. Warto też wspomnieć o inicjatywach open source, takich jak . Scena AI zmienia się oczywiście bardzo szybko; aby śledzić nowe inicjatywy w tej dziedzinie, warto zajrzeć na .

Eksperymenty

Uwaga

Celem tych eksperymentów jest znalezienie najoszczędniejszej drogi do niezawodnej automatyzacji zadań edytorskich. Można by argumentować, że niektóre z nich dałoby się zautomatyzować także algorytmami uczenia nadzorowanego. Tę hipotezę zbadamy w jednym z przyszłych wpisów.

Czy transformer taki jak GPT-3 może nauczyć się adnotować, powiedzmy, szesnastowieczny rękopis techniczno-naukowy?

Eksperyment 1 – kategoryzacja tekstu.

Zacznijmy od czegoś stosunkowo prostego. Jako model „uczący się na kilku przykładach” GPT-3 powinien szybko pojąć, jak nasz zespół redakcyjny sklasyfikował wpisy w Ms Fr 640.

Konstruowanie promptu

Do treningu użyłem bardzo oszczędnego promptu i wybrałem jako przykłady cztery krótkie wpisy w postaci czystego tekstu, m.in. o „medycynie”, „broni i uzbrojeniu” oraz „malarstwie”.

Test

Następnie wkleiłem inny fragment, którego nie było w początkowej sekwencji:

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

Wynik jest w pełni zgodny z treścią:

<categories="painting">

Jeśli spróbujemy z wpisem należącym do kategorii, której nie było nawet w początkowym zestawie tekstów wybranych do treningu GPT-3, wynik zaskakuje.

<categories="jewelry">

Wynik

Kategoria „jewelry” (biżuteria) nie istnieje w naszej edycji Ms. Fr. 640. Zespół redakcyjny szerszą kategorię „Stones” (kamienie). Intuicja GPT-3 jest jednak dobra i wskazuje, że przy odrobinie dodatkowego treningu może się on nauczyć kategoryzować każdy wpis Ms. Fr. 640, a być może nawet wpisy podobnych szesnastowiecznych tekstów technicznych.

Eksperyment 2 – znakowanie semantyczne

Podnieśmy nieco poprzeczkę. Skoro transformery takie jak GPT-3 potrafią nauczyć się kategoryzować teksty według określonych kryteriów edytorskich, czy potrafią też rozpoznać część znakowania tekstu?

Uwaga

Secrets of Craft and Nature łączy semantyczne ze strukturalnymi. Niestety GPT-3, w odróżnieniu od innych projektów, takich jak , nie przetwarza obrazów. Przyszłe iteracje GPT prawdopodobnie zyskają tę zdolność, niezbędną do rozpoznawania większości strukturalnych i materialnych aspektów dokumentu. Pominiemy więc te konkretne znaczniki i skupimy się na znakowaniu, które nie wymaga rozpoznawania obrazów.

Konstruowanie promptu

Znaczniki semantyczne obejmują odniesienia do zwierząt, roślin, toponimów, bodźców zmysłowych itd. W prompcie treningowym wybrałem kilka przykładów z edycji:

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

Test

Wypróbujmy na modelu Davinci-codex kilka łatwych słów, takich jak Apothecary, smoke, glassmakers, latten i snake. Wyniki są natychmiastowe i bezbłędne:

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

Trudniejszy test wymaga użycia wyrażeń złożonych, takich jak copper plates, walnut oil i wood block. Chodzi o sprawdzenie, czy GPT-3 poprawnie obsługuje znaczniki zagnieżdżone.

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

Wyniki są jednak mieszane: Davinci-codex poprawnie oznaczył tylko walnut oil, nie wykrywając zagnieżdżonych znaczników tl i m w copper plates i wood block. Jak jednak pokazuje kolejny test, błędy te można ograniczyć lepszym promptem treningowym. Po dodaniu pięciu kolejnych przykładów zagnieżdżonych znaczników Davinci-codex zwrócił niemal bezbłędny wynik, z jedną tylko pomyłką (oil paintbrushes):

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

Wnioski

Trzeba pamiętać, że testy te przeprowadzono na krótkich fragmentach tekstu. Podejrzewam, że gdyby dostarczyć więcej kontekstu w przykładach i w prompcie, modele GPT-3 dałyby jeszcze lepsze wyniki. Co więcej, dotrenowanie modelu na zbiorach danych przygotowanych ad hoc bez wątpienia dodatkowo poprawiłoby dokładność znakowania.
Choć eksperymenty te trzeba by jeszcze przeprowadzić na większą skalę, by wykazać niezawodność wstępnie wytrenowanych modeli językowych, możemy mimo to stwierdzić, że podejście to pozwala wydawcom zautomatyzować szereg zadań adnotacyjnych w kilku prostych krokach, oszczędzając potencjalnie ogromne ilości czasu i pieniędzy.

Wizualizacja rękopisów 2 (aktualizacja)

Sat, 20 Nov 2021 16:00:00 +0000

Zgodnie z obietnicą – nowa wersja interaktywnej treemapy przedstawionej w , tym razem z dwoma trybami wyświetlania.

Uwaga

Dla lepszego efektu upewnij się, że strona wyświetla się w trybie jasnym (kliknij ikonę księżyca w prawym górnym rogu).

Group folios by category

Archiwum na jeden rzut oka

Mon, 24 May 2021 16:00:00 +0000

Problem

Archiwa historyczne bywają przerażająco chaotyczne. Zespół Mediceo del Principato w jest tego najlepszym przykładem. Zinwentaryzowano ledwie niewielką jego część, a wiele dokumentów rozproszono, bez widocznej przyczyny, po ponad 6500 tomach. Na domiar złego archiwum pozwala zamawiać tylko ograniczoną liczbę tomów (czyli filze – poszytów, jak się je tam nazywa). W normalnych czasach limit wynosi 4 filze dziennie; w czasach pandemii spadł jednak do 4 na dwa tygodnie. Wobec braku szczegółowych inwentarzy ogrom archiwum zmusza badaczy do obmyślania strategii, które pozwolą szybko trafić na poszukiwane dokumenty.

Rozwiązanie

Jedni zdadzą się na szczęśliwy traf, inni spróbują też stawiać uzasadnione hipotezy na podstawie chronologii, adresatów, autorów, pochodzenia zespołu archiwalnego, języka itd. Kiedy jednak spojrzeć na wszystkie te zmienne naraz, mogą się ujawnić nieoczekiwane prawidłowości w strukturze archiwum, a nasze domysły zyskują na trafności. Z mojego doświadczenia wynika, że metadane, które badacze zwykle gromadzą w arkuszu kalkulacyjnym, po przedstawieniu w formie wykresów potrafią znacząco poprawić orientację w archiwum.

Eksperyment

Moje obecne badania dotyczą korespondencji szesnastowiecznego szpiega. Jego listy rozsiane są po setkach poszytów (filze). Pisane pod różnymi tożsamościami, do różnych, czasem zaskakujących adresatów, z różnych miejsc itd. Aby wytypować filze, w których z największym prawdopodobieństwem kryją się poszukiwane listy, zbudowałem dashboard – interaktywną aplikację internetową do wizualizacji danych ( ), która łączy najrozmaitsze dane, w tym informacje geograficzne i chronologiczne, z hierarchicznym diagramem ( ) zespołu archiwalnego. Dashboard mówi mi na jeden rzut oka, co już znalazłem, ile to stanowi, i podsuwa z grubsza, gdzie mógłbym szukać kolejnych listów. Co więcej, po kliknięciu wybranej zmiennej wszystkie diagramy aktualizują się, ukazując konkretne korelacje.

Kolejne kroki

Co być może ważniejsze, ten dashboard da się przekształcić w indeks wizualny. Kiedy edycja krytyczna tych listów ukaże się w sieci, dashboard posłuży za alternatywne wejście, z którego czytelnicy będą mogli przeglądać dane. Ze względów poufności mogę na razie pokazać tylko zamazany zrzut ekranu, ale pełny dashboard udostępnię w przyszłym roku. Tymczasem wkrótce pojawi się prototyp. Ciąg dalszy nastąpi!

Wizualizacja znakowania semantycznego w BnF Ms. Fr. 640

Sun, 20 Dec 2020 18:15:00 +0000

Zarys

Edycje naukowe bogate w dane zawierają cenne adnotacje edytorskie, które można wydobyć, przeanalizować i zwizualizować do najrozmaitszych celów badawczych. Tak jest w przypadku , edycji opublikowanej w 2020 r., której plik metadanych można pobrać z repozytorium GitHub. W tym wpisie pokazuję, jak zebrać wszystkie te zmienne w macierz korelacji i zwizualizować je na kilka sposobów.

Dane

Making and Knowing Project generuje arkusz z aktualnymi informacjami o zawartości rękopisu: entry_metadata.csv. Plik można pobrać z projektu Making & Knowing. Można też wygenerować własne pliki .csv, z większą liczbą znaczników, dzięki znakomitemu Matthew Kumara – pythonowej wersji BnF Ms. Fr. 640.

Konfiguracja Pythona

Do przygotowania danych użyjemy Pandas, do map ciepła – Matplotlib i seaborn, a na koniec NetworkX, by zbudować sieci oparte na korelacjach.
Przy tego rodzaju zmiennych unikniemy metody Pearsona i sięgniemy zamiast niej po metodę 𝜙𝐾. Warto o tej metodzie korelacji i o PhiK, odpowiadającej jej bibliotece.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

Przygotowanie danych

Najpierw pobierzmy najnowszy plik metadanych edycji z folderu metadata w jej . Wybierzemy tylko potrzebne kolumny. Na potrzeby tej demonstracji biorę wszystkie znaczniki semantyczne z angielskiego przekładu tl, ale równie dobrze można wziąć znaczniki z francuskiej transkrypcji tc albo z wersji znormalizowanej tcn. Dane mają postać wartości rozdzielonych średnikami, a Python musi je dla nas policzyć. Posłużymy się więc metodą stack–unstack z wyrażeniem regularnym [^;\s][^\;]*[^;\s]*. Żeby macierz była czytelniejsza, zmieniamy nazwy kolumn. Jeśli się spieszysz, możesz ten krok pominąć; pamiętaj tylko, że nasza ramka danych nazywa się na tym etapie tagsrn.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

Korelacja

Kiedy ramka danych jest już czysta, możemy przejść do obliczenia współczynników korelacji między poszczególnymi zmiennymi. Na tym etapie trzeba dobrze rozumieć swoje dane i upewnić się, że stosujemy najwłaściwszą metodę korelacji. Szczególnie pomocny jest tu pakiet pandas-profiling.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag to nasza macierz korelacji. Możemy teraz wypróbować różne typy wizualizacji.

Wizualizacja

Na początek spróbujmy przedstawić ją jako macierz kodowaną kolorem, za pomocą modułu z biblioteki seaborn.

Mapa ciepła korelacji

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

Kto dobrze zna tekst, od razu dostrzeże, że mapa ciepła ma sens. Nazwiska na przykład silnie korelują z łaciną, zwyczajem było bowiem – zwłaszcza wśród szesnastowiecznych humanistów – latynizować je.

Ktoś mógłby zarzucić, że taka mapa ciepła to wyważanie otwartych drzwi. I nie byłby całkiem w błędzie: na pierwszy rzut oka znaczniki medyczne zdają się to potwierdzać, bo, jak łatwo przewidzieć, korelują z częściami ciała, miarami i roślinami.

Jeśli jednak odczytamy mapę uważniej, wiersz po wierszu, możemy natrafić na korelacje ciekawe i nieoczekiwane. To, że znaczniki medyczne korelują ze słowami włoskimi i łacińskimi, podsuwa nam pewne wskazówki co do pochodzenia receptur medycznych w Ms. Fr. 640. Podobnie korelacja między zawodami, definicjami i miarami pokazuje, jak dalece tożsamość zawodowa organizuje szesnastowieczny dyskurs techniczny.

Mapa skupień korelacji

Mapy ciepła przydają się w kontekstach „eksploracyjnych”, ale odbiorcom mogą się wydać nieco chaotyczne, zwłaszcza gdy omawiamy – albo wciąż szukamy – konkretne skupienia semantyczne w rękopisie. Ciekawe rezultaty może dać moduł clustermap z biblioteki seaborn.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

Poza tym, że przypomina spikselowanego (tak, jest takie słowo w słowniku) owada, mapa skupień wyraźnie oddziela znaczniki izolowane (u góry i po lewej) od tych silniej powiązanych. Dostrzegamy też skupienia odosobnione, jak muzyka i dialekt poitevin (kto by pomyślał!), oraz bardziej centralne, jak miary, materiały, definicje i broń. Zawody są mocniej powiązane z resztą, ale nie należą – przynajmniej w tej konkretnej macierzy korelacji – do żadnego wyraźnego skupienia.

Sieć korelacji

Jeśli chcemy jeszcze mocniej zsyntetyzować korelacje zawarte w macierzy, eleganckim rozwiązaniem są grafy sieciowe. Sprawdzają się szczególnie tam, gdzie chcemy opowiedzieć o zawartości rękopisu.
W tym celu musimy przekształcić macierz w listę krawędzi i węzłów oraz ustalić próg, poniżej którego słabsze korelacje wypadną z grafu.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

Jeśli krawędzi i węzłów jest zbyt wiele, zawsze można zmienić próg, by uzyskać czystszy wynik. Można też wyeksportować graf funkcją .write_gexf() i pobawić się nim w Gephi.

nx.write_gexf(G, 'graph.gexf')

Wynik widać na początku tego wpisu.

Aktualizacja: kołowa sieć ważona

Szukałem sposobów na przedstawianie macierzy korelacji w postaci sieci ważonych i natrafiłem na interesujące podejście, – adaptuję je tu do naszego zbioru danych.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

Po usunięciu kilku krawędzi możemy określić ich kolor i grubość.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

Węzłom nadajemy też rozmiar proporcjonalny do liczby ich połączeń.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

W rezultacie otrzymujemy graf ważony, który mieści więcej węzłów i znacznie więcej krawędzi, a mimo to pozostaje czytelny i pouczający.

Tajna korespondencja Filippa Cavriany, 1568—1589.

Fri, 27 Dec 2019 00:00:00 +0000

Tajne listy Filippa Cavriany to wyjątkowe świadectwo francuskich wojen religijnych: przez ponad 20 lat rejestrują intrygi, bitwy, negocjacje i spiski, które wyznaczały rytm życia na dworze Francji i poza nim.

Listy te, przechowywane w , są w większości rozproszone po setkach niezinwentaryzowanych poszytów – filze, jak się je nazywa we Florencji. Choć w ostatnich latach udało mi się odkryć dziesiątki nowych listów, ten rodzaj kwerendy archiwalnej staje się coraz trudniejszy. Odległość od Florencji, degradacja niektórych usług publicznych we Włoszech i pandemia Covid-19 – wszystko to sprawia, że tego rodzaju projekty wydawnicze są procesem długim i niepewnym.

Publikowanie źródeł pierwotnych powinno, mimo rosnących trudności, pozostać częścią pracy historyka. Kształt tych publikacji powinien jednak zapewne ewoluować. Publikacje źródeł powinny nie tylko dostosować się do opisanej wyżej sytuacji, ale też lepiej oddawać przyrostowy charakter takich badań i umożliwiać komuś innemu ich kontynuowanie.

Stąd pomysł opracowania nowego typu cyfrowego projektu wydawniczego: skalowalnego, trwałego, wiarygodnego, niezależnego od platformy i potencjalnie otwartego na współpracę.

Edycja jest już dostępna w sieci: . Gromadzi listy przepisane do tej pory – z Archiwum Państwowego we Florencji, z Mantui i z BnF – i rośnie w miarę odnajdywania kolejnych. Założenia jej projektu wyjaśniłem w .