Notizen |

Der Zaun, nicht das Feuer

Sun, 06 Sep 2026 00:00:00 +0000

In einer Lagerhalle in North Las Vegas betreibt Amazon eine Maschine, die gebrauchten Büchern den Rücken abschneidet. Die losen Blätter wandern durch einen Scanner, das Papier danach in die Altpapierpresse. Die sah darin eine Bücherverbrennung unserer Tage und ließ kein Klischee aus: Anspielungen auf Savonarola, Symbolfotos vermeintlich seltener Bücher und, versteht sich, der Scheiterhaufen auf dem Berliner Opernplatz. Die seriösen Blätter blieben erwartungsgemäß kühler, ließen denselben Vergleich aber im Raum stehen. Bei aller Entrüstung gehen diese Artikel mit der KI-Industrie erstaunlich schonend um. Wer soll über das Wissen verfügen, das da gescannt wird? Diese Frage muss warten, bis wir den Unfug von der Bücherverbrennung abgeräumt haben.

Ein Scanner ist kein Scheiterhaufen

Dass ein physisches Exemplar zerstört wird, macht destruktives Scannen noch lange nicht zum modernen Gegenstück von Savonarolas Scheiterhaufen oder der Bücherverbrennung der Nazis. Jene Akte bezogen ihren Sinn daraus, was verdammt wurde und weshalb. Der arme Mönch Savonarola, der in jede Debatte über Bücherverbrennungen hineingezerrt wird, forderte die Leute auf, einen Teil ihres Besitzes als öffentlichen Bußakt zu verbrennen. Die Scheiterhaufen der Nazis inszenierten eine Verstoßung anderer Art: Wer die Bücher öffentlich verbrannte, erklärte damit, dass ihre Verfasser im deutschen Kulturleben nichts mehr zu suchen hätten. In beiden Fällen war die Zerstörung eine Geste. Destruktives Scannen, in der Digitalisierung ein gängiges Verfahren, dient einem anderen Zweck: Das Exemplar wird geopfert, damit sein Inhalt bleibt. Das Buch wird vernichtet, der Text entmaterialisiert. Wer nach Fahrenheit 451 greift, möge sich erinnern, dass Bradburys Feuerwehrleute den Text nicht für später aufhoben.

schürte die Aufregung, indem es „seltene Bücher“ in die Schlagzeile hob – eine Formel, die andere Medien brav nachbeteten. Dabei sagte ein Buchhändler, den die Recherche selbst zitiert, diese Großbestellungen hätten ; es geht also überwiegend um Ausgaben, die seit Einführung der ISBN um 1970 erschienen sind. Das ist die Ware der Flohmärkte und Wohltätigkeitsläden, die oft schon beim nächsten Ausmisten im Altpapier landet. Bevor man die Kulturkatastrophe ausruft, könnte man in den Bibliothekskatalog schauen: Genau für solche Publikationen gibt es Pflichtexemplarbibliotheken. Zugegeben, eine ISBN bürgt nicht für ein erhaltenes Pflichtexemplar – aber Knappheit auf dem Gebrauchtmarkt beweist auch nicht, dass ein Text verschwunden ist.

Beim Einstampfen geht das physische Exemplar verloren, mit allen Widmungen und Marginalien. Exemplare mit historisch bedeutsamen Anmerkungen oder Provenienzen sollten erkannt und bewahrt werden, am besten, bevor sie auf dem Gebrauchtmarkt landen. Man darf sich auch sorgen, dass die gedruckten Exemplare vergriffener Titel knapper werden. Dann aber müsste man ebenso fragen, warum die Rechteinhaber sie weder nachdrucken noch den Zugang zu bereits vorhandenen digitalen Faksimiles freigeben. Forschende kennen den Ärger: Google Books findet die gesuchte Stelle und zeigt dann einen Schnipsel aus einem Buch, das man weder neu kaufen noch online lesen kann. Hier gibt es Verluste, über die sich streiten lässt. Aus einem Scanner machen sie keinen Nazi-Scheiterhaufen.

Der Buchhandel wiederum stampft unverkaufte Bücher seit jeher routinemäßig ein. Allein in Frankreich wurden , rund 60 Prozent dessen, was als Remittenden an die Auslieferungen zurückging. Das nennt man Lagerbereinigung. Überschüssige Exemplare und rare Gebrauchttitel werfen je eigene Fragen des Zugangs auf; Papier zu vernichten ist aber für sich genommen weder Zensur noch Tyrannei.

Mehr Bücher, bessere KI?

Dass KI-Unternehmen Bücher kaufen und scannen, ist in Wahrheit eine gute Nachricht. Eine Technologie, der man ständig ihr flaches Verständnis menschlicher Kultur vorhält, eignet sich mehr davon an – man hätte erwarten dürfen, dass die Wissenschaft das begrüßt.

Das Web ist ein dürftiger Ersatz für das aufgehäufte Schriftgut einer Sprache. Ein großer Teil ihres aufgezeichneten Lebens, von Romanen und Memoiren bis zu populären Liedern und transkribierten Gesprächen, hat den Weg vom Druck ins Netz nie gefunden. Viele dieser Bücher haben ihre Verlage überlebt. Sie in Trainingsdaten aufzunehmen zählt dort am meisten, wo sonst wenig vorhanden ist. Ein paar englische Bücher mehr bringen vielleicht geringfügige Verbesserungen; in einer schwach vertretenen Sprache können dieselben Bücher den Unterschied zwischen einem brauchbaren und einem unbrauchbaren System ausmachen. Ob diese Werkzeuge in unsere öffentlichen Dienste oder in unseren Alltag gehören, ist eine Frage der öffentlichen Debatte. Wo immer wir uns aber für sie entscheiden, sollten wir sie in unserer eigenen Sprache benutzen können.

Was sprachlich auf dem Spiel steht, zeigen die aus Spanien und den Niederlanden gemeldeten Bestellungen. Im Mai berichtete von einem Buchhändler in Badalona, der wiederholt Bestellungen erhielt, vor allem für katalanische Sachbücher: Geschichtswerke, technische Handbücher, alte Tagungsbände. Im August meldeten niederländische Medien eine Anfrage an De Slegte über . Die Sprache dieser Bücher verdient mindestens so viel Aufmerksamkeit wie das Schicksal ihrer Einbände. Von der Daily Mail mag das zu viel verlangt sein; aber auch die nüchterneren Blätter hatten zu den betroffenen Sprachen wenig zu sagen.

Auch Lizenzverträge mit großen Verlagen können wertvolles Material liefern, doch deren digitale Kataloge decken nur einen Bruchteil dessen ab, was je gedruckt wurde. Bücher, die nie digitalisiert wurden oder deren Rechte der Verlag nicht mehr hält, gehören nicht zum Angebot. Selbst der großzügigste Lizenzvertrag kann nicht für die Geschichte des Verlagswesens einstehen, geschweige denn für die Geschichte einer Kultur. Gebrauchte Exemplare zu kaufen ist ein Weg, über diese kommerziellen Grenzen hinauszureichen.

„Diebstahl“ ist kein Argument

Von „Diebstahl“ zu reden hilft ebenso wenig. Im Juni 2025 befanden zwei US-Bezirksgerichte, dass die Nutzung von Büchern zum Training von Sprachmodellen in den ihnen vorliegenden Fällen unter Fair Use fällt. In hob das Gericht den transformativen Charakter des Trainings hervor: Die Bücher dienten dazu, ein System zu bauen, das neuen Ausdruck hervorbringen kann. Modelle können sich Passagen merken, doch ein Buch zum Training zu verwenden macht nicht den ganzen Text auf Abruf verfügbar. Umgekehrt erledigt das Fehlen wörtlicher Wiedergabe nicht jeden Einwand. In warnte der Richter, KI-generierte Werke könnten den Markt überschwemmen, und Belege für einen solchen Schaden könnten eine Fair-Use-Verteidigung zu Fall bringen; nur hatten diese Kläger für einen solchen Schaden an ihren eigenen Werken keine belastbaren Belege beigebracht. Keines der beiden Urteile stellt den KI-Unternehmen einen Freibrief aus oder entscheidet den ethischen Streit. Beide verlangen von uns zu unterscheiden, wie Bücher beschafft, wie Kopien aufbewahrt werden und was das Training mit ihnen anstellt. Wer das alles „Diebstahl“ nennt, lässt diese Fragen offen.

Nebenbei liefert das Anthropic-Urteil auch die Begründung für die Guillotine. Das Gericht billigte die Digitalisierung gekaufter Exemplare und verwarf die Anhäufung raubkopierter Bücher in einer dauerhaften Bibliothek, für die das Unternehmen später . Die Digitalisierung ging unter anderem deshalb durch, weil jedes gedruckte Exemplar bei der Umwandlung zerstört wurde: Die digitale Kopie trat an seine Stelle und blieb im Haus. Eben jene Zerstörung, die manche so empört, half Anthropic zu belegen, dass sein Digitalisierungsprogramm Fair Use war. Kaufen, scannen, entsorgen – das war in diesem Fall ein rechtmäßiger Weg. Die Guillotine ist hier ein Werkzeug der Rechtstreue. Exemplare zu kaufen löst das Problem der Beschaffung; das Recht, das entstandene Korpus weiterzugeben, verschafft es für sich genommen niemandem.

Es gibt gute Gründe, sich eine KI zu wünschen, die aus mehr Sprachen, mehr Forschung und mehr von jener Welt schöpft, die es vor dem Internet gab. Diese Gründe verschwinden nicht, nur weil ein Unternehmen, das wir nicht mögen, darin ein Geschäft entdeckt hat.

Geliehene Empörung

Zurück also zur Daily Mail. Ihr Artikel gehört zu , einer Kampagne von Zeitungseigentümern und Verlagen, die für KI anstreben. Zwei bequeme Gleichsetzungen leisten die Arbeit: Big Tech steht für KI, die Rechteinhaber stehen für die britische Kreativität. Die Leser sollen die Kultur verteidigen, während die Verlage die Konditionen ihres Verkaufs aushandeln. Forschende, die die Geschichte weiterreichen, dürfen sich fragen, wessen Sache ihre Empörung dient.

Big Tech und die streiten um die Pacht, aber gegen den Zaun hat keiner von beiden etwas. Die Geschichte vom einsamen Autor, den ein Technologieriese ausplündert, verdeckt, was teure Lizenzverträge beiden Lagern bescheren: Die Verlage werden bezahlt, und Big Tech bekommt einen Markt, auf dem sich seine kleineren Konkurrenten den Wettbewerb nicht leisten können. Peter Thiel hat die Vorliebe des Silicon Valley unverblümter formuliert: .

Lizenzierung muss nicht darauf hinauslaufen. Erschwinglicher, nicht-exklusiver Zugang könnte kleineren Entwicklern helfen. Ein System aber, das jeden Neuling zwingt, mit den großen Rechteinhabern kostspielige Verträge auszuhandeln, macht die Kaufkraft zur Eintrittskarte. Eine Zahlung, die als Zugeständnis an die Kulturwirtschaft daherkommt, erkauft am Ende den Schutz vor künftigen Konkurrenten.

KI gehört nicht Big Tech

Dahinter steckt ein tieferes Problem. Zu viel KI-Kritik hält die größten kommerziellen Anbieter für das ganze Feld. Die Produkte beherrschen die Schlagzeilen; Forschung und Entwicklung jenseits dieser Konzerne geraten aus dem Blick. Ein nützlicheres Missverständnis könnte sich Big Tech kaum wünschen: Sein Anspruch, das Feld zu besitzen, wird zur Prämisse der Kritik, die sich gegen ihn richtet. Das Monopol ist noch nicht unter Dach und Fach. Wer so tut, als wäre es das, erweist diesen Unternehmen einen gewaltigen Gefallen.

Open-Source-KI erlaubt es, Systeme zu bauen und anzupassen, die der Vielfalt von Sprachen, Kulturen und Ausdrucksformen besser gerecht werden. Für die Länder Europas, Afrikas und Lateinamerikas ebenso wie für Südkorea, Japan und Indien ist das eine handfeste Grundlage technologischer und kultureller Souveränität: selbst zu bestimmen, wie Systeme arbeiten, welchen Sprachen sie dienen und wo sie zum Einsatz kommen. Ob man KI nutzt und wozu, sollte eine öffentliche Entscheidung bleiben – keine, die die Abhängigkeit von einem ausländischen Lieferanten diktiert.

Doch die Freiheit, ein System zu verändern, ist wenig wert ohne die Mittel dazu. Unabhängige Arbeit braucht Fachwissen, Rechenkapazität und Zugang zu Trainingsmaterial. Womit wir wieder bei den Büchern wären. Muss jedes Forschungsteam und jede öffentliche Einrichtung eigene Verlagsverträge aushandeln oder eine eigene Privatbibliothek zusammentragen, bleibt Unabhängigkeit ein Privileg derer, die sie sich leisten können.

Die Bücher sind längst da

Bibliotheken und Archive haben über Generationen genau das Material gesammelt, das diese Systeme brauchen. Ihre Bestände gibt es, weil der Zugang zum Wissen das kommerzielle Interesse an seinem Verkauf überdauern soll. Vieles ist längst gescannt: hält rund neunzehn Millionen digitalisierte Bände aus Forschungsbibliotheken, viele davon noch urheberrechtlich geschützt. Eine Bibliothek scannt ein Buch und behält es; eine Guillotine braucht dort niemand. HathiTrust , hat aber zugleich angekündigt, ein Projekt, das nichtkommerzieller KI-Forschung und -Entwicklung Zugang zum Korpus verschaffen soll. Auch zu diesen Bedingungen blieben manche unabhängigen Entwickler außen vor.

Nur: Wer die Bücher besitzt, darf ihren geschützten Inhalt deshalb noch nicht als Trainingskorpus verbreiten. Das erlaubt Forschungseinrichtungen und Bibliotheken das Text- und Data-Mining rechtmäßig zugänglicher Werke zu wissenschaftlichen Zwecken und gestattet ein weiter gefasstes Mining dort, wo sich die Rechteinhaber ihre Rechte nicht vorbehalten haben. : Seine Mining-Ausnahme gilt für nichtkommerzielle Forschung und beschränkt die Weitergabe von Kopien. Keiner der beiden Rechtsrahmen gibt Bibliotheken ein allgemeines Recht, ihre geschützten Bestände zu teilen, damit andere darauf aufbauen.

Man könnte auch neu überdenken, wie lange Rechteinhaber die maschinelle Nutzung von Büchern kontrollieren sollten. Arzneimittelpatente bieten einen Vergleichsmaßstab: Ihre übliche Laufzeit von zwanzig Jahren ist weit kürzer als der Urheberrechtsschutz, der die Lebenszeit des Autors und siebzig Jahre darüber hinaus währt. Könnten Bücher, sagen wir, zwanzig Jahre nach ihrem Erscheinen ohne Lizenzgebühren für Text- und Data-Mining freigegeben werden, während die Rechte an Neuauflage und Verkauf geschützt bleiben? Das Recht eines Autors zu schützen, sein Buch zu verkaufen, muss nicht heißen, über Generationen hinweg jede Verwendung seines Inhalts zu kontrollieren.

Vor zwei Jahren habe ich in dafür plädiert, Kulturerbedaten als öffentliches Gut zu behandeln. Der Staat sollte Bibliotheken und Archive dafür ausstatten, ihre Bestände zu digitalisieren, zu transkribieren und zu dokumentieren, und ihnen die rechtliche Befugnis geben, die entstehenden Korpora anderen zur Verfügung zu stellen. Big Tech könnte sich über eine eigens eingerichtete Abgabe an der Rechnung beteiligen.

Öffentliche Förderung sollte mit veröffentlichten Sammlungsrichtlinien und Zugangsregeln einhergehen, die akademische wie kommerzielle Arbeit abdecken – ohne Exklusivverträge, ohne Vorzugszugang für Geldgeber. Zugang zu Trainingszwecken muss nicht die uneingeschränkte Weiterverbreitung geschützter Bücher bedeuten. Die Autorinnen und Autoren sollten die öffentliche Regelung mitgestalten, auch was Einwilligung, Vergütung und die Konkurrenz zu ihren eigenen Werken angeht. Freier Zugang für die Nutzer schließt eine öffentlich finanzierte Vergütung der Autoren nicht aus; die , die Autoren aus öffentlichen Mitteln bezahlt, wenn ihre Bücher ausgeliehen werden, ist dafür ein Präzedenzfall. Um das Feuer ging es nie. Um den Zaun geht es.

Liebe Herausgeber: Wenn Sie meine Stimme wollen, geben Sie mir meine Sprache zurück

Thu, 27 Aug 2026 00:00:00 +0000

Kein Tag ohne eine Zeitschrift, die ihre KI-Richtlinie in die Welt posaunt. Diesmal ist es Progress in Human Geography: Deren Herausgeber haben veröffentlicht, in der sie warnen, KI als Ersatz für das eigene Lesen, Denken und Schreiben zu benutzen sei „ein Verstoß gegen die wissenschaftliche Ethik, einem Plagiat vergleichbar“. Aufsätze, bei denen ein solcher Verstoß festgestellt wird, „können zurückgezogen werden“; im günstigsten Fall werden sie korrigiert, mit einer in der Zeitschrift abgedruckten Notiz. Die Autorinnen und Autoren, so fügen die Herausgeber hinzu, mögen „sorgfältig erwägen, ob sie ihren Namen mit Widerrufen und Korrekturnotizen in Verbindung gebracht sehen wollen“.

Bei diesem Satz lohnt es sich zu verweilen. Der Widerruf (die Retraction) ist die schärfste Sanktion, die das wissenschaftliche Publizieren kennt – die Strafe, die sonst Fälschung und Betrug vorbehalten bleibt. Hier wird sie an ein Vergehen geknüpft, das derselbe Leitartikel nicht zu definieren vermag. Es gebe, räumen die Herausgeber ein, „echte Grauzonen“ und „keine klaren Linien, die die Zone der ‚Unverantwortlichkeit‘ abgrenzen“. Durchgesetzt werde die Richtlinie durch „Ermessensentscheidungen, die manche Autoren verärgern könnten, welche ihrerseits beteuern werden, KI nicht über Gebühr genutzt zu haben“ – die eigene Erklärung kann also überstimmt werden. Es folgt der Rat, „sicher in der Zone der ‚Verantwortlichkeit‘“ zu bleiben; und zur Sicherheit rät man nur, wo Gefahr droht. Menschen dafür zu bestrafen, dass sie eine Linie überschreiten, die man eingestandenermaßen nicht ziehen kann, ergibt nur dann Sinn, wenn Furcht das Regierungsmittel sein soll. Merken Sie sich das für später.

Der Vorwand der Stimme

Wie sieht verantwortungsvolle Nutzung aus? Den Autorinnen und Autoren wird eingeschärft, „große Sorgfalt darauf zu verwenden … die eigene Stimme zu bewahren“. Missbrauch sei es, mit KI „in einer Sprache zu schreiben, die die Autoren selbst normalerweise nie verwenden würden“. Für Muttersprachler leuchtet das ein: Gib dich nicht als etwas aus, was du nicht bist. Für Ausländer aber, die in einer fremden Sprache schreiben müssen, widerspricht sich die Vorschrift selbst. Die Stimme, die die Richtlinie schützen will, ist genau das, was die Regeln der Zeitschrift uns verwehren.

Nehmen Sie mich als Probe aufs Exempel. Englisch ist meine vierte Sprache – ganz genau die, die ich „normalerweise“ nie verwenden würde. Anglophone Universitäten haben mich darauf gedrillt, es kurz, mit Wegmarken versehen, beinahe mechanisch zu schreiben: den Kernsatz an den Anfang, die Vorbehalte an die vorgesehenen Stellen, die Überleitungen aus der genehmigten Liste. Der Drill hat gewirkt: In meinem Englisch gab es nie eine Stimme, die zu schützen gewesen wäre; sie war das Erste, was weichen musste. Nach der Definition der Herausgeber wäre alles, was ich je auf Englisch geschrieben habe, unzulässiger Gebrauch – mit oder ohne Maschine.

Die Zwickmühle

Die Herausgeber versichern, sie hätten an uns gedacht: Die Richtlinie erkennt an, dass Nichtmuttersprachler davon profitieren, wenn KI ihr Englisch prüft, ja sogar von deren „Übersetzungs-, Schreib- und Lektoratsdiensten“. Zugleich aber solle sich der Anteil der KI am Schreiben „höchstens auf Lektorat und Korrekturhilfe beschränken“ und dürfe nicht in „große Blöcke KI-geschriebenen Textes“ münden. Ein maschinell übersetzter Aufsatz ist vom ersten bis zum letzten Wort KI-geschrieben; er besteht aus nichts als solchen Blöcken. Das Zugeständnis trägt also nur, wenn Übersetzen kein Schreiben ist. Wo verläuft diese Linie? Sie haben es uns schon gesagt: „keine klaren Linien“.

Es kommt schlimmer, denn der Verdacht ist nicht nur unfalsifizierbar, er ist auch einseitig geladen. 2023 prüfte ein Team aus Stanford sieben gängige KI-Detektoren an Aufsätzen, die Menschen geschrieben hatten: Im Schnitt stuften die Detektoren 61 % der TOEFL-Aufsätze von Nichtmuttersprachlern als maschinell erzeugt ein, während sie die Aufsätze von Muttersprachlern nahezu fehlerfrei erkannten; ein Detektor markierte 97,8 % des TOEFL-Korpus ( ). Der Grund ist lehrreich. Detektoren messen Vorhersagbarkeit, und Englisch als Zweitsprache, auf den Durchschnitt hin geschult, ist per Konstruktion vorhersagbar: das wahrscheinlichste Wort in der wahrscheinlichsten Reihenfolge. Dieselbe Studie fand das Signal auch in echter Forschungsliteratur, nämlich eine geringere sprachliche Variabilität in Konferenzbeiträgen von Erstautoren, die keine Muttersprachler sind. Die Stilmerkmale, die als „KI“ gelesen werden, sind die Merkmale eines kompetenten Zweitsprachen-Englisch – und ein menschliches Ermessensurteil liest dieselben Merkmale wie die Maschine. Die Zwickmühle ist perfekt: Schreibe ich mein eigenes Englisch, sehe ich aus wie eine Maschine; nehme ich die Maschine, verstoße ich gegen ihre Regel.

Die Sprachsteuer

Das Paradox wäre harmlos, kämen nicht die Drohungen hinzu. Doch die Drohungen legen ein tieferes, älteres Problem frei, das die Richtlinie nirgends beim Namen nennt: die Einsprachigkeit. Die verlangen „die größtmögliche internationale Reichweite“ – und auf derselben Seite heißt es: „Die Sprache der Zeitschrift ist Englisch.“

Was diese Regelung kostet, ist keine Hypothese. In einer Befragung von 908 Umweltwissenschaftlern fanden Amano und Kollegen, dass Nichtmuttersprachler des Englischen bis zu 51 % mehr Zeit für das Schreiben eines Aufsatzes brauchen, dass ihre Manuskripte 2,5-mal so oft abgelehnt und 12,5-mal so oft zur Überarbeitung zurückgeschickt werden – allein aus sprachlichen Gründen ( ). Diese Steuer wird erhoben, bevor irgendeine KI-Richtlinie ins Spiel kommt; das Erklärungsformular samt seinen Drohungen ist die Steuerprüfung, die obendrauf kommt.

Fin d’empire

Die Einsprachigkeit ist das Axiom, über das niemand spricht. Sie ist ein imperiales Erbe, dem mit der Zeit eine praktische Rechtfertigung zuwuchs: Übersetzen war langsam und teuer, und kein Gremium konnte beurteilen, was es nicht lesen konnte. Nichts davon hält den Fortschritten der maschinellen Übersetzung stand. Auf dem heutigen Stand der Technik kann sie als verlässliche Zwischenschicht zwischen Autoren und Herausgebern dienen.

Der ideale Ausweg wäre ein menschlicher: Forschende sollten mehr als eine Sprache lesen. Stattdessen ziehen es die anglophonen Universitäten vor, ihre Institute für moderne Fremdsprachen zu schließen. Wohlgemerkt: Diese Schließungen sind ein angloamerikanisches Phänomen; Forschende anderswo konnten sich den Luxus der Einsprachigkeit nie leisten. Und man beachte den Zeitpunkt. Wer ein Sprachinstitut schließt, geht eine Wette ein – darauf, dass Englisch endgültig gewonnen hat und nie wieder etwas Lesenswertes in einer anderen Sprache geschrieben wird. Diese Wette wird zur denkbar falschen Zeit abgeschlossen, und das gleich doppelt. Erstens, weil die maschinelle Übersetzung es zum ersten Mal erlaubt, ganz ohne Lingua franca auszukommen; zweitens, weil die Ordnung, die Englisch zur Selbstverständlichkeit gemacht hat, im Rückzug begriffen ist: Die Anglosphäre kehrt sich nach innen, die Globalisierung ebbt ab, der Freihandel wird in seinen eigenen Mutterländern angefochten, und eine multipolare Welt nimmt Gestalt an, in der sich die lesenswerten Sprachen vervielfachen werden. Die Universitäten bilden Forschende heran, die nur Englisch lesen – für eine Welt, in der Englisch nicht mehr reichen wird. Die Herausgebergremien werden diesen Verlust als Erste zu spüren bekommen.

Ein Test für die Herausgeber

Wenn ein Gremium klagt, es könne die eigene Stimme seiner Autoren nicht lesen, liegt ein Teil des Problems vielleicht beim Gremium selbst.

Das ist ein schwerer Vorwurf, und er kommt mit einer ernsthaften Probe. Würde Progress in Human Geography eine Einreichung auf Französisch, Italienisch oder Japanisch begutachten lassen, der eine maschinell übersetzte englische Fassung beiliegt? Die Richtlinien der Zeitschrift erkennen die „Übersetzungs“-Dienste, die das möglich machen, ja selbst an. Ein Ja erledigt das Problem. Ein Nein verriete uns, was die Richtlinie in Wahrheit schützt.

So oder so: Die Entscheidung liegt bei den Herausgebern. Zählt die Stimme, wie sie behaupten, dann sollte die Zeitschrift Aufsätze in den Sprachen annehmen, in denen ihre Autoren denken. Zählt sie nicht, dann sollte das Erklärungsformular verschwinden – und die Drohungen mit ihm.

Eine Wahrnehmungsgeographie der Levante

Sat, 29 Oct 2022 10:02:52 -0500

Einleitung

Die Levante ist ein Ort, der sich entzieht. Gewöhnlich im Verhältnis zu – oder in Abgrenzung von – einem anderen Gebiet bestimmt, hat der Begriff selten eine feste Bedeutung gehabt; je nachdem, wo und wann man ihn gebrauchte, rief er eine andere Geographie auf. Doch wenn sich eine objektive, exakte Definition schon kaum formulieren lässt, so darf man doch hoffen, eine subjektive Karte dieser Region zu zeichnen – auf der Grundlage der Zusammenhänge, die sich innerhalb eines bestimmten Textkorpus zeigen. Anders gefragt: Welchen Raum konnte die Levante einer bestimmten Gruppe von Lesern vor Augen stellen?
In diesem Beitrag zeige ich Ihnen, wie Sie mit Daten aus der des Medici Archive Project sichtbar machen, mit welchen konkreten Orten dieses Toponym verbunden war.

Die MIA-Datenbank

MIA ist eine kollaborative Plattform, auf der Forschende ihre eigenen Aufnahmen von Archivalien aus dem hochladen und miteinander teilen. Im vergangenen Jahr hat unser Team mit Unterstützung des Tausende von Dokumenten aus der avvisi-Serie des Mediceo del Principato in Florenz fotografiert, transkribiert, regestiert und klassifiziert. Für statistische Auswertungen war die Datenbank zwar nicht in erster Linie gedacht; die Metadaten, die wir bereitstellen, lassen sich aber gleichwohl herunterladen und als Datensätze nutzen.

Der Datensatz

Der Datensatz, den ich hier angelegt habe, umfasst sämtliche Nachrichten aus der Levante von 1543 bis 1566 – vom ersten im Archiv verzeichneten Avviso bis zum Todesjahr Sultan . Hier ein Ausschnitt dessen, was ich vom Server geholt habe: drei Spalten mit einer eindeutigen Dokumentnummer, einem Ortsnamen und einem Datum.

57386 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57386 Modon / Messinias, Nomos / Peloponnisos / Ellas 1565-1-3
57386 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57386 Evvoia / Evvoias, Nomos / Sterea Ellas-Evvoia / Ellas 1565-1-3
57386 Venetian Republic / Italia / Europe / World 1565-1-3
57386 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57386 Black Sea / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Otranto / Lecce / Puglia / Italia 1565-1-3
57389 Nisoi Aiyaiou / Ellas / Europe / World 1565-1-3
57389 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57389 Buda / Budapest / Budapest / Magyarorszag 1565-1-3
57389 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57389 Kipros / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Rodhos / Rodos, Nisos / Sporadhes / Nisoi Aiyaiou 1565-1-3
57389 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57389 Çorlu / Thraki / Ellas / Europe 1565-1-3

Die Daten bereinigen

Bevor sich diese Daten visualisieren lassen, müssen sie als CSV-Datensatz (comma separated values) lesbar sein; außerdem wollen die geografischen Angaben in ein „maschinenfreundlicheres“ Format gebracht werden, nämlich in GPS-Koordinaten. Bei Hunderten von Einträgen macht man das lieber nicht von Hand. Vortrainierte Sprachmodelle wie , oder , um nur einige zu nennen, erledigen es ziemlich schnell und ziemlich genau – allerdings nur unter strenger Aufsicht, denn zum Halluzinieren neigen sie alle ein wenig.

documentId,latitude,longitude,documentDate
57386,35.899167,14.514167,1565-1-3
57386,37.05,22.116667,1565-1-3
57386,31.200028,29.918719,1565-1-3
57386,38.366667,23.666667,1565-1-3
57386,45.438333,12.331333,1565-1-3
57386,41.018611,28.984444,1565-1-3
57386,42.7,18.8,1565-1-3
57389,40.216667,18.166667,1565-1-3
57389,37.966667,23.716667,1565-1-3
57389,35.899167,14.514167,1565-1-3
57389,47.4925,19.051389,1565-1-3
57389,31.200028,29.918719,1565-1-3
57389,34.916667,33.616667,1565-1-3
57389,36.405419,28.227778,1565-1-3
57389,41.018611,28.984444,1565-1-3
57389,41.133333,27.416667,1565-1-3

Die Dichtekarte

Eine Dichtekarte zeigt, wie oft ein Ort in einem Datensatz genannt wird. Das hilft, nicht nur die geografische Reichweite der Daten zu erfassen, sondern auch ihre Brennpunkte: Welche Orte tauchen immer wieder auf, welche nur gelegentlich? Wo liegen die Zentren, wie weit reicht die Peripherie? Und wohin auf der Karte richtet sich die Aufmerksamkeit eines Lesers am ehesten?

Für dieses Experiment – und weil es schnell gehen musste – habe ich auf eine der APIs von zurückgegriffen. Dieselbe Art von Dichtekarte lässt sich aber mit vielen Visualisierungsbibliotheken und Geoinformationssystemen erzeugen.

Einige Beobachtungen

Herausgekommen ist eher ein impressionistisches Tableau als die exakte Darstellung eines sauber definierbaren Begriffs – und genau das gefällt mir an diesem Versuch. Denn die Datenwissenschaft mag den Geisteswissenschaften eine mächtige Verbündete sein; an ihre Regeln halten müssen wir uns deshalb noch lange nicht.

Bemerkenswert ist außerdem, dass die Karte eine Levante zeigt, die mit dem übrigen Europa und dem Mittelmeerraum aufs Engste verflochten ist. Sie hebt zudem hervor, wie zentral Edirne in der politischen Geographie des Osmanischen Reiches stand. Die wichtigste Stadt Spaniens ist auf dieser Karte überdies weder Madrid noch der Escorial, sondern Neapel. Und nicht zuletzt scheinen Inseln und kleine Stadtstaaten wie Ragusa zwischen den Mächten der Region eine wichtige Mittlerrolle gespielt zu haben.

Wie man Daten bei MIA abfragt

So hervorragend MIA als kollaboratives Werkzeug für die Forschung auch ist – an die Daten auf seinen Servern kommt man nicht ohne Weiteres heran. Das Back-End etwa ist in keinem öffentlichen Repositorium veröffentlicht. Wer sich bei MIA registriert, kann die Daten aber dennoch beziehen, indem er den Server mit Python abfragt.

Anfrage

url = "https://mia.medici.org/Mia/json/de/advancedsearch/advancedSearchResults/0/90/docYear/asc/?isNewsFeedSearch=False"
payload = [{"searchSection":"archivalLocationSearch","type":"archivalLocationAdvancedSearch","isActiveFilter":True,"repository":None,"collection":"Mediceo del Principato","series":None,"volume":"2863","insert":None},{"searchSection":"categoryAndTypologySearch","type":"categoryAndTypologyAdvancedSearch","isActiveFilter":True,"category":"News","typology":None},{"searchSection":"transcriptionSearch","type":"transcriptionAdvancedSearch","isActiveFilter":False,"transcription":""},{"isActiveFilter":False,"searchSection":"synopsisSearch","type":"synopsisAdvancedSearch","synopsis":""},{"searchSection":"placesSearch","type":"placesAdvancedSearch","isActiveFilter":False,"places":[]},{"searchSection":"peopleSearch","type":"peopleAdvancedSearch","isActiveFilter":False,"people":[]},{"searchSection":"topicsSearch","type":"topicsAdvancedSearch","isActiveFilter":True,"topics":[{"topicTitle":"Place Index","topicId":"51","placeAllId":""}]},{"searchSection":"dateSearch","type":"dateAdvancedSearch","isActiveFilter":False,"dateFilterType":"","dateYear":"","dateMonth":"","dateDay":"","dateBYear":"","dateBMonth":"","dateBDay":""},{"searchSection":"documentOwnerSearch","type":"documentOwnerAdvancedSearch","isActiveFilter":False,"editType":"owner","account":""},{"searchSection":"languagesSearch","type":"languagesAdvancedSearch","isActiveFilter":False,"languages":[]}]
headers = {'Content-type': 'application/json', 'Accept': '*/*'}
r = requests.post(url, data=json.dumps(payload), headers=headers, auth=('LOGIN','PASSWORD'))

Ersetzen Sie LOGIN und PASSWORD durch Ihre eigenen Zugangsdaten.

Antwort in eine Datei schreiben

with open('response.json', 'wb') as fd:
 for chunk in r.iter_content(chunk_size=128):
 fd.write(chunk)

JSON öffnen

f = open('response.json', encoding="utf8")

JSON-Objekt als Dictionary zurückgeben

json_complete = json.load(f)

Daten aus dem JSON auswählen und als CSV ausgeben

with open('results.csv', 'w', newline='') as csvfile:
 fieldnames = ['documentId', 'placeCited', 'documentDate']
 writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
 writer.writeheader()
 for i in json_complete['data']:
 if i['topics'] != None:
 for x in i['topics']:
 documentId=x['documentId']
 placeCited=x['topicPlaceName']
 year=i['date']['docYear']
 month=i['date']['docMonth']
 day=i['date']['docDay']
 documentDate=str(year)+ "-" + str(month)+"-" + str(day)
 writer.writerow({'documentId': documentId, 'placeCited': placeCited, 'documentDate': documentDate})

Sobald Sie die Datei results.csv heruntergeladen haben, können Sie die Daten wie oben beschrieben bereinigen.

Handschriften visualisieren 2 (Update)

Sat, 20 Nov 2021 16:00:00 +0000

Wie versprochen: eine neue Fassung der interaktiven Treemap aus einem , diesmal mit zwei Ansichten.

Hinweis

Am besten wirkt die Darstellung im hellen Modus der Webseite (Mondsymbol oben rechts anklicken).

Group folios by category

Ein visueller Browser für das Archiv

Sun, 20 Jun 2021 16:00:00 +0000

Das Problem

Digitale Editionen leiden an einem Paradox: Sie machen entlegene Dokumente einem breiteren Publikum zugänglich – doch mit der Entmaterialisierung geht der sinnliche Halt verloren, und das verwirrt die Leserinnen und Leser oder schreckt sie gar davon ab, sich auf den Inhalt einzulassen. Sich durch riesige Dokumentbestände zu bewegen wird so umständlich und einschüchternd. Das gilt nicht nur für Nutzende, denen die Archivarbeit fremd ist, sondern auch für Leserinnen und Leser mit kognitiven Beeinträchtigungen.

Die Lösung

An dieser Stelle helfen die Metadaten des Archivs weiter. Aus ihnen lassen sich interaktive visuelle Abstraktionen bauen, die den Lesenden einen anderen sinnlichen Zugang eröffnen und damit Ergonomie wie Zugänglichkeit zugleich verbessern. Um das Archiv visuell begehbar zu machen, genügt eine Treemap – oder irgendein Diagramm, das hierarchische Daten übersichtlich aufgliedert.

Das Experiment

Mein erster Versuch passt den Code der für D3.js an und ergänzt ihn um Hyperlinks. Dargestellt wird die Handschrift BnF Ms. Fr. 640 mit ihren Folios und den Einträgen auf jedem Folio; die Farben zeigen die jeweils vorherrschende Kategorie an. Fährt man mit der Maus über einen Eintrag, erscheinen weitere Angaben, darunter der Link zur Handschrift.
So wird die Treemap zu einem interaktiven visuellen Register, das den Lesenden auf einen Blick und ohne Verzögerung Überblick verschafft – nicht nur über den Inhalt der Handschrift, sondern auch über den Umfang jedes Folios und jedes Eintrags.
~~In den kommenden Monaten werde ich diese Idee weiterverfolgen und andere Diagramme und andere Hierarchien ausprobieren … Bleiben Sie dran!~~ Eine neue Version der Treemap finden Sie .

Hinweis

Am besten wirkt die Darstellung im hellen Modus der Webseite (Mondsymbol oben rechts anklicken).

Click any cell to zoom in, or the top to zoom out.

Das Archiv auf einen Blick

Mon, 24 May 2021 16:00:00 +0000

Das Problem

Historische Archive können von entmutigender Unordnung sein. Das Mediceo del Principato im ist dafür ein Musterfall: Nur ein kleiner Teil des Bestands ist erschlossen, und viele Dokumente liegen ohne erkennbaren Grund über mehr als 6.500 Bände verstreut. Hinzu kommt, dass das Archiv nur eine begrenzte Zahl von Bänden – filze, wie man sie dort nennt – zur Einsicht ausgibt: in normalen Zeiten 4 filze am Tag, in Pandemiezeiten indes 4 alle zwei Wochen. Wo ausführliche Findmittel fehlen, zwingt schon die schiere Größe des Archivs die Forschenden, sich Strategien zurechtzulegen, um die gesuchten Dokumente rasch aufzuspüren.

Die Lösung

Die einen vertrauen auf den Zufall, die anderen versuchen es zusätzlich mit begründeten Vermutungen – nach Chronologie, Empfängern, Verfassern, Herkunft des Bestands, Sprache und dergleichen. Wer all diese Variablen aber gleichzeitig vor Augen hat, entdeckt in der Struktur des Archivs womöglich Muster, mit denen niemand gerechnet hatte, und kann seine Vermutungen entsprechend schärfen. Meine Erfahrung ist: Die Metadaten, die Forschende ohnehin in einer Tabelle sammeln, verschaffen, einmal grafisch aufbereitet, im Archiv einen ganz anderen Überblick.

Das Experiment

Ich arbeite derzeit über die Korrespondenz eines Spions des 16. Jahrhunderts. Seine Briefe verteilen sich auf Hunderte von filze; er schrieb sie unter wechselnden Identitäten, an wechselnde und mitunter überraschende Adressaten, von wechselnden Orten aus. Um jene filze zu finden, in denen die erhofften Briefe mit einiger Wahrscheinlichkeit liegen, habe ich mir ein Dashboard gebaut – eine interaktive Webanwendung zur Datenvisualisierung ( ), die Daten aller Art, darunter geografische und chronologische Angaben, mit einem hierarchischen Diagramm ( ) des Bestands verknüpft. Das Dashboard zeigt mir auf einen Blick, was schon gefunden ist, wie viel das ausmacht, und gibt mir eine ungefähre Ahnung, wo weitere Briefe zu vermuten wären. Klicke ich zudem einzelne Variablen an, richten sich alle Diagramme neu aus und lassen bestimmte Zusammenhänge hervortreten.

Wie es weitergeht

Vielleicht wichtiger noch: Dieses Dashboard lässt sich in ein visuelles Register umwidmen. Sobald die kritische Edition dieser Briefe online erscheint, wird es als zweiter Zugang dienen, von dem aus die Leserinnen und Leser die Daten durchstöbern können. Aus Gründen der Vertraulichkeit kann ich vorerst nur einen geschwärzten Screenshot zeigen; das vollständige Dashboard gebe ich im kommenden Jahr frei. Ein Prototyp wird schon bald verfügbar sein. Bleiben Sie dran!

Semantische Auszeichnung in BnF Ms. Fr. 640 sichtbar machen

Sun, 20 Dec 2020 18:15:00 +0000

Überblick

Datenreiche wissenschaftliche Editionen stecken voller editorischer Annotationen, die sich für die verschiedensten Forschungszwecke auslesen, analysieren und visualisieren lassen. So auch , erschienen 2020, deren Metadaten als Datei im GitHub-Repository der Edition zum Herunterladen bereitliegen. In diesem Beitrag zeige ich, wie man all diese Variablen in einer Korrelationsmatrix zusammenführt und auf verschiedene Weise sichtbar macht.

Die Daten

Das Making and Knowing Project erzeugt eine Tabelle mit laufend aktualisierten Angaben zum Inhalt der Handschrift: entry_metadata.csv. Die Datei liegt im des Making & Knowing Project. Wer mag, kann sich auch eigene .csv-Dateien mit zusätzlicher Auszeichnung erzeugen – dank Matthew Kumars vorzüglichem , einer Python-Fassung von BnF Ms. Fr. 640.

Python einrichten

Wir nehmen Pandas für die Datenaufbereitung, Matplotlib und seaborn für die Heatmaps und schließlich NetworkX, um aus den Korrelationen Netzwerke zu bauen.
Für Variablen dieser Art meiden wir die Pearson-Korrelation und greifen stattdessen zur 𝜙𝐾-Methode. Lesen Sie unbedingt , was es mit diesem Korrelationsmaß und der zugehörigen Bibliothek PhiK auf sich hat.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

Die Daten vorbereiten

Zunächst laden wir die aktuelle Metadatendatei der Edition aus dem Ordner „metadata“ ihres herunter. Wir behalten nur die Spalten, die wir brauchen. Für diese Demonstration nehme ich sämtliche semantischen Tags aus der englischen Übersetzung tl; ebenso gut könnten Sie die Tags der französischen Transkription tc oder der normalisierten Fassung tcn wählen. Die Werte sind durch Semikolons getrennt, und Python soll sie für uns zählen. Dazu dient die Stack-Unstack-Methode mit dem regulären Ausdruck [^;\s][^\;]*[^;\s]*. Damit die Matrix lesbarer wird, benennen wir die Spalten um. Wer es eilig hat, kann diesen Schritt überspringen – nur sollte man im Kopf behalten, dass unser Dataframe an dieser Stelle tagsrn heißt.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

Korrelieren

Ist der Dataframe bereinigt, können wir die Korrelationskoeffizienten zwischen den Variablen berechnen. An dieser Stelle sollte man seine Daten wirklich verstehen und sich vergewissern, dass man das passende Korrelationsmaß verwendet; das Paket pandas-profiling leistet dabei gute Dienste.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag ist unsere Korrelationsmatrix. Nun können wir verschiedene Darstellungen ausprobieren.

Visualisieren

Am nächsten liegt eine farbkodierte Matrix, erzeugt mit dem von seaborn.

Korrelations-Heatmap

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

Wer den Text gut kennt, sieht sofort, dass die Heatmap sehr wohl Sinn ergibt. Personennamen etwa korrelieren stark mit Latein – kein Wunder, war es doch gerade unter den Humanisten des 16. Jahrhunderts üblich, sie zu latinisieren.

Manche werden einwenden, die Heatmap renne offene Türen ein. Ganz unrecht haben sie nicht; auf den ersten Blick scheinen die medizinischen Tags das zu bestätigen, korrelieren sie doch erwartungsgemäß mit Körperteilen, Maßangaben und Pflanzen.

Liest man die Heatmap aber genauer, Zeile für Zeile, stößt man auf durchaus interessante und unerwartete Zusammenhänge. Dass medizinische Tags mit italienischen und lateinischen Wörtern korrelieren, gibt etwa Hinweise auf die Herkunft der medizinischen Rezepte in Ms. Fr. 640. Und die Korrelation von Berufen, Definitionen und Maßangaben zeigt, wie stark die berufliche Identität den technischen Diskurs des 16. Jahrhunderts strukturiert.

Korrelations-Clustermap

Heatmaps sind fürs „Explorieren“ nützlich, wirken auf ein Publikum aber leicht unübersichtlich – zumal, wenn man bestimmte semantische Cluster in der Handschrift erörtern (oder noch suchen) will. Hier kann das Modul clustermap von Seaborn interessante Ergebnisse liefern.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

Abgesehen davon, dass sie wie ein verpixeltes Insekt aussieht (ja, „pixelated“ steht im OED), trennt die Clustermap sauber die isolierten Tags (oben und links) von den stärker vernetzten. Auch abgelegene Cluster wie Musik und Poitevin (wer hätte das gedacht!) heben sich von zentraleren ab – Maßangaben, Material, Definitionen, Waffen. Die Berufe sind zwar besser vernetzt, gehören aber, jedenfalls in dieser Matrix, keinem bestimmten Cluster an.

Korrelationsnetzwerk

Will man die Korrelationen der Matrix noch stärker verdichten, bieten Netzwerkgraphen eine elegante Lösung – besonders dort, wo es darum geht, den Inhalt der Handschrift zu vermitteln.
Dafür müssen wir die Matrix in eine Liste von Kanten und Knoten verwandeln und einen Schwellenwert festlegen, der die schwächeren Korrelationen aus dem Graphen verbannt.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

Sind es zu viele Kanten und Knoten, lässt sich der Schwellenwert anpassen, bis das Bild aufgeräumter wird. Oder Sie exportieren den Graphen mit .write_gexf() und spielen in Gephi damit weiter.

nx.write_gexf(G, 'graph.gexf')

Das Ergebnis sehen Sie am Anfang dieses Beitrags.

Update: Kreisförmiges gewichtetes Netzwerk

Auf der Suche nach Wegen, Korrelationsmatrizen als gewichtete Netzwerke darzustellen, bin ich auf einen interessanten Ansatz gestoßen, den und den ich hier auf unseren Datensatz übertrage.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

Sind einige Kanten entfernt, legen wir Farbe und Stärke der übrigen fest.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

Außerdem bekommen die Knoten eine Größe, die ihrer Zahl an Verbindungen entspricht.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

Heraus kommt ein gewichteter Graph, der mehr Knoten und erheblich mehr Kanten verträgt und dabei lesbar und aussagekräftig bleibt.