デジタル・ヒューマニティーズ |

tei-mcp v0.3：原文を書き換えずにTEIを付ける

Tue, 05 May 2026 00:00:00 +0000

とき、目標はAIアシスタントにTEIマークアップをでっち上げさせないことでした。スキーマによるグラウンディングで、問題の一部は片づきました。P5仕様をツール経由で直接引けるようになれば、モデルは要素の意味や受け入れる属性を当て推量しなくて済む。出力は検証を通ります。

しかしTEIエンコーディングにおけるハルシネーションには二つの顔があり、スキーマが捉えるのはその一つだけです。仕様に照らした検証が教えてくれるのは、マークアップが整っていることまで。そのマークアップが包むテキストについては何も語りません。そして害の大きいハルシネーションが潜んでいるのは、まさにそこ――テキストそのもの――なのです。v0.3の目玉であるスパン固定合成は、これを防ぐためだけに設計されました。

スキーマが捉えられないハルシネーション

モデルに16世紀のフランス語書簡をエンコードさせると、見たところ非の打ちどころのないTEI文書が返ってくることがよくあります。ヘッダーは埋まり、<persName>タグは正しい位置にあり、<dateline>も整っている。validate_documentにかければ通ります。

そこで本文を原文と突き合わせてみてください。

mesmeがmêmeになっています。コンマが一つ移動している。luyはいつの間にかluiに現代化されている。写本で読みにくかった節は、もっと読みやすいものに「訂正」されている。どれも頼んだ覚えのない変更です。どれにも印はつきません。文書はスキーマ上は妥当で、しかしひっそりと間違っている。

エンコードされたテキストがそのまま恒久的な記録となり、後続の読者、検索インデックス、引用のよりどころになるアーカイブのワークフローにとって、これこそもっとも重大な故障の型です。壊れたタグは腹立たしい。しかし5年間誰も気づかない現代化された綴りは、汚損なのです。

スパン固定合成

新リリース（v0.3）は、まさにこの故障の型を狙い撃ちにしたハルシネーション防止の仕組みを搭載しています。設計目標は、本文のハルシネーションを単に起こりにくくするのではなく、構造上ありえなくすることです。

考え方は単純です。モデルは本文を一文字も打たない。

代わりに、ワークフローはこう進みます。

モデルはget_source("letter_001")を呼び、原文のプレーンテキストを不変の文字列として受け取ります。
付けたいタグごとにtag_span("letter_001", start, end, element_path, attrs)を呼び、原文上の文字範囲にTEI要素を登録します。
終わったらcompose("letter_001")を呼びます。サーバーは記録されたタグを元のプレーンテキストに織り込んで最終的なTEIを描画し、そのうえで、描画された文書の平文の内容が原文と等しいことをバイト単位で検証します。

バイトが一致すれば、文書が返ってきます。一致しなければ――モデルのタグがどういうわけか、原文と1文字でも違う本文を含意していれば――compose()は汚損した文書を返す代わりに例外を投げます。

このワークフローには、モデルが原文と本文の異なるTEI文書を生み出す経路が存在しません。この不変条件は機械的なもので、モデルの振る舞い頼みではありません。モデルがハルシネーションを起こさないと信じる必要はない。信じるべきは、二つのバイト列の==比較だけです。

これは何で、何でないか

スパン固定合成はスキーマ・グラウンディングを補うものであって、置き換えるものではありません。スキーマ・グラウンディングのツール群（validate_document、lookup_element、valid_children、そして元の16個の残り）は、モデルが妥当なTEIを作る助けになります。スパン固定合成は、そのTEIの中の本文が原文に忠実であることを保証します。実運用に耐えるエンコーディングのワークフローは両方の軸を満たさなければならず、いまや両方が一つのサーバーで賄えます。

万能薬でもありません。compose()はまだ、登録されたタグが読み込み済みのODDカスタマイズのもとで許されるかどうかを確認しません。これは次の課題です。記録されたタグはプロセスのメモリ上にあり、再起動すると消えます。また原文ファイルは、サーバーが動く場所から読める必要があります。いずれも対処可能ですし、中核の不変条件を揺るがすものではありません。

TEIの外でも大事な理由

このパターンは一般化できます。モデルにテキストの注釈付け、変換、ラッピングを頼むとき――そして、モデルがテキストを「改善」する力よりも元のテキストの完全性のほうが大事なときはいつでも――同じ形の解決策が使えます。モデルにテキストを打ち直させてはいけません。テキストに対する指示を出させ、決定論的なコンポーザーに、等価性の不変条件のもとでそれを適用させるのです。

とりわけデジタル版にとって、これは責任をもってモデルに任せられる仕事の範囲を変えます。エンコーディングは突如として、出力をいちいち原文と手作業で突き合わせなくても委ねられる仕事になる。退屈な道は機械が引き受け、編集者は綴りではなくマークアップを点検すればよいのです。

アップデートの入手

すでにtei-mcpを入れている場合：

uvx tei-mcp@latest

新規なら：

pip install tei-mcp

スパン固定合成を使うには、原文プレーンテキストのディレクトリをサーバーに指定します。

export TEI_MCP_SPAN_SOURCE_ROOT=/path/to/sources
uvx tei-mcp

各ファイルのステム（拡張子を除いた名前）が文書IDになります（letter_001.txt → letter_001）。

ソースコード、完全なドキュメント、不変条件の設計ノート：

もう一つのデジタル版のかたち

Tue, 24 Mar 2026 00:00:00 +0000

一次史料の大半は、公刊されないまま眠っています。それを何とかするために私たちが頼ってきたモデル――助成金頼みのデジタル版――は、高くつき、中央集権的で、壊れやすく、とても大規模には通用しません。私はこのほど、Cavrianaの書簡の校訂版をなぜ別のやり方で構築しているのかを説明したを公開しました。最小限のインフラで有機的に育ち、保守は自動化され、協働に開かれ、助成金など要らないほど安上がりな、デジタル化された一次史料。それは、制度の後ろ盾があろうとなかろうと機能する、そういうデジタル・ヒューマニティーズを擁護する議論です。

tei-mcp

Sun, 15 Mar 2026 00:00:00 +0000

tei-mcp：AIエージェントのためのTEI P5

tei-mcpは、AIコーディングアシスタントが仕様を直接引けるようにする、オープンソースのサーバーです。記憶した訓練データ――もっともらしくて誤ったマークアップの温床です――に頼る代わりに、AIはその場で仕様に問い合わせられます。

機能

サーバーはTEI P5のODDを解析し、16のツールを公開します。

要素、クラス、マクロ、モジュールを名前で検索。大文字小文字は区別せず、綴り間違いには候補を提示
TEIのクラス階層全体で属性を解決（ローカル＋継承）
クラスとマクロを解決しながら、内容モデルを展開して構造化された木に
入れ子を検証――直接の親子関係、または経路を追跡した再帰的な到達可能性
TEI P5に照らして文書を検証：内容モデル、属性、閉じた値リスト、参照の整合性、非推奨警告
漸進的な編集ワークフロー向けに単一要素を検証
ODDカスタマイズを読み込み、スキーマをプロジェクト固有のサブセットに絞り込み
正規表現で、あらゆるエンティティ型を横断して検索

インストール

pip install tei-mcp

または、次のコマンドで直接実行します。

uvx tei-mcp

使い方

MCP互換のクライアント（Claude、Cursor、Windsurfなど）に追加します。

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

ソースコードとドキュメントはにあります。

tei-mcp：AIエージェントのためのTEI P5

Sun, 15 Mar 2026 00:00:00 +0000

AIコーディングアシスタントにTEI XMLを書かせたことがある人なら、間違いの多さに気づいているはずです。要素があってはならない場所に現れる。属性が捏造される。入れ子の規則が無視される。モデルはTEIがどんなものかを大まかには知っていますが、仕様についての確かな知識は持ち合わせていないのです。

tei-mcpは、AIエージェントにTEI P5ガイドラインをツール経由で直接引かせることで、この問題を解決します。

MCPとは

（MCP）は、AIアプリケーションを外部のデータソースやツールにつなぐためのオープン標準です。AI用のUSBポートと考えてください。Claude、Cursor、Windsurfをはじめ互換性のあるクライアントなら何でも、単一のプロトコルで専門的なサービスに差し込めます。

MCPサーバーは、AIが会話の途中で呼び出せるツールを公開します。記憶した訓練データに頼る代わりに、モデルは生きた、権威ある情報源に問い合わせられるのです。

tei-mcpにできること

tei-mcpはTEI P5のODD仕様を解析し、編集者やエンコーダーがよく抱く疑問に答える16のツールを公開します。

この要素は何か？ 要素、クラス、マクロ、モジュールを名前で引けます。大文字小文字は区別せず、綴り間違いには候補を提示します。
どんな属性を取るか？ クラス階層全体をたどって属性を解決します――まずローカルの属性、次に継承された属性を順に。
中に何を入れられるか？ 内容モデルを構造化された木に展開するか、有効な子要素の一覧を平坦に取り出します。
この要素はここに置けるか？ 親子の入れ子を確認するか、要素階層全体を通じた到達可能性を追跡します。
この文書は妥当か？ TEI XMLファイルを仕様に照らして検証します。内容モデル、属性値、閉じた値リスト、参照の整合性、非推奨警告まで。
自分のプロジェクトのスキーマは？ ODDカスタマイズファイルを読み込めば、上のすべてをプロジェクト固有のTEIサブセットに絞り込めます。

なぜ大事か

TEIエンコーディングでは、ガイドラインを絶えず引く必要があります。熟練したエンコーダーはよく使うパターンを体で覚えていますが、それでもなじみの薄い要素や込み入った内容モデルとなれば仕様を確かめます。そうした身についた知識を持たないAIアシスタントの場合、問題はもっと深刻です。もっともらしく見えて誤ったマークアップをでっち上げてしまうのです。

tei-mcpがあれば、AIは当て推量をしなくて済みます。山括弧を一つ打つ前に、仕様で答えを引けるからです。結果として得られるのは、TEI P5に――あるいはプロジェクトのODDカスタマイズに――準拠したマークアップです。

使いはじめる

PyPIからインストールします。

pip install tei-mcp

次に、MCPクライアントの設定に追加します。

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

サーバーは初回起動時にTEI仕様をダウンロードし、MCP互換のクライアントならどれとでも動きます。

ソースコードと完全なドキュメント：

Multi-Saxon

Fri, 28 Mar 2025 00:00:00 +0000

Multi-Saxon：大規模TEIコーパスのための並列XSLT処理

Multi-Saxonは、LXML（広く使われているPythonのXMLライブラリ）では扱えないXSLT 2.0および3.0の変換を並列に実行できるようにし、XML処理ツールの重大な空白を埋めます。XML TEI文書の大規模なコレクションに的を絞って設計されており、効率のよい並列実行で処理時間を大幅に縮めます。

主な機能

高度なXSLT対応：LXMLの手に余るXSLT 2.0および3.0の変換を処理
並列処理：並列化により、大規模な文書コレクションの変換時間を劇的に短縮
TEIに最適化：Text Encoding Initiative（TEI）のXML文書に特化して設計
スケーラブルな性能：数百から数千の文書からなるコーパスを効率よく処理
クロスプラットフォーム：さまざまなOSや環境で動作

Multi-Saxonが解決する問題

TEIを扱うデジタル・ヒューマニティーズの研究者は、往々にして二つの壁にぶつかります。

LXML（Pythonでよく使われるXML処理ライブラリ）はXSLT 1.0にしか対応しておらず、XSLT 2.0/3.0の高度な機能が使えない
TEI文書の大規模なコーパスを一つずつ順に処理すると、途方もない時間がかかる

Multi-Saxonは、Saxonの高度なXSLT機能を活かしつつ処理を複数のコアに振り分けることで、この両方に対処し、大幅な性能向上を実現します。

実装

Multi-SaxonはPythonとJavaのSaxonプロセッサを組み合わせ、高性能な変換パイプラインを構成します。

堅牢なXSLT 2.0/3.0処理にJavaのSaxonライブラリを使用
マルチプロセッシングにより、利用可能なCPUコアに変換を分散
スループットを最大化するようプロセッサプールを効率よく管理
TEI文書をバッチ処理するための簡潔なインターフェースを提供

使用例

from multi_saxon import MultiSaxon

# Initialize with your XSLT stylesheet
transformer = MultiSaxon("transform.xsl")

# Transform a single document
transformer.transform("input.xml", "output.xml")

# Transform an entire directory in parallel
transformer.transform_directory("input_dir", "output_dir")

デジタル・ヒューマニティーズへのインパクト

大規模なTEI文書コレクションを扱うデジタル・ヒューマニティーズのプロジェクトにとって、Multi-Saxonは次のことを可能にします。

LXMLでは不可能な、コーパス全体にわたる複雑な変換
処理時間の劇的な短縮（マルチコア環境では5〜10倍になることも珍しくありません）
XSLT 2.0/3.0の高度な機能による、より洗練された分析
文書コレクション全体を処理するワークフローの簡素化

ソースコードとドキュメントはにあります。

persNamer

Fri, 28 Mar 2025 00:00:00 +0000

persNamer：TEIをバーチャル国際典拠ファイルにつなぐ

persNamerは、VIAF（バーチャル国際典拠ファイル）の典拠データをTEI XML文書に取り込む作業を効率化する、専用のPythonツールです。VIAF識別子をそのまま使えるTEIマークアップに変換することで、デジタル校訂版のための構造化された人物エントリを作る手作業を大きく減らします。

TEIにおける典拠管理の難しさ

デジタル校訂版では、標準化された名前や生没年を含め、歴史上の人物を正確に同定することがしばしば求められます。プロジェクト全体で典拠管理を一貫させるには、次の手順が要ります。

歴史的テキストの中の人物を同定する
その人物についての典拠データを探す
正しく整形されたTEIエントリを作る
プロジェクト全体で参照を一貫させる

これらの手順はふつう手作業で、時間がかかり、不整合も起こりがちです。

persNamerの仕組み

persNamerは、次の手順でこのワークフローを自動化します。

VIAFデータの取得：VIAF識別子を受け取ると、HTTPコンテントネゴシエーションでRDFデータを取得します
主要情報の抽出：RDFを解析し、優先名、生年月日、没年月日を取り出します
TEIマークアップの生成：欠かせない二つのXMLスニペットを作ります。
- 典拠ファイルのエントリ（生成したxml:id、<persName>、<birth>、<death>、<idno type="VIAF">をもつ<person>要素）
- それとは別の注釈タグ（典拠エントリを参照するref属性をもつ<persName>）

この二つの出力があるおかげで、編集者は典拠ファイルを一元管理しながら、注釈タグをTEIテキストに手軽に挿し込めます。

主な機能

標準化されたID生成：pers-[familyname]-[givenname initial]の形式で一貫したXML IDを生成（例：pers-deteligny-c）
RDF解析：rdflibを使い、さまざまなRDFプロパティ（rdfs:label、schema:name、viaf:mainHeadなど）から情報を抽出
コマンドラインインターフェース：必須引数はVIAF番号だけという手軽さ
詳細な出力：最終的なXMLとあわせて、処理の経過を詳しく表示

使用例

python persNamer.py 314802260

このコマンドの出力は次のとおりです。

<person xml:id="pers-deteligny-c">
 <persName>Charles deTéligny</persName>
 <birth>1535</birth>
 <death>1572-08-24</death>
 <idno type="VIAF">314802260</idno>
</person>

<persName ref="#pers-deteligny-c">Charles deTéligny</persName>

デジタル・ヒューマニティーズでの用途

persNamerがとりわけ役立つのは、次のような場面です。

典拠管理を必要とするデジタル校訂版
歴史上の人物を扱うTEIエンコーディングのプロジェクト
文書を典拠レコードに結びつけるリンクトデータの取り組み
大規模なTEIコーパス全体での一貫性の確保
デジタル・ヒューマニティーズの授業での、典拠管理という概念の指導

実装

persNamerはPythonで書かれており、以下に依存しています。

HTTPリクエストにrequests
RDF解析にrdflib
XML処理にlxml

ソースコードとドキュメントはにあります。

事前学習済み言語モデルで大量の書誌を解析する

Thu, 07 Jul 2022 19:04:14 +0200

自動化は、デジタル・ヒューマニティーズのプロジェクトのコストを下げる鍵です。これまで、学術の現場で編集作業につきものの単調で骨の折れる仕事は、手一杯の研究者が高いコストをかけてこなすか、学生に「外注」するかのどちらかでした。こので私が論じているのは、こうした報われない仕事の大半は自動化できるだけでなく、自動化すべきだということです。編集作業を自動化すれば、デジタル・ヒューマニティーズのプロジェクト全体のコストが下がります。なにより、低所得地域の研究者が貴重な文書を手早く、無理のない費用で公刊できるようになるのです。

では、たとえばデジタル版のXMLラベル付け作業の大半を事前学習済み言語モデルに任せられることを示しました。

本稿ではもう一つの例として、参考文献を取り上げます。

問題

学術論文に引かれた文献から書誌データベースを作るのは、それ自体は難しくありません。のような目録でさっと検索して特定の形式で書誌をダウンロードするか、手元のデータベースから自動で取り込めばよい。論文が1本か2本なら、これで事足ります。ところが文献の数がある一線を越えると、この作業はたちまち味気なく、時間ばかり食うものになります。そこでのような解析アルゴリズムの出番となるわけですが、こうしたアルゴリズムは規模を広げるのが難しいことがあります。私たちのに収められた150本以上の学術エッセイをanystyleで変換したときには、積み上がった誤りの量はとても手に負えるものではありませんでした。多くの出典を正しく認識できず、近世の書物の長ったらしい標題を別のものと取り違え、特定のウェブページやオンライン動画といった型破りな文書には歯が立たなかったのです。パーサーがうまく働くのは、著者がシカゴ、トゥラビアン、MLAといった広く知られた規約を忠実に守っている限りのことで、規範から少しでも外れれば誤りになります。

解決策

ここで事前学習済み言語モデルの出番です。どんな書誌スタイルのパターンでも――自分で考案したスタイルでさえ――たちどころに飲み込み、わずかな例だけで、整形済みの大量の参考文献をにきちんと変換してくれるからです。

2021年の初め、私は幸運にもOpenAIのを早期に使う機会に恵まれました。Codexは、自然言語をコードに、またその逆に翻訳するモデルです。OpenAIによれば十数のプログラミング言語に通じており、この記事を書いている時点ではAPIはまだベータ版ですが、すでにGitHubののような人気アプリケーションを動かしています。

このAPIをあれこれ試すうちに、BibTeXのようなもっと単純なコードにもよく効くことに気づきました。

実際、安定して動かすのに必要だったのは、入力プロンプトの例が4つだけでした。

入力プロンプト

References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009.

Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015.

Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. .

Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994.

@incollection{bayle2009,
 author = {Bayle, Ariane},
 booktitle = {Vulgariser la médecine. Du style médical en France et en Italie},
 title = {Patients exemplaires: la correspondance médicale de Fioravanti},
 editor = {Carlino, Andrea and Michel Jeanneret},
 year = {2009},
 address = {Geneva},
 publisher = {Droz},
 langid = {french}
}
@book{berns2015,
 title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth},
 author = {Berns, Andrew D.},
 address = {Cambridge},
 publisher = {Cambridge University Press},
 langid = {english},
 date = {2015}
}
@article{gabler2010,
 author = {Gabler, Hans Walter},
 title = {Theorizing the Digital Scholarly Edition},
 journal = {Literature Compass},
 volume = {7},
 number = {2},
 pages = {43-56},
 doi = {10.1111/j.1741-4113.2009.00675.x},
 langid = {english},
 year = {2010}
}
@book{findlen1994,
 title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy},
 author = {Findlen, Paula},
 address = {Berkeley},
 publisher = {University of California Press},
 langid = {english},
 date = {1994}
}

結果

は目覚ましく、2,000件を超える書誌参照がほんの数日で変換されました。入力プロンプトで示したパターンを正確に再現しただけでなく、プロンプトにはなかったエントリ型やフィールド型まで正しく補ってきたのです。つまりGPT-3はBibTeXを完璧に使いこなせる、ということです。もっと意外だったのは、実質的に英語で訓練されたモデルでありながら、すべての言語（ロシア語、フランス語、イタリア語、ラテン語、ギリシャ語、ドイツ語、スペイン語など）を見分け、毎回正しいlangidフィールドを付けてきたことでしょう。

注

GPT-3には現在、入出力のサイズに制限があり、処理できる言語トークンは最大2048です。この制限が外れれば、同じ作業はおそらく1時間以内で済むでしょう。

いささか予想外なことに、GPT-3は元の参照にない情報まで付け加えてきました。

Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015.

たとえばこの書誌では、GPT-3は論文を読めるオープンアクセスリポジトリ（）への永続リンクを、HAL独自のフィールドHAL_IDとHAL_VERSIONまで含めて追加しています。

@inproceedings{baillot2015,
 title = {Editing for Man and Machine},
 author = {Baillot, Anne and Busch, Anna},
 year = 2015,
 booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting},
 address = {Leicester},
 series = {Variants (Journal of the European Society for Textual Scholarship)},
 volume = 13,
 editor = {Bruhn, Siglinde and Schreiber, Manfred},
 langid = {english},
 hal_id = {halshs-01233380},
 hal_version = {v1}
}

こうした補足が示しているのは、 GPT-3が書誌を解析するだけでなく、当初学習した内容をもとにそれを補完しているということです。その点で、GPT-3の訓練より後の日付の文献に対しても同じように振る舞うのかどうかは、確かめてみたいところです……

限界

とはいえ、GPT-3は完璧ではありません。人間が目を光らせている必要があります。よく知られた弱点の一つがで、ときに事実をでっち上げ、ありそうもない仮定を置くのです。

私の実験でGPT-3の支離滅裂さが露わになったのは、ある著者の姓を「Ruscelli」から「Ruscello」へ勝手に変えたときでした。近世イタリアの姓は複数形と単数形が区別なく使われましたから、厳密には誤りとは言えません。しかし今日の慣例では、姓が複数形であれ単数形であれ、そのまま残すのが筋です。今どきMachiavelliをMachiavelloと呼ぶ人はいませんし、同じ理屈でRosselliではなくRosselloと書くのが決まりです。GPT-3がこの慣例を無視したのは、年代の感覚が欠けているからでしょうか。それとも、参考文献のこの箇所ではたまたま隣り合う姓がすべて単数形だった（Bariletto、Cesano、Rossello）ので、それに引きずられて推測したのでしょうか。誰にもわかりません。

@book{rossello1565,
 title = {Della summa de’ secreti universali},
 author = {Rossello, Timoteo},
 address = {Venice},
 publisher = {Giovanni Bariletto},
 langid = {italian},
 date = {1565}
}
@book{ruscello1559,
 title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese},
 author = {Ruscello, Girolamo},
 address = {Pesaro},
 publisher = {Bartolomeo Cesano},
 langid = {italian},
 date = {1559}
}

結論

4年にわたる緊密な協働のなかで書かれ、 150本以上のエッセイは、私たちが校訂・翻訳した写本について欠かせない情報を提供するだけでなく、貴重な書誌情報も含んでいます。

これらの書誌をデータベースにまとめておけば、編集者は書式を瞬時に切り替えられ、思いどおりの形で表示できる自由度が増します。データベースはまた、校訂版とそれを生んだプロジェクトについての貴重な情報源にもなり、研究者に新しい分析の視点を開きます。そしてこうしたデータベースは、高い精度で、しかも記録的な短期間で完成させられるのです。

たしかに、とりわけGPT-3のハルシネーション癖のせいで、いくらかの誤りが紛れ込むことはあるでしょう。しかし事前学習済み言語モデルの次の世代は、この問題を和らげてくれるはずです。

Avviso | 私たちを近代にしたニュースを公刊する（1537—1743年）

Sun, 12 Dec 2021 00:00:00 +0000

Avvisoプロジェクトの主眼は、メディチ家のコレクションの一部をなし、現在はフィレンツェ国立文書館に所蔵されている、avvisiと呼ばれる35,000点の近世の手書きニュースレターを、デジタル化し、保存し、目録化し、校訂し、文脈のなかに位置づけ、広く公開することにあります。約35,000点のavvisi――近世の手書きニュースレター――の目録化、デジタル化、公開を、Medici Archive ProjectのMedici Interactive Archiveプラットフォームを通じて行います。

効率的な校訂

Sun, 12 Dec 2021 00:00:00 +0000

デジタル校訂版は重荷です。高度に専門的な人員が担う転写、翻訳、注釈の労働は何千時間分にもなり、長期の制度的支援に加えて相当な資金を必要とします。

デジタル・ヒューマニティーズの花形プロジェクトが運営に必要な巨額の資金を集められるのは、ある意味ではありがたいことです。

とはいえ、裕福な財団や大学、政府機関の気前のよさに寄りかかり、大量の人手を長期にわたって必要とし続けるやり方は、将来に通用する経済モデルとは言えません。一次史料の野心的なデジタル版を作れる研究者が増えているにしても、この営みは依然として少数の富裕国の特権にとどまり、その文化的覇権をいっそう強めています。

世界中の歴史的文書をより広い公衆に開くためには、デジタル校訂版のコストは桁違いに下がらなければなりません。

この一連のブログ記事では、世界中の研究者が一次史料をより速く、最小限の費用で公刊するために使える、さまざまなアプローチと技術的な部品を検証します。

とりわけ、機械学習、ブロックチェーン、分散型ストレージといった技術を取り上げます。

デジタル校訂版のマークアップを自動化する

Mon, 22 Nov 2021 18:15:00 +0000

はじめに

予算を食いつぶさずにデジタル校訂版をつくるには、どうすればよいのでしょうか。効率的な校訂をめぐるシリーズの第1回となる本稿では、意味的マークアップをはじめとする校訂作業の自動化に、事前学習済み言語モデルがどこまで役立つかを検討します。

問題

愛は金勘定をしない

愛にかかわることでは費用を数えない――古い諺はそう言います。デジタル校訂版ほど、これがよく当てはまるものもありません。転写、翻訳、注釈にかかる作業は何千時間にも及び、の場合には、高度な専門性をもつ何百人もの協力者がそれを担ってきました。

デジタル・ヒューマニティーズの花形プロジェクトが運営に必要な巨額の資金を集められるのは、ある意味ではありがたいことです。とはいえ、裕福な財団や大学、政府機関の気前のよさに寄りかかり、大量の人手を長期にわたって必要とし続けるやり方は、将来に通用する経済モデルとは言えません。

実際、世界中の研究者に歴史的文書をより広い公衆へ開いてもらいたいのなら、デジタル校訂版のコストは桁違いに下がらなければならないのです。

高い敷居

いささか逆説的ですが、解決の糸口は、のような労働集約的なプロジェクトの側にあるのかもしれません。というのも、それらは貴重な訓練データになるからです。マークアップをはじめ、デジタル校訂につきものの最も味気なく反復的な作業を自動化するための、またとない教材というわけです。

マークアップが取るに足らない作業だ、と言いたいのではありません。それどころか、マークアップは今や、本格的なデジタル学術プロジェクトに欠かせない構成要素です。によって標準化されたマークアップのおかげで、文書とそれが伝えるテキストについて、構造、欄外の書き込み、抹消、異文、紙の種類、染み、書体……と、思いつく限りの側面を記録できるようになりました。

次に挙げるのはからの一例で、マークアップがテキストに情報（カテゴリー、構造、意味領域、抹消など）を上乗せし、ひいてはデジタル版に紙の先祖にはない強みを与えている様子がわかります。

プレーンテキスト XMLマークアップ

プレーンテキスト	XMLマークアップ
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

この情報はアーカイブとしての価値にとどまらず、以前に別の場所で示したとおり、総合や分析にも役立ちます。ただし、この種の注釈は途方もなく時間を食います。同じテキストを翻訳、転写、現代語化といった複数の姿で用意しなければならないことが多いからです。

解決策

Transformer――自動化への最短経路か？

2020年、は汎用の大規模言語モデルの最新ファミリー、GPT-3を鳴り物入りで発表しました。「Generative Pre-trained Transformer 3」の略です。Transformerは人工知能の分野ではまだ新しい突破口で、プロンプトを読み、ごく少数の例を眺めるだけで、目を見張る速さで新しいタスクを覚えます。目的に合わせたデータセットで追加訓練（ファインチューニング）を施し、応答速度と精度を上げることもできます。GPT-3とその同類がと呼ばれるゆえんです。

OpenAIによれば、GPT-3は空前の1750億パラメータを備え、570GBを超えるテキストで訓練されています。その大半は英語の文書で、おそらくから集められたものでしょう。この途方もない規模ゆえに、GPT-3はこの分野の新たな基準となり、追加の訓練なしに、そら恐ろしいほどの真実味でさまざまな仕事をこなします。もっともらしいを書き、チャットルームで、、、文書を翻訳し、専門用語を解説する、といった具合です。

2021年5月からOpenAIのAPIを早期に使えたおかげで、私は難問とされる仕事の数々でこのモデルを試すことができました。フランス語の詩や新ラテン語のテキストの英訳、類推の説明、さらにはカントの『人倫の形而上学の基礎づけ』第4巻を7歳児向けに噛み砕くこと（説得力はいまひとつでしたが）まで。

Codex

GPT-3の最近の展開のひとつは、コンピュータ言語に的を絞ったものです。Codexと名付けられたこのモデルは、自然言語をコンピュータ言語に、またその逆へと翻訳します。たとえば「大文字で始まる単語だけを探す」正規表現が欲しいと言えば、GPT-3はすぐさま動く正規表現に訳してくれます：[A-Z]+\w+。

OpenAIによれば、CodexはPython、JavaScript、Go、Perl、PHP、Ruby、Swiftなど十数のコンピュータ言語を扱えます。擬似コードをそのままコードに変換してくれるので、使う側は言語の煩わしい構文ではなく、問題を解くための論理の手順と戦略に集中できるのです。

OpenAIの外へ

言うまでもなく、この分野の役者はOpenAIだけではありません。先に触れたとおり、北京智源人工知能研究院は2021年、さらに大きく高性能なWu Dao 2を発表しました。NvidiaとMicrosoftは手を組み、その名もMegatron-Turing NLG 530Bというモデルを世に出しました。やといった小さめのスタートアップも一般向けにAPIを提供していますし、のようなオープンソースの取り組みも見逃せません。もっともAIの世界の動きは速く、新しい動向を追うにはを覗くのが一番です。

実験

注

この実験のねらいは、校訂作業を信頼できるかたちで自動化するための、いちばん安上がりな道を見つけることです。ここで扱う作業の一部は教師あり学習でも自動化できる、という反論もあるでしょう。その仮説は別の記事で検討します。

GPT-3のようなTransformerは、たとえば16世紀の技術・科学写本に注釈を付けることを学べるのでしょうか。

実験1――テキストの分類

まずは比較的やさしいところから。「few-shot learner」たるGPT-3なら、Ms Fr 640の各項目を私たちの編集チームがどう分類してきたかを、すぐに飲み込めるはずです。

プロンプト設計

訓練には最小限のプロンプトを使い、例としてプレーンテキストの短い項目を4つ選びました。「医学」「武器と甲冑」「絵画」に関するものが含まれています。

テスト

次に、最初の例には入っていなかった別の一節を貼り付けました。

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

出力は内容とぴたりと一致しています。

<categories="painting">

GPT-3の訓練に選んだ最初のテキスト群にすら含まれていなかったカテゴリーの項目で試してみると、驚くべき結果が返ってきます。

<categories="jewelry">

結果

「jewelry（宝飾）」というカテゴリーは、私たちのMs. Fr. 640校訂版には存在しません。編集チームはもっと広い「Stones（石）」というカテゴリーを。それでもGPT-3の勘は悪くなく、もう少し訓練すればMs. Fr. 640のどの項目でも、ひいては同種の16世紀技術文書の項目でも分類できるようになりそうだ、ということを示しています。

実験2――意味的マークアップ

ハードルをもう少し上げましょう。GPT-3のようなTransformerが編集上の基準に従ってテキストを分類できるのなら、テキストのマークアップの一部を見分けることもできるのでしょうか。

注

Secrets of Craft and Natureは、意味的ラベルと構造的ラベルをいます。あいにくGPT-3は、などのプロジェクトと違って画像を処理できません。文書の構造的・物質的な側面の大半を認識するにはこの能力が要りますから、将来のGPTには備わることになるでしょう。ここではそうしたタグは脇に置き、画像認識を必要としないマークアップに絞ります。

プロンプト設計

意味的タグは、動物、植物、地名、感覚的な入力などへの言及を扱います。訓練用プロンプトには、校訂版からいくつか例を選びました。

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

テスト

Davinci-codexモデルで、Apothecary、smoke、glassmakers、latten、snakeといった易しい単語を試してみましょう。結果は即座に返ってきて、非の打ちどころがありません。

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

もう一段難しいのは、copper plates、walnut oil、wood blockのような複合語です。ここでは、GPT-3が入れ子のタグをきちんと扱えるかどうかを見ます。

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

結果は玉石混淆でした。Davinci-codexが正しくラベル付けできたのはwalnut oilだけで、copper platesとwood blockに含まれるtlとmの入れ子タグは見逃しています。もっとも、次のテストが示すように、この種の誤りは訓練プロンプトを改善すれば減らせます。入れ子タグの例を5つ足したところ、Davinci-codexは（oil paintbrushesの）1件を除いて、ほぼ完璧な結果を返しました。

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

結論

忘れてならないのは、これらのテストがごく短いテキスト断片で行われたことです。例とプロンプトにもっと文脈を与えれば、GPT-3系のモデルはさらによい結果を出すだろうと私は見ています。加えて、目的に合わせたデータセットでファインチューニングすれば、ラベル付けの精度はまず間違いなく上がるでしょう。事前学習済み言語モデルの信頼性を実証するには、もっと大規模な実験が必要でしょう。それでも、このアプローチを使えば、編集者は注釈作業のいくつかをわずか数ステップで自動化でき、膨大な時間と費用を節約できる可能性がある ――そう結論づけることはできます。

写本の可視化2（アップデート）

Sat, 20 Nov 2021 16:00:00 +0000

お約束どおり、で紹介したインタラクティブ・ツリーマップの新バージョンです。今回は表示モードが二つあります。

注

快適に閲覧するには、ページの設定をライトモードにしてください（右上の月のアイコンをクリック）。

Group folios by category

アーカイブのビジュアルブラウザ

Sun, 20 Jun 2021 16:00:00 +0000

問題

デジタル版はある逆説を抱えています。難解な文書をより広い公衆に開く一方で、非物質化に伴って感覚的な手がかりが失われ、読者は方向を見失い、中身に取り組む気力さえ削がれてしまいがちなのです。膨大な文書リポジトリを渉猟するのは、それだけで煩わしく、気後れのする作業になります。これはアーカイブ調査に不慣れな利用者だけでなく、認知障害のある読者にも当てはまります。

解決策

ここで役に立つのがアーカイブのメタデータです。こうしたデータがあれば、読者にもう一つの感覚的な手がかりを与えるインタラクティブな視覚的抽象を作ることができ、使い勝手とアクセシビリティの両方が高まります。アーカイブを目で辿れるようにするには、ツリーマップでも、階層データを手際よく分解してくれる図なら何でも用は足ります。

実験

最初の実験では、D3.js用のを改変し、ハイパーリンクを加えました。写本BnF Ms Fr 640とそのフォリオ、各フォリオ内の項目を表しています。色は支配的なカテゴリーを示します。各項目にカーソルを重ねると、写本へのハイパーリンクを含むさらなる情報が表示されます。こうしてツリーマップはインタラクティブな視覚的索引となり、写本の内容だけでなく、各フォリオと各項目の大きさまで、素早く軽快に一望させてくれます。 ~~今後数か月は、別の図や別の階層を試しながら、このアイデアの実験を続けていきます……ご期待ください！~~ ツリーマップの新バージョンは。

注

快適に閲覧するには、ページの設定をライトモードにしてください（右上の月のアイコンをクリック）。

Click any cell to zoom in, or the top to zoom out.

一目でわかるアーカイブ

Mon, 24 May 2021 16:00:00 +0000

問題

歴史的なアーカイブというものは、気が遠くなるほど雑然としていることがあります。のMediceo del Principatoはその典型です。目録が整っているのはごく一部にすぎず、多くの文書はこれといった理由もなく6,500巻以上に散らばっています。話をさらにややこしくするのが、閲覧できる巻数（現地ではfilze、つまり綴りと呼びます）の制限です。平時なら上限は1日4filze。ところがパンデミックの時期には、2週間に4冊にまで減りました。詳しい目録がない以上、この途方もない規模のアーカイブを前にした研究者は、目当ての文書に手早くたどり着くための戦略を練らざるをえません。

解決策

運に任せる人もいれば、年代、受取人、差出人、文書群の由来、言語などを手がかりに、根拠のある当たりをつける人もいるでしょう。しかし、こうした変数を同時に眺めてみると、アーカイブの構造について思いがけないパターンが浮かび上がり、当たりの精度が上がることがあります。私の経験では、研究者がふつうスプレッドシートに書き溜めているメタデータをグラフにするだけで、文書館での状況把握は格段に楽になるのです。

実験

私が今取り組んでいるのは、16世紀のあるスパイの書簡です。その手紙は数百のfilzeに散らばり、別々の名義で、別々の――ときに思いがけない――宛先へ、別々の場所から書かれています。目当ての手紙が眠っていそうなfilzeを絞り込むために、私はダッシュボード、つまりインタラクティブなデータ可視化のウェブアプリケーション（）を組みました。地理や年代の情報をはじめあらゆる種類のデータを、文書群の階層図（）と結びつけたものです。ダッシュボードを見れば、何がすでに見つかっていて、それが全体のどれほどにあたり、新しい手紙をどこで探せばよさそうかが一目でわかります。しかも特定の変数をクリックすれば、すべての図が更新され、それに応じた相関が表示されます。

次の一手

もっと大事なのは、おそらく、このダッシュボードが視覚的な索引に転用できることでしょう。書簡の校訂版がオンラインで公開されたあかつきには、ダッシュボードはもう一つの入口となり、読者はそこからデータを渉猟できるようになります。守秘上の理由から、いまは一部を伏せたスクリーンショットしかお見せできませんが、完全版は来年公開する予定です。それまでのつなぎとして、プロトタイプも近く公開します。どうぞお楽しみに。

Making & Knowing Project

Sun, 27 Dec 2020 00:00:00 +0000

は、2014年にPamela H. Smithが創設し、数百人の協力者を擁する研究・教育プロジェクトで、コロンビア大学のを拠点としています。

私はポストドクトラル・フェローとしてこのプロジェクトに加わり、とりわけBnF Ms. Fr. 640のに携わりました。この比類ない16世紀フランス語写本は、芸術家がすなわち科学者でもあった時代のものづくりと素材について、生の声を伝えてくれます。

デジタル版はで豊富なデータを自由に使えるようにしています。来年にかけて、この校訂版とそのデータをめぐる一連のブログ記事を公開する予定です。PythonやRでテキストをいかに簡単にダウンロードし、分析できるかをお見せしましょう。どうぞお楽しみに。

BnF Ms. Fr. 640の意味的マークアップを可視化する

Sun, 20 Dec 2020 18:15:00 +0000

概要

データの豊かな校訂版には、あらゆる研究目的のために抽出し、分析し、可視化できる貴重な編集上の注釈が詰まっています。2020年に公開されたもその一つで、メタデータファイルをGitHubリポジトリからダウンロードできるようにしています。本稿では、これらの変数をすべて相関行列にまとめ、いくつかの方法で可視化する手順を示します。

データ

Making and Knowing Projectは、写本の内容に関する最新情報をまとめたスプレッドシートentry_metadata.csvを生成しています。ファイルはMaking & Knowingのから取得できます。あるいは、Matthew Kumarによる優れた ――BnF Ms. Fr. 640のPython版――を使えば、マークアップをさらに加えた独自の.csvファイルを作ることもできます。

Pythonの準備

データの整形にはPandas、ヒートマップにはMatplotlibとseaborn、そして最後に、相関に基づくネットワークを描くためにNetworkXを使います。この種の変数にはピアソン法は避け、代わりに𝜙𝐾法を使います。この相関手法と、対応するライブラリPhiKについては、あらかじめしておいてください。

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

データの準備

まず、のmetadataフォルダから、校訂版の最新のメタデータファイルをダウンロードします。使うのは必要な列だけです。このデモでは英訳tlの意味的タグをすべて選びますが、フランス語転写tcや正規化版tcnのタグを選んでもかまいません。データはセミコロン区切りになっているので、Pythonに数えてもらう必要があります。そこで正規表現[^;\s][^\;]*[^;\s]*を使い、stack-unstackの手法で数えます。行列を読みやすくするために、各列の名前を付け替えます。急ぎならこの手順は飛ばしてもかまいませんが、この段階でデータフレームがtagsrnという名前になっていることだけは覚えておいてください。

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

相関

データフレームが整ったら、各変数間の相関係数を計算します。この段階で大事なのは、自分のデータを理解し、もっとも適した相関手法を選ぶことです。pandas-profilingパッケージが、この作業には特に役立ちます。

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortagが相関行列です。ここからいろいろな可視化を試せます。

可視化

まず試せるのは、seabornのを使い、色で符号化した行列として描くことです。

相関ヒートマップ

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

テキストをよく知っている人なら、このヒートマップが実に理にかなっていることがすぐにわかるでしょう。たとえば人名はラテン語と強く相関しています。とりわけ16世紀の人文主義者のあいだでは、名前をラテン語化するのが習わしだったからです。

このヒートマップは当たり前のことを言っているだけだ、という人もいるかもしれません。あながち間違いではなく、一見したところ医学タグはその好例に見えます。予想どおり、身体部位、計量、植物と相関しているからです。

しかしヒートマップを一行ずつ丹念に読んでいくと、興味深く、思いがけない相関が見つかります。たとえば医学タグがイタリア語やラテン語の語と相関していることは、Ms. Fr. 640の医療レシピの出どころについて手がかりをくれます。同様に、職業、定義、計量のあいだの相関は、職業的アイデンティティが16世紀の技術的言説をどれほど深く形づくっていたかを物語っています。

相関クラスターマップ

ヒートマップは「探索」の場面では便利ですが、聴衆の目には少し雑然と映るかもしれません。写本の中の特定の意味的クラスターについて論じている――あるいはまだ探している――ときはなおさらです。Seabornのclustermapモジュールなら、面白い結果が得られるでしょう。

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

ピクセル化した（そう、この語はOEDにも載っています）昆虫のように見えるのはさておき、このクラスターマップは、孤立したタグ（上と左）と互いに結びついたタグとをはっきり分けてくれます。音楽とポワトゥー方言（誰が予想したでしょう！）のような孤立したクラスターと、計量、素材、定義、武器のようなより中心的なクラスターも見分けられます。職業はより多くと結びついていますが、少なくともこの相関行列では、特定のクラスターには属していません。

相関ネットワーク

行列に含まれる相関をさらに凝縮したいなら、ネットワークグラフが優雅な解決策です。写本の内容を人に伝えたい場面では、とりわけそうです。そのためには、行列をエッジとノードのリストに変換し、弱い相関をグラフから落とすための閾値を決める必要があります。

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

エッジやノードが多すぎるなら、閾値を変えてすっきりさせられます。あるいは.write_gexf()関数でグラフを書き出し、Gephiでいじることもできます。

nx.write_gexf(G, 'graph.gexf')

結果は本稿の冒頭でご覧いただけます。

アップデート――円形の重み付きネットワーク

相関行列を重み付きネットワークとして表示する方法を探していて、面白いアプローチを見つけました。ここでは私たちのデータセットに合わせて手を加えます。

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

エッジをいくつか落としたら、色と太さを決めます。

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

ノードには、接続数に比例した大きさも与えます。

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

結果は、より多くのノードとはるかに多くのエッジを収めながら、なお読みやすく情報量の多い重み付きグラフです。

Filippo Cavrianaの秘密書簡、1568—1589年

Fri, 27 Dec 2019 00:00:00 +0000

Filippo Cavrianaの秘密書簡は、フランス宗教戦争の比類ない証言です。フランス宮廷とその外の日々を刻んだ陰謀、戦闘、交渉、共謀を、20年以上にわたって伝えています。

これらの書簡はにありますが、大半は目録のない数百の綴り――フィレンツェでfilzeと呼ばれるもの――に散らばっています。ここ数年で数十通の新しい書簡を見つけることができたものの、この種のアーカイブ調査は年々難しくなっています。フィレンツェからの距離、イタリアの一部の公共サービスの劣化、そして新型コロナウイルスのパンデミック。そのすべてが、この種の公刊プロジェクトを長く先の見えない道のりにしています。

困難が増しているとはいえ、一次史料の公刊は歴史家の仕事の一部であり続けるべきです。ただし、その公刊がとる形は、おそらく変わっていくべきでしょう。一次史料の公刊は、上に述べた状況に適応するだけでなく、この研究の漸進的な性格をもっとよく映し、誰か別の人が引き継げるようになっていなければなりません。

そこから生まれたのが、スケーラブルで、持続可能で、信頼でき、プラットフォームに依存せず、そして協働的にもなりうる、新しいタイプのデジタル公刊プロジェクトという構想です。

校訂版はすでにオンラインで公開されています：。フィレンツェ国立文書館、マントヴァ、BnFからこれまでに転写した書簡を集めたもので、新しい書簡が見つかるたびに育っていきます。その設計の背後にある考え方は、で説明しました。