Zibaldone |

火ではなく、柵

Sun, 06 Sep 2026 00:00:00 +0000

ノースラスベガスの倉庫で、Amazonは古本の背を切り落とす機械を回しています。ばらけたページはスキャナーを通り、紙は溶解処理へ送られる。はこれを現代の焚書になぞらえ、決まり文句を出し惜しみしませんでした。サヴォナローラへの言及、いかにも稀覯本らしいストック写真、そしてもちろんベルリンの焚書。案の定、高級紙はもう少し冷静でしたが、同じ比較を宙ぶらりんのまま残しました。憤ってみせる割に、これらの記事はAI業界に対して驚くほど手ぬるいのです。スキャンされる知識を誰が握るのか。この問いは、焚書というたわごとを片付けるまでお預けです。

スキャナーは焚火ではない

物理的な一冊を壊すというだけでは、破壊的スキャンはサヴォナローラの焚火やナチスの焚書の現代版にはなりません。あの行為の意味は、何が、なぜ断罪されたかにありました。焚書論争のたびに引き合いに出される気の毒な修道士サヴォナローラは、公の贖罪として持ち物の一部を燃やすよう人々に呼びかけたのです。ナチスの焚火が演出したのは別種の拒絶でした。本を公然と燃やすことで、その著者たちにドイツの文化生活に居場所はないと宣言したのです。どちらの場合も、破壊は見せるための行為でした。デジタル化で広く使われる破壊的スキャンは、それとは別の目的に仕えます。中身を残すために一冊を犠牲にする。本は壊され、テキストは物質から解き放たれる。『華氏451度』を持ち出したくなる人は、ブラッドベリの消防士たちが後で読むためにテキストを取っておいたわけではないことを思い出すとよいでしょう。

は見出しに「稀覯本」を掲げて不安を煽り、他のメディアも律儀にこれを繰り返しました。ところが、その調査自体が引用している古書店主によれば、こうした大量注文はとのこと。つまり大半は、1970年頃にISBNが導入されて以降の版です。カーブートセールやチャリティーショップに並ぶ類の本で、大掃除のたびに処分されかねない品々。文化的大惨事を宣言する前に、図書館の目録を引いてみてはどうでしょう。これらはまさに、法定納本図書館が保存するために存在している出版物なのです。たしかにISBNがあるからといって、納本された一冊が現存する保証はありません。しかし古本市場で品薄だからといって、テキストが消滅したことにもなりません。

溶解処理は、献辞や欄外の書き込みもろとも、物理的な一冊を消し去ります。歴史的に意義のある注記や来歴をもつ本は、できれば古本市場に流れる前に、見つけ出して保存すべきです。絶版書の現物が減っていくのを心配するのも、もっともでしょう。ただしその場合は、なぜ権利者が再版もせず、既存のデジタル複製へのアクセスも認めないのかを問うべきです。研究者ならこの苛立ちを知っています。Google Booksで探していた一節が見つかったのに、表示されるのは新刊で買うこともオンラインで読むこともできない本の断片だけ、という経験を。ここには議論に値する損失があります。しかしそれで、スキャナーがナチスの焚火に化けるわけではありません。

一方、出版業界は昔から、売れ残った本を日常業務として溶解処理してきました。フランスだけでも、、これは売れ残って取次に返品された総量の約60%にあたります。これを在庫管理と呼びます。余剰在庫と希少な古書とでは、アクセスをめぐる問いの立て方も違いますが、紙を壊すこと自体は検閲でも暴政でもありません。

本が増えれば、AIはよくなる？

AI企業が本を買ってスキャンしているのは、実のところ朗報です。人間の文化の理解が浅いと日頃から批判されている技術が、より多くの文化を取り込もうとしている。研究者はむしろ、この努力を歓迎してもよかったはずです。

ウェブは、ある言語が積み上げてきた記録の貧弱な代用品にすぎません。小説や回想録から流行歌や会話の書き起こしまで、言語の記録された生の多くは、印刷物からウェブに移されたことがないのです。こうした本の多くは、出版社より長生きしています。訓練データに取り込むことがもっとも重要なのは、他にほとんど何もない場合です。英語の本が数冊増えたところで、改善はわずかでしょう。ところが十分に代表されていない言語では、その数冊が使えるシステムと使えないシステムの分かれ目になりえます。こうしたツールが公共サービスや日常生活にふさわしいかどうかは、公の議論に委ねられるべき問いです。ただ、どこで使うと決めるにせよ、自分の言語で使えなければなりません。

スペインとオランダで報じられた注文は、言語をめぐって何が懸かっているかを具体的に示しています。5月、は、バダロナの古書店主が主にカタルーニャ語のノンフィクション――歴史書、技術マニュアル、古い学会論文集――の注文を繰り返し受けていると報じました。8月にはオランダの報道が、De Slegteへのの依頼を伝えています。本の言語は、少なくとも装丁の運命と同じだけの注意に値します。Daily Mailにそれを求めるのは酷かもしれません。とはいえ、もっと冷静な新聞でさえ、関係する言語についてはほとんど語っていないのです。

大手出版社とのライセンス契約も貴重な資料を供給しうるものですが、そのデジタルカタログが覆うのは、印刷物として世に出たもののごく一部にすぎません。デジタル化されたことのない本や、出版社がもう権利を持たない本は、提供の外に置かれます。どれほど気前のよいライセンス契約でも、出版の歴史の代わりにはならず、ましてや文化の歴史の代わりにはなりません。古本を買うことは、そうした商業的な境界の向こうへ手を伸ばす一つの方法なのです。

「窃盗」は論拠にならない

「窃盗」と呼んでみても、事態は進みません。2025年6月、米国の2つの連邦地方裁判所は、目の前の事案について、言語モデルの訓練に本を使うことはフェアユースにあたると判断しました。事件で裁判所が強調したのは、訓練の変容的な性格です。本は、新しい表現を生み出せるシステムを作るために使われた。モデルは一節を記憶することがありますが、本を訓練に使ったからといって、テキスト全体が求めに応じて取り出せるようになるわけではありません。かといって、逐語的な複製がないからすべての異議が退けられるわけでもない。事件で判事は、AI生成物が市場に溢れる恐れがあり、そうした損害の証拠があればフェアユースの抗弁を退けうると警告しました。ただし、この原告たちは自分の著作に対するそうした損害について、意味のある証拠を出していませんでした。どちらの判決もAI企業に無制限の許可を与えるものではなく、倫理的な論争に決着をつけるものでもありません。両判決が私たちに求めているのは、本がどう取得され、複製がどう保持され、訓練がそれをどう扱うかを区別することです。そのすべてを「窃盗」とひとくくりにすれば、この問いは宙に浮いたままです。

ついでに言えば、Anthropic判決は裁断機の根拠にもなっています。裁判所は購入した本のデジタル化を支持する一方、海賊版の本を恒久的なライブラリに溜め込むことを退けました。後者について同社はのちに。デジタル化が認められた理由の一つは、変換の過程で印刷された各部が破壊されたことでした。デジタル複製が現物に取って代わり、社外で共有されることはなかった。一部の人々をこれほど憤らせている破壊が、Anthropicにとっては、デジタル化計画がフェアユースであると立証する助けになったのです。この事案では、買って、スキャンして、捨てることが合法的な経路でした。ここでの裁断機は、法令遵守の道具なのです。本を買えば、取得の問題は解決できます。しかしそれだけでは、できあがったコーパスを共有する許しは誰にも与えられません。

AIがもっと多くの言語、もっと多くの学術研究、そしてインターネット以前に存在した世界のもっと多くを取り込んでほしいと願う理由は、十分にあります。私たちの嫌いな企業がそこに商機を見出したからといって、その理由が消えるわけではありません。

借り物の憤り

そこでDaily Mailに戻りましょう。あの記事は、新聞社のオーナーと出版社がAI向けのを求めるキャンペーン、の一部です。都合のよいすり替えが二つ、仕事をしています。ビッグテックがAIの代わりに立ち、権利者が英国の創造性の代わりに立つ。出版社が文化の売却条件を交渉している横で、読者は文化を守れと促されるわけです。この記事を拡散する研究者は、自分の憤りが誰の大義に仕えているのか、問うてみてもよいでしょう。

ビッグテックとは賃料をめぐって争っていますが、柵そのものに反対する者はどちらにもいません。テック大手に奪われる孤独な著者という物語は、高額なライセンス契約が両陣営にもたらすものを隠しています。出版社は金を受け取り、ビッグテックは小さな競合が参入できない市場を手に入れる。ピーター・ティールはシリコンバレーの本音をもっと率直に語っています。。

ライセンスが必ずそういう結果を生むわけではありません。手頃で非排他的なアクセスなら、小規模な開発者の助けになるでしょう。しかし、参入者それぞれに大手権利者との高額な契約を強いる仕組みは、購買力を参入の条件に変えてしまいます。文化産業への譲歩として差し出される支払いが、結局は将来の競合相手に対する防壁を買っているのです。

AIはビッグテックのものではない

もっと根の深い問題があります。AI批判の多くは、最大の商業的供給者をこの分野の全体と取り違えている。製品が見出しを独占し、それらの企業の外にある研究開発は視界から消えます。ビッグテックにとって、これほど都合のよい誤解はないでしょう。この分野を丸ごと所有しようという野心が、その野心に向けられた批判の前提になっているのですから。独占はまだ完成していません。それを既定の事実として扱うのは、これらの企業に途方もない贈り物をするようなものです。

オープンソースAIがあれば、より多様な言語、文化、表現形式を映したシステムを、人々が自分で構築し、手を加えられます。ヨーロッパ、アフリカ、ラテンアメリカの国々にとって、また韓国、日本、インドにとって、それは技術的・文化的主権の実際的な基盤です。すなわち、システムがどう動き、どの言語に仕え、どこで使われるかを自ら決める力。AIを使うかどうか、何のために使うかは、外国の供給者への依存に左右されるのではなく、公共の選択であり続けるべきです。

とはいえ、システムを改変する自由も、それを実行する手段がなければ絵に描いた餅です。独立した取り組みには、専門知識、計算インフラ、そして訓練資料へのアクセスが要ります。ここで話は本に戻ります。研究チームや公的機関がそれぞれ自前で出版契約を交渉し、自前の私設ライブラリを組み上げなければならないのなら、独立は結局、その費用を賄える者だけの特権にとどまるのです。

本はもうここにある

図書館と文書館は、こうしたシステムに必要な資料を何世代にもわたって集めてきました。そのコレクションが存在するのは、知識へのアクセスは、知識を売る商業的な関心より長く続くべきだからです。すでに多くがスキャンされています。は研究図書館から集めた約1,900万冊のデジタル化蔵書を抱えており、その多くはまだ著作権の保護下にあります。図書館は本をスキャンし、そして本を手元に残す。そこに裁断機は要りません。HathiTrustはが、同時に、非商業的なAI研究開発向けにコーパスへのアクセスを提供するというプロジェクトを発表しています。もっとも、その条件でのアクセスでも、一部の独立系開発者は締め出されたままでしょう。

ただし、本を所有しているからといって、図書館がその著作権付きの中身を訓練コーパスとして配布する権利を得るわけではありません。は、研究機関と図書館が科学研究のために合法的にアクセスできる著作物をマイニングすることを認め、権利者が権利を留保していない場合にはより広いマイニングも許しています。。そのマイニング例外は非商業的研究に限られ、複製の移転を制限しています。どちらの枠組みも、他者が上に築けるよう著作権付きの所蔵資料を共有する一般的な権利を、図書館に与えてはいないのです。

権利者が本の計算的利用をいつまで支配すべきかも、考え直してよいでしょう。医薬品特許は一つの比較の物差しになります。通常20年というその存続期間は、著者の生涯プラス70年という著作権の保護期間よりはるかに短い。再版と販売の権利は保護したまま、たとえば初版から20年たった本はライセンス料なしにテキスト・データマイニングに使える、という仕組みにはできないものでしょうか。著者が本を売る権利を守ることは、中身のあらゆる使い道を何世代にもわたって支配することとは別のはずです。

私は2年前、紙で、文化遺産データは公共財として扱うべきだと論じました。政府は図書館と文書館に資金を出し、コレクションをデジタル化し、転写し、記録させ、できあがったコーパスを他者が上に築けるよう公開する法的権限を与えるべきです。ビッグテックには、専用の課徴金を通じて費用の一部を負担してもらえばよい。

公的資金には、公開されたコレクション方針とアクセス規則が伴うべきで、排他的契約や寄付者への優遇なしに、学術利用も商業利用もカバーすべきです。訓練のためのアクセスは、著作権付きの本の無制限な再配布を意味する必要はありません。著者は、同意、報酬、自分の著作との競合への対処を含め、公的な仕組みの設計に加わるべきです。利用者への無料アクセスと、公的資金による著者への報酬は両立します。本が貸し出されるたびに公費から著者に支払うは、その先例の一つです。火はもとより本題ではありませんでした。本題は柵なのです。

編集者の皆さんへ――私の声が欲しいなら、私の言語を返してください

Thu, 27 Aug 2026 00:00:00 +0000

また今日も、どこかの学術誌がAIポリシーを高らかに掲げています。今度はProgress in Human Geography誌です。編集者たちはを公表し、自分で読み、考え、書く代わりにAIを使うのは「剽窃にも等しい学術倫理違反」だと警告しました。違反が見つかった論文は「撤回されうる」。よくて訂正の上、誌上に訂正通知が載る。そのうえで著者は「撤回や訂正通知に自分の名前が結びつくことを望むかどうか、よく考える」べきだ、というのです。

この一文は、少し立ち止まって味わう価値があります。撤回は学術出版における制裁の最上級で、ふつうは捏造や不正のためにとってある罰です。それがここでは、同じ論説が定義すらできない違反に結びつけられている。編集者たち自身が認めるとおり、「正真正銘のグレーゾーン」があり、「『無責任』の領域を画する明確な線はない」のです。運用は「不当なAI利用はしていないと主張する著者を怒らせるかもしれない判断」に委ねられる。つまり本人の申告は覆されうるわけです。続く助言は、「責任」の領域に「安全に」とどまれというもの。しかし安全を説くのは、危険があるところに限られます。自分でも引けないと認める線を越えたといって人を罰することに意味があるとすれば、それはねらいが恐怖による統治にある場合だけでしょう。この点は、頭の隅に置いておいてください。

「声」という口実

では、責任ある利用とはどういうものでしょうか。著者はこう告げられます。「自分自身の声を保つよう……細心の注意を払わなければならない」。誤用とは、「著者自身がふだん決して使わないような言語で書く」ためにAIに頼ることだ、と。母語話者にとって、これは筋が通っています。自分でないものを装うな、というわけですから。ところが、自分のものでない言語で書かざるをえない外国人にとって、この命令は自己矛盾です。ポリシーが守ろうとする声とは、この学術誌自身の規則が私たちに認めていない、まさにその一つのものなのです。

私を試験台にしてみましょう。英語は私の第4言語で、まさに「ふだん」なら決して使わない類の言語です。英語圏の大学は私に、短く、道標を立てて、ほとんど機械的に書くことを叩き込みました。トピックセンテンスは冒頭に、ヘッジは決められた場所に、接続表現は認可済みのリストから。訓練は効きました。私の英語に守るべき声などあったためしがない。声こそ、真っ先に捨てるべきものだったのです。編集者たち自身の定義に従えば、私が英語で書いたものはすべて、機械の有無にかかわらず、不適切な利用ということになります。

板挟み

編集者たちは、私たちのことも考えたと言います。ポリシーは、非母語話者がAIによる英語チェック、さらにはその「翻訳、執筆、編集のサービス」から恩恵を受けることを認めているのです。しかし執筆へのAIの関与は「せいぜい編集と校正の支援」にとどまるべきで、「AIが書いた大量のテキスト」に及んではならない。機械翻訳された論文は、最初の一語から最後の一語までAIが書いたものです。「大量のテキスト」以外の何ものでもない。したがってこの譲歩が成り立つのは、翻訳が執筆ではない場合に限られます。ではその線はどこに引かれるのか。答えはもう聞いています。「明確な線はない」。

さらに悪いことがあります。この疑いは反証不可能なだけではありません。サイコロに細工がしてあるのです。2023年、スタンフォード大学のチームが、人間の書いたエッセイを相手に、広く使われている7種類のAI検出器を試しました。検出器は非母語話者によるTOEFLエッセイの平均61%を機械生成と判定した一方で、母語話者のエッセイはほぼ完璧に見分けました。ある検出器に至っては、TOEFLのセットの97.8%を機械生成と判定しています（）。理由は示唆に富んでいます。検出器が測るのは予測可能性です。ところが平均に向けて訓練された第二言語の英語は、設計上、予測可能なのです。もっともありそうな語が、もっともありそうな順序で並ぶ。同じ研究は、本物の学術研究にも同じシグナルを見出しました。非母語話者が第一著者の学会論文では、言語的な変異が小さかったのです。「AI」と読まれる文体上の手がかりは、達者な第二言語英語の手がかりそのものであり、人間の「判断」もまた、機械と同じ手がかりを読んでいます。こうして板挟みは完成します。自分の英語で書けば機械に見え、機械を使えば規則を破ることになる。

言語税

この逆説も、脅しを伴っていなければ罪のないものだったでしょう。しかしその脅しは、ポリシーが決して名指ししない、もっと深く古い問題をあぶり出します。単一言語主義です。は「可能な限り広い国際的な網羅性」を求めながら、同じページで「本誌の言語は英語である」と述べています。

この取り決めの代償は、仮定の話ではありません。Amanoらは908人の環境科学者を調査し、英語の非母語話者は論文を書くのに最大51%多くの時間を費やし、言語だけを理由に2.5倍の頻度で却下され、12.5倍の頻度で修正を求められることを明らかにしました（）。この税は、AIポリシーが登場する前から徴収されていたものです。申告書とその脅しは、その上にさらに積まれた監査にほかなりません。

Fin d’empire

単一言語主義は、誰も議論しない公理です。それは帝国の遺産であり、時とともに実務上の正当化を手に入れました。翻訳は遅く高くつき、読めないものを審査できる編集委員会などなかったからです。しかし機械翻訳の進歩の前に、この理屈はどれも立ちゆきません。最先端の機械翻訳は、著者と編集者のあいだの信頼できる中間層として使えるのです。

理想の出口は人間の側にあります。研究者が複数の言語を読めばよいのです。ところが英語圏の大学は、それより現代語学部を閉じるほうを選びます。注意してほしいのは、この閉鎖が英米圏に固有の現象だということです。それ以外の地域の研究者には、単一言語主義という贅沢はもとよりありませんでした。そしてタイミングにも目を向けてください。語学部を閉じるということは、英語が永久に勝利し、読むに値するものが二度と他の言語で書かれることはない、という賭けに出ることです。この賭けは二重の意味で、まさに最悪の時期になされています。第一に、機械翻訳のおかげで、史上初めてリンガ・フランカなしで済ませることが可能になりつつあるから。第二に、英語を既定の言語に押し上げた秩序そのものが後退しつつあるからです。英語圏は内向きになり、グローバル化は退潮し、自由貿易はその本家においてさえ争点となり、読むに値する言語が増えていく多極的な世界が形を取りつつあります。大学は、英語だけでは足りない世界のために、英語しか読めない研究者を量産している。その損失を最初に引き受けるのは、編集委員会です。

編集者への試金石

編集委員会が著者自身の声を読めないと嘆くなら、問題の一端は編集委員会そのものにあるのではないでしょうか。

これは重い非難ですから、重い試験を添えておきます。Progress in Human Geography誌は、フランス語、イタリア語、あるいは日本語で書かれ、機械翻訳した英語版を添えた投稿を査読するでしょうか。それを可能にする「翻訳」サービスは、この学術誌自身の規定が認めています。答えが「はい」なら、問題は終わりです。「いいえ」なら、このポリシーが実際に何を守っているのかがわかります。

どちらにせよ、選ぶのは編集者たちです。彼らの言うとおり声が大事なのなら、著者がものを考える言語で書かれた論文を受け入れるべきです。そうでないなら、申告書は廃止し、脅しもろとも消してしまうべきでしょう。

tei-mcp v0.3：原文を書き換えずにTEIを付ける

Tue, 05 May 2026 00:00:00 +0000

とき、目標はAIアシスタントにTEIマークアップをでっち上げさせないことでした。スキーマによるグラウンディングで、問題の一部は片づきました。P5仕様をツール経由で直接引けるようになれば、モデルは要素の意味や受け入れる属性を当て推量しなくて済む。出力は検証を通ります。

しかしTEIエンコーディングにおけるハルシネーションには二つの顔があり、スキーマが捉えるのはその一つだけです。仕様に照らした検証が教えてくれるのは、マークアップが整っていることまで。そのマークアップが包むテキストについては何も語りません。そして害の大きいハルシネーションが潜んでいるのは、まさにそこ――テキストそのもの――なのです。v0.3の目玉であるスパン固定合成は、これを防ぐためだけに設計されました。

スキーマが捉えられないハルシネーション

モデルに16世紀のフランス語書簡をエンコードさせると、見たところ非の打ちどころのないTEI文書が返ってくることがよくあります。ヘッダーは埋まり、<persName>タグは正しい位置にあり、<dateline>も整っている。validate_documentにかければ通ります。

そこで本文を原文と突き合わせてみてください。

mesmeがmêmeになっています。コンマが一つ移動している。luyはいつの間にかluiに現代化されている。写本で読みにくかった節は、もっと読みやすいものに「訂正」されている。どれも頼んだ覚えのない変更です。どれにも印はつきません。文書はスキーマ上は妥当で、しかしひっそりと間違っている。

エンコードされたテキストがそのまま恒久的な記録となり、後続の読者、検索インデックス、引用のよりどころになるアーカイブのワークフローにとって、これこそもっとも重大な故障の型です。壊れたタグは腹立たしい。しかし5年間誰も気づかない現代化された綴りは、汚損なのです。

スパン固定合成

新リリース（v0.3）は、まさにこの故障の型を狙い撃ちにしたハルシネーション防止の仕組みを搭載しています。設計目標は、本文のハルシネーションを単に起こりにくくするのではなく、構造上ありえなくすることです。

考え方は単純です。モデルは本文を一文字も打たない。

代わりに、ワークフローはこう進みます。

モデルはget_source("letter_001")を呼び、原文のプレーンテキストを不変の文字列として受け取ります。
付けたいタグごとにtag_span("letter_001", start, end, element_path, attrs)を呼び、原文上の文字範囲にTEI要素を登録します。
終わったらcompose("letter_001")を呼びます。サーバーは記録されたタグを元のプレーンテキストに織り込んで最終的なTEIを描画し、そのうえで、描画された文書の平文の内容が原文と等しいことをバイト単位で検証します。

バイトが一致すれば、文書が返ってきます。一致しなければ――モデルのタグがどういうわけか、原文と1文字でも違う本文を含意していれば――compose()は汚損した文書を返す代わりに例外を投げます。

このワークフローには、モデルが原文と本文の異なるTEI文書を生み出す経路が存在しません。この不変条件は機械的なもので、モデルの振る舞い頼みではありません。モデルがハルシネーションを起こさないと信じる必要はない。信じるべきは、二つのバイト列の==比較だけです。

これは何で、何でないか

スパン固定合成はスキーマ・グラウンディングを補うものであって、置き換えるものではありません。スキーマ・グラウンディングのツール群（validate_document、lookup_element、valid_children、そして元の16個の残り）は、モデルが妥当なTEIを作る助けになります。スパン固定合成は、そのTEIの中の本文が原文に忠実であることを保証します。実運用に耐えるエンコーディングのワークフローは両方の軸を満たさなければならず、いまや両方が一つのサーバーで賄えます。

万能薬でもありません。compose()はまだ、登録されたタグが読み込み済みのODDカスタマイズのもとで許されるかどうかを確認しません。これは次の課題です。記録されたタグはプロセスのメモリ上にあり、再起動すると消えます。また原文ファイルは、サーバーが動く場所から読める必要があります。いずれも対処可能ですし、中核の不変条件を揺るがすものではありません。

TEIの外でも大事な理由

このパターンは一般化できます。モデルにテキストの注釈付け、変換、ラッピングを頼むとき――そして、モデルがテキストを「改善」する力よりも元のテキストの完全性のほうが大事なときはいつでも――同じ形の解決策が使えます。モデルにテキストを打ち直させてはいけません。テキストに対する指示を出させ、決定論的なコンポーザーに、等価性の不変条件のもとでそれを適用させるのです。

とりわけデジタル版にとって、これは責任をもってモデルに任せられる仕事の範囲を変えます。エンコーディングは突如として、出力をいちいち原文と手作業で突き合わせなくても委ねられる仕事になる。退屈な道は機械が引き受け、編集者は綴りではなくマークアップを点検すればよいのです。

アップデートの入手

すでにtei-mcpを入れている場合：

uvx tei-mcp@latest

新規なら：

pip install tei-mcp

スパン固定合成を使うには、原文プレーンテキストのディレクトリをサーバーに指定します。

export TEI_MCP_SPAN_SOURCE_ROOT=/path/to/sources
uvx tei-mcp

各ファイルのステム（拡張子を除いた名前）が文書IDになります（letter_001.txt → letter_001）。

ソースコード、完全なドキュメント、不変条件の設計ノート：

もう一つのデジタル版のかたち

Tue, 24 Mar 2026 00:00:00 +0000

一次史料の大半は、公刊されないまま眠っています。それを何とかするために私たちが頼ってきたモデル――助成金頼みのデジタル版――は、高くつき、中央集権的で、壊れやすく、とても大規模には通用しません。私はこのほど、Cavrianaの書簡の校訂版をなぜ別のやり方で構築しているのかを説明したを公開しました。最小限のインフラで有機的に育ち、保守は自動化され、協働に開かれ、助成金など要らないほど安上がりな、デジタル化された一次史料。それは、制度の後ろ盾があろうとなかろうと機能する、そういうデジタル・ヒューマニティーズを擁護する議論です。

tei-mcp：AIエージェントのためのTEI P5

Sun, 15 Mar 2026 00:00:00 +0000

AIコーディングアシスタントにTEI XMLを書かせたことがある人なら、間違いの多さに気づいているはずです。要素があってはならない場所に現れる。属性が捏造される。入れ子の規則が無視される。モデルはTEIがどんなものかを大まかには知っていますが、仕様についての確かな知識は持ち合わせていないのです。

tei-mcpは、AIエージェントにTEI P5ガイドラインをツール経由で直接引かせることで、この問題を解決します。

MCPとは

（MCP）は、AIアプリケーションを外部のデータソースやツールにつなぐためのオープン標準です。AI用のUSBポートと考えてください。Claude、Cursor、Windsurfをはじめ互換性のあるクライアントなら何でも、単一のプロトコルで専門的なサービスに差し込めます。

MCPサーバーは、AIが会話の途中で呼び出せるツールを公開します。記憶した訓練データに頼る代わりに、モデルは生きた、権威ある情報源に問い合わせられるのです。

tei-mcpにできること

tei-mcpはTEI P5のODD仕様を解析し、編集者やエンコーダーがよく抱く疑問に答える16のツールを公開します。

この要素は何か？ 要素、クラス、マクロ、モジュールを名前で引けます。大文字小文字は区別せず、綴り間違いには候補を提示します。
どんな属性を取るか？ クラス階層全体をたどって属性を解決します――まずローカルの属性、次に継承された属性を順に。
中に何を入れられるか？ 内容モデルを構造化された木に展開するか、有効な子要素の一覧を平坦に取り出します。
この要素はここに置けるか？ 親子の入れ子を確認するか、要素階層全体を通じた到達可能性を追跡します。
この文書は妥当か？ TEI XMLファイルを仕様に照らして検証します。内容モデル、属性値、閉じた値リスト、参照の整合性、非推奨警告まで。
自分のプロジェクトのスキーマは？ ODDカスタマイズファイルを読み込めば、上のすべてをプロジェクト固有のTEIサブセットに絞り込めます。

なぜ大事か

TEIエンコーディングでは、ガイドラインを絶えず引く必要があります。熟練したエンコーダーはよく使うパターンを体で覚えていますが、それでもなじみの薄い要素や込み入った内容モデルとなれば仕様を確かめます。そうした身についた知識を持たないAIアシスタントの場合、問題はもっと深刻です。もっともらしく見えて誤ったマークアップをでっち上げてしまうのです。

tei-mcpがあれば、AIは当て推量をしなくて済みます。山括弧を一つ打つ前に、仕様で答えを引けるからです。結果として得られるのは、TEI P5に――あるいはプロジェクトのODDカスタマイズに――準拠したマークアップです。

使いはじめる

PyPIからインストールします。

pip install tei-mcp

次に、MCPクライアントの設定に追加します。

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

サーバーは初回起動時にTEI仕様をダウンロードし、MCP互換のクライアントならどれとでも動きます。

ソースコードと完全なドキュメント：

ITA2電信エミュレータで二進法を教える

Thu, 13 Feb 2025 00:00:00 +0000

抽象的な概念を手に取れるものに

このITA2エミュレータは、教室でそのまま使える教材です。符号化という抽象的な概念を目に見え、手で触れられるものにして、コンピューティングと電気通信の要をなす考え方――文字がどうやって1と0の列になるのか、という二進表現――へと学生を導きます。ふだんは黒板の上で抽象的に教えてしまいがちなところですが、テープに実際の穴が穿たれていくのを目にすれば、物理的な仕組みがデジタル情報を担えるのだということが腑に落ちるのです。

ITA2 (Baudot-Murray) Telegraph Type Emulator

Type a word in the input below to see its representation on the ITA2 tape.

Type word:

歴史的背景――電信からコンピュータへ

ITA2（国際電信アルファベット第2号）、通称ボードー・マレー符号は、エミール・ボードーが1870年代に考案した電信符号を改良して、1920年代に生まれました。こうした初期の電気通信の仕組みは、のちのコンピューティングの発展に直接つながっています。

5ビットの符号化方式は、文字符号化のごく初期の例です
5ビットでは32通りしか表せないという制約から、LETTERS／FIGURESシフトという妙手が生まれました
この方式は20世紀に入ってからも長らく、テレタイプに使われ続けました

遊びながら状態機械を学ぶ

LETTERS／FIGURESのシフト機構は、状態機械（ステートマシン）の考え方を無理なく導入してくれます。いじっているうちに、同じパターンがモード次第で別の文字を表すことに、学生は自分で気づきます。状態に依存する符号化をこうして身体で覚えておくことが、のちのより複雑な概念への地ならしになるのです。たとえば、ビットパターン00011が表すのは次のとおりです。

LETTERSモードなら文字「A」
FIGURESモードなら数字「1」状態によって読みが二通りに分かれる――この仕組みこそ、コンピュータがデータを扱う根幹にあるものです。

授業での使い方

ITA2エミュレータを授業に組み込むアイデアを、いくつか挙げておきます。

暗号解読チャレンジ：ITA2のパターンで符号化したメッセージを学生に解読させる
効率のよい符号化：帯域を節約するうえでシフト機構がなぜ大事だったのかを議論する
符号化の進化：ITA2の5ビット符号をASCII（7ビット）やUnicodeと比べる
フィジカル・コンピューティング：この歴史的な仕組みを、Arduinoのような現代のマイクロコントローラに結びつける

アクセシビリティの面から

歴史的な面白さは別にしても、このアプローチは学び方の異なる学生それぞれに手がかりを与えます。

目で学ぶ学生には、パターンが見える
手を動かして学ぶ学生は、符号化の過程に直接触れられる
概念で考える学生は、情報理論の数学的な側面へ進める

実装について

エミュレータはJavaScriptで書かれており、ウェブベースの学習プラットフォームなら何であれ簡単に組み込めます。コードはモジュール化してあるので、授業の場面に応じて自由に手を加えられます。ソースコードの閲覧と試用はこちらから：

レヴァンテの知覚地理

Sat, 29 Oct 2022 10:02:52 -0500

はじめに

Levanteはつかみどころのない場所です。たいていは別の領域との関係で――あるいは対立で――定義されるため、その意味が安定していたためしはなく、語が使われた場所と時代に応じて、呼び起こす地理も変わってきました。とはいえ、客観的で正確な定義を言葉にしにくいからといって、あきらめる必要はありません。あるテキストのコーパスの内部に見られる相関を手がかりに、この地域の主観的な地図を描くことなら望めるはずです。言い換えれば、特定の読者集団にとって、Levanteはどのような空間を呼び起こしえたのか。本稿では、Medici Archive Projectののデータを使って、この地名が結びついていた具体的な場所を可視化する手順をお見せします。

MIAデータベース

MIAデータベースは、の史料を自分で撮影した写真をアップロードし、共有したい研究者のための協働プラットフォームです。この1年、の支援を受けて、私たちのチームはフィレンツェのMediceo del Principato文書群のうちavvisiの部に収められた数千点の文書を撮影し、転写し、要約し、分類してきました。もともと統計分析のために作ったデータベースではありませんが、公開したメタデータはダウンロードしてデータセットとして使えます。

データセット

今回作ったデータセットは、1543年から1566年まで、つまり文書館に残る最初のavvisoから、スルタンが没する年までの、Levante発のニュースをすべて含んでいます。以下はサーバーから抜き出したデータの一部です。3列からなり、文書の固有番号、地名、日付が並んでいます。

57386 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57386 Modon / Messinias, Nomos / Peloponnisos / Ellas 1565-1-3
57386 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57386 Evvoia / Evvoias, Nomos / Sterea Ellas-Evvoia / Ellas 1565-1-3
57386 Venetian Republic / Italia / Europe / World 1565-1-3
57386 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57386 Black Sea / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Otranto / Lecce / Puglia / Italia 1565-1-3
57389 Nisoi Aiyaiou / Ellas / Europe / World 1565-1-3
57389 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57389 Buda / Budapest / Budapest / Magyarorszag 1565-1-3
57389 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57389 Kipros / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Rodhos / Rodos, Nisos / Sporadhes / Nisoi Aiyaiou 1565-1-3
57389 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57389 Çorlu / Thraki / Ellas / Europe 1565-1-3

データの整理

このデータを可視化するには、csv（カンマ区切り）のデータセットとして読める形にしなければなりません。また、ここに含まれる地理情報を、もっと「機械に優しい」形式、すなわちGPS座標に変換する必要もあります。項目は数百件ありますから、手作業ではなく自動化したいところです。、、といった事前学習済み言語モデルを使えば、これはかなり速く、しかもかなり正確にこなせます。ただし目を離してはいけません。事前学習済み言語モデルには、ハルシネーション（幻覚）を起こす癖が少々あるからです。

documentId,latitude,longitude,documentDate
57386,35.899167,14.514167,1565-1-3
57386,37.05,22.116667,1565-1-3
57386,31.200028,29.918719,1565-1-3
57386,38.366667,23.666667,1565-1-3
57386,45.438333,12.331333,1565-1-3
57386,41.018611,28.984444,1565-1-3
57386,42.7,18.8,1565-1-3
57389,40.216667,18.166667,1565-1-3
57389,37.966667,23.716667,1565-1-3
57389,35.899167,14.514167,1565-1-3
57389,47.4925,19.051389,1565-1-3
57389,31.200028,29.918719,1565-1-3
57389,34.916667,33.616667,1565-1-3
57389,36.405419,28.227778,1565-1-3
57389,41.018611,28.984444,1565-1-3
57389,41.133333,27.416667,1565-1-3

密度マップ

密度マップとは、あるデータセットの中で各地がどれくらい頻繁に言及されているかを浮かび上がらせる可視化の一種です。データの地理的な広がりだけでなく、その焦点を知るうえでとりわけ役立ちます。地図上で頻繁に言及されるのはどこか。逆に散発的にしか現れないのはどこか。中心はどこにあり、周縁はどれほど遠いのか。読者の注意は、地図のどこに集まりやすいのか。

今回は実験ということで――それに急いでいたので―― のAPIを使いました。もっとも、同じ種類の密度マップは、多くの可視化ライブラリや地理情報システムでも作れます。

いくつかの観察

できあがったものは、明確に定義できる概念の正確な表現というより、印象派の絵に近いものです。そして私がこの実験を気に入っているのは、まさにその点です。データサイエンスは人文学の強力な味方になりえますが、そのルールにいちいち従う義理はないのです。

この実験のもう一つ面白いところは、地図に浮かび上がるLevanteが、ヨーロッパの他の地域や地中海と完全に一体化していることです。オスマン帝国の政治地理におけるエディルネの中心性も際立ちます。さらに、地図上でスペインを代表する都市はマドリードでもエスコリアルでもなく、ナポリです。そして最後に、ラグーザのような島々や小さな都市国家が、この地域のさまざまな勢力のあいだを取り持つ重要な役割を担っていたらしいことも見て取れます。

MIAからデータを取り出す方法

MIAは研究者にとって卓越した協働ツールですが、サーバーに蓄えられたデータに手軽にアクセスできるわけではありません。たとえばバックエンドは公開リポジトリで公開されていません。それでも、MIAに登録し、Pythonでサーバーにリクエストを送れば、データは手に入ります。

リクエスト

url = "https://mia.medici.org/Mia/json/de/advancedsearch/advancedSearchResults/0/90/docYear/asc/?isNewsFeedSearch=False"
payload = [{"searchSection":"archivalLocationSearch","type":"archivalLocationAdvancedSearch","isActiveFilter":True,"repository":None,"collection":"Mediceo del Principato","series":None,"volume":"2863","insert":None},{"searchSection":"categoryAndTypologySearch","type":"categoryAndTypologyAdvancedSearch","isActiveFilter":True,"category":"News","typology":None},{"searchSection":"transcriptionSearch","type":"transcriptionAdvancedSearch","isActiveFilter":False,"transcription":""},{"isActiveFilter":False,"searchSection":"synopsisSearch","type":"synopsisAdvancedSearch","synopsis":""},{"searchSection":"placesSearch","type":"placesAdvancedSearch","isActiveFilter":False,"places":[]},{"searchSection":"peopleSearch","type":"peopleAdvancedSearch","isActiveFilter":False,"people":[]},{"searchSection":"topicsSearch","type":"topicsAdvancedSearch","isActiveFilter":True,"topics":[{"topicTitle":"Place Index","topicId":"51","placeAllId":""}]},{"searchSection":"dateSearch","type":"dateAdvancedSearch","isActiveFilter":False,"dateFilterType":"","dateYear":"","dateMonth":"","dateDay":"","dateBYear":"","dateBMonth":"","dateBDay":""},{"searchSection":"documentOwnerSearch","type":"documentOwnerAdvancedSearch","isActiveFilter":False,"editType":"owner","account":""},{"searchSection":"languagesSearch","type":"languagesAdvancedSearch","isActiveFilter":False,"languages":[]}]
headers = {'Content-type': 'application/json', 'Accept': '*/*'}
r = requests.post(url, data=json.dumps(payload), headers=headers, auth=('LOGIN','PASSWORD'))

LOGINとPASSWORDは、必ずご自身の認証情報に置き換えてください。

レスポンスをファイルに書き出す

with open('response.json', 'wb') as fd:
 for chunk in r.iter_content(chunk_size=128):
 fd.write(chunk)

JSONを開く

f = open('response.json', encoding="utf8")

JSONオブジェクトを辞書として読み込む

json_complete = json.load(f)

JSONからデータを選び、CSV形式で書き出す

with open('results.csv', 'w', newline='') as csvfile:
 fieldnames = ['documentId', 'placeCited', 'documentDate']
 writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
 writer.writeheader()
 for i in json_complete['data']:
 if i['topics'] != None:
 for x in i['topics']:
 documentId=x['documentId']
 placeCited=x['topicPlaceName']
 year=i['date']['docYear']
 month=i['date']['docMonth']
 day=i['date']['docDay']
 documentDate=str(year)+ "-" + str(month)+"-" + str(day)
 writer.writerow({'documentId': documentId, 'placeCited': placeCited, 'documentDate': documentDate})

results.csvをダウンロードしたら、上で説明した手順でデータの整理に進めます。

事前学習済み言語モデルで大量の書誌を解析する

Thu, 07 Jul 2022 19:04:14 +0200

自動化は、デジタル・ヒューマニティーズのプロジェクトのコストを下げる鍵です。これまで、学術の現場で編集作業につきものの単調で骨の折れる仕事は、手一杯の研究者が高いコストをかけてこなすか、学生に「外注」するかのどちらかでした。こので私が論じているのは、こうした報われない仕事の大半は自動化できるだけでなく、自動化すべきだということです。編集作業を自動化すれば、デジタル・ヒューマニティーズのプロジェクト全体のコストが下がります。なにより、低所得地域の研究者が貴重な文書を手早く、無理のない費用で公刊できるようになるのです。

では、たとえばデジタル版のXMLラベル付け作業の大半を事前学習済み言語モデルに任せられることを示しました。

本稿ではもう一つの例として、参考文献を取り上げます。

問題

学術論文に引かれた文献から書誌データベースを作るのは、それ自体は難しくありません。のような目録でさっと検索して特定の形式で書誌をダウンロードするか、手元のデータベースから自動で取り込めばよい。論文が1本か2本なら、これで事足ります。ところが文献の数がある一線を越えると、この作業はたちまち味気なく、時間ばかり食うものになります。そこでのような解析アルゴリズムの出番となるわけですが、こうしたアルゴリズムは規模を広げるのが難しいことがあります。私たちのに収められた150本以上の学術エッセイをanystyleで変換したときには、積み上がった誤りの量はとても手に負えるものではありませんでした。多くの出典を正しく認識できず、近世の書物の長ったらしい標題を別のものと取り違え、特定のウェブページやオンライン動画といった型破りな文書には歯が立たなかったのです。パーサーがうまく働くのは、著者がシカゴ、トゥラビアン、MLAといった広く知られた規約を忠実に守っている限りのことで、規範から少しでも外れれば誤りになります。

解決策

ここで事前学習済み言語モデルの出番です。どんな書誌スタイルのパターンでも――自分で考案したスタイルでさえ――たちどころに飲み込み、わずかな例だけで、整形済みの大量の参考文献をにきちんと変換してくれるからです。

2021年の初め、私は幸運にもOpenAIのを早期に使う機会に恵まれました。Codexは、自然言語をコードに、またその逆に翻訳するモデルです。OpenAIによれば十数のプログラミング言語に通じており、この記事を書いている時点ではAPIはまだベータ版ですが、すでにGitHubののような人気アプリケーションを動かしています。

このAPIをあれこれ試すうちに、BibTeXのようなもっと単純なコードにもよく効くことに気づきました。

実際、安定して動かすのに必要だったのは、入力プロンプトの例が4つだけでした。

入力プロンプト

References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009.

Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015.

Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. .

Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994.

@incollection{bayle2009,
 author = {Bayle, Ariane},
 booktitle = {Vulgariser la médecine. Du style médical en France et en Italie},
 title = {Patients exemplaires: la correspondance médicale de Fioravanti},
 editor = {Carlino, Andrea and Michel Jeanneret},
 year = {2009},
 address = {Geneva},
 publisher = {Droz},
 langid = {french}
}
@book{berns2015,
 title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth},
 author = {Berns, Andrew D.},
 address = {Cambridge},
 publisher = {Cambridge University Press},
 langid = {english},
 date = {2015}
}
@article{gabler2010,
 author = {Gabler, Hans Walter},
 title = {Theorizing the Digital Scholarly Edition},
 journal = {Literature Compass},
 volume = {7},
 number = {2},
 pages = {43-56},
 doi = {10.1111/j.1741-4113.2009.00675.x},
 langid = {english},
 year = {2010}
}
@book{findlen1994,
 title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy},
 author = {Findlen, Paula},
 address = {Berkeley},
 publisher = {University of California Press},
 langid = {english},
 date = {1994}
}

結果

は目覚ましく、2,000件を超える書誌参照がほんの数日で変換されました。入力プロンプトで示したパターンを正確に再現しただけでなく、プロンプトにはなかったエントリ型やフィールド型まで正しく補ってきたのです。つまりGPT-3はBibTeXを完璧に使いこなせる、ということです。もっと意外だったのは、実質的に英語で訓練されたモデルでありながら、すべての言語（ロシア語、フランス語、イタリア語、ラテン語、ギリシャ語、ドイツ語、スペイン語など）を見分け、毎回正しいlangidフィールドを付けてきたことでしょう。

注

GPT-3には現在、入出力のサイズに制限があり、処理できる言語トークンは最大2048です。この制限が外れれば、同じ作業はおそらく1時間以内で済むでしょう。

いささか予想外なことに、GPT-3は元の参照にない情報まで付け加えてきました。

Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015.

たとえばこの書誌では、GPT-3は論文を読めるオープンアクセスリポジトリ（）への永続リンクを、HAL独自のフィールドHAL_IDとHAL_VERSIONまで含めて追加しています。

@inproceedings{baillot2015,
 title = {Editing for Man and Machine},
 author = {Baillot, Anne and Busch, Anna},
 year = 2015,
 booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting},
 address = {Leicester},
 series = {Variants (Journal of the European Society for Textual Scholarship)},
 volume = 13,
 editor = {Bruhn, Siglinde and Schreiber, Manfred},
 langid = {english},
 hal_id = {halshs-01233380},
 hal_version = {v1}
}

こうした補足が示しているのは、 GPT-3が書誌を解析するだけでなく、当初学習した内容をもとにそれを補完しているということです。その点で、GPT-3の訓練より後の日付の文献に対しても同じように振る舞うのかどうかは、確かめてみたいところです……

限界

とはいえ、GPT-3は完璧ではありません。人間が目を光らせている必要があります。よく知られた弱点の一つがで、ときに事実をでっち上げ、ありそうもない仮定を置くのです。

私の実験でGPT-3の支離滅裂さが露わになったのは、ある著者の姓を「Ruscelli」から「Ruscello」へ勝手に変えたときでした。近世イタリアの姓は複数形と単数形が区別なく使われましたから、厳密には誤りとは言えません。しかし今日の慣例では、姓が複数形であれ単数形であれ、そのまま残すのが筋です。今どきMachiavelliをMachiavelloと呼ぶ人はいませんし、同じ理屈でRosselliではなくRosselloと書くのが決まりです。GPT-3がこの慣例を無視したのは、年代の感覚が欠けているからでしょうか。それとも、参考文献のこの箇所ではたまたま隣り合う姓がすべて単数形だった（Bariletto、Cesano、Rossello）ので、それに引きずられて推測したのでしょうか。誰にもわかりません。

@book{rossello1565,
 title = {Della summa de’ secreti universali},
 author = {Rossello, Timoteo},
 address = {Venice},
 publisher = {Giovanni Bariletto},
 langid = {italian},
 date = {1565}
}
@book{ruscello1559,
 title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese},
 author = {Ruscello, Girolamo},
 address = {Pesaro},
 publisher = {Bartolomeo Cesano},
 langid = {italian},
 date = {1559}
}

結論

4年にわたる緊密な協働のなかで書かれ、 150本以上のエッセイは、私たちが校訂・翻訳した写本について欠かせない情報を提供するだけでなく、貴重な書誌情報も含んでいます。

これらの書誌をデータベースにまとめておけば、編集者は書式を瞬時に切り替えられ、思いどおりの形で表示できる自由度が増します。データベースはまた、校訂版とそれを生んだプロジェクトについての貴重な情報源にもなり、研究者に新しい分析の視点を開きます。そしてこうしたデータベースは、高い精度で、しかも記録的な短期間で完成させられるのです。

たしかに、とりわけGPT-3のハルシネーション癖のせいで、いくらかの誤りが紛れ込むことはあるでしょう。しかし事前学習済み言語モデルの次の世代は、この問題を和らげてくれるはずです。

デジタル校訂版のマークアップを自動化する

Mon, 22 Nov 2021 18:15:00 +0000

はじめに

予算を食いつぶさずにデジタル校訂版をつくるには、どうすればよいのでしょうか。効率的な校訂をめぐるシリーズの第1回となる本稿では、意味的マークアップをはじめとする校訂作業の自動化に、事前学習済み言語モデルがどこまで役立つかを検討します。

問題

愛は金勘定をしない

愛にかかわることでは費用を数えない――古い諺はそう言います。デジタル校訂版ほど、これがよく当てはまるものもありません。転写、翻訳、注釈にかかる作業は何千時間にも及び、の場合には、高度な専門性をもつ何百人もの協力者がそれを担ってきました。

デジタル・ヒューマニティーズの花形プロジェクトが運営に必要な巨額の資金を集められるのは、ある意味ではありがたいことです。とはいえ、裕福な財団や大学、政府機関の気前のよさに寄りかかり、大量の人手を長期にわたって必要とし続けるやり方は、将来に通用する経済モデルとは言えません。

実際、世界中の研究者に歴史的文書をより広い公衆へ開いてもらいたいのなら、デジタル校訂版のコストは桁違いに下がらなければならないのです。

高い敷居

いささか逆説的ですが、解決の糸口は、のような労働集約的なプロジェクトの側にあるのかもしれません。というのも、それらは貴重な訓練データになるからです。マークアップをはじめ、デジタル校訂につきものの最も味気なく反復的な作業を自動化するための、またとない教材というわけです。

マークアップが取るに足らない作業だ、と言いたいのではありません。それどころか、マークアップは今や、本格的なデジタル学術プロジェクトに欠かせない構成要素です。によって標準化されたマークアップのおかげで、文書とそれが伝えるテキストについて、構造、欄外の書き込み、抹消、異文、紙の種類、染み、書体……と、思いつく限りの側面を記録できるようになりました。

次に挙げるのはからの一例で、マークアップがテキストに情報（カテゴリー、構造、意味領域、抹消など）を上乗せし、ひいてはデジタル版に紙の先祖にはない強みを与えている様子がわかります。

プレーンテキスト XMLマークアップ

プレーンテキスト	XMLマークアップ
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

この情報はアーカイブとしての価値にとどまらず、以前に別の場所で示したとおり、総合や分析にも役立ちます。ただし、この種の注釈は途方もなく時間を食います。同じテキストを翻訳、転写、現代語化といった複数の姿で用意しなければならないことが多いからです。

解決策

Transformer――自動化への最短経路か？

2020年、は汎用の大規模言語モデルの最新ファミリー、GPT-3を鳴り物入りで発表しました。「Generative Pre-trained Transformer 3」の略です。Transformerは人工知能の分野ではまだ新しい突破口で、プロンプトを読み、ごく少数の例を眺めるだけで、目を見張る速さで新しいタスクを覚えます。目的に合わせたデータセットで追加訓練（ファインチューニング）を施し、応答速度と精度を上げることもできます。GPT-3とその同類がと呼ばれるゆえんです。

OpenAIによれば、GPT-3は空前の1750億パラメータを備え、570GBを超えるテキストで訓練されています。その大半は英語の文書で、おそらくから集められたものでしょう。この途方もない規模ゆえに、GPT-3はこの分野の新たな基準となり、追加の訓練なしに、そら恐ろしいほどの真実味でさまざまな仕事をこなします。もっともらしいを書き、チャットルームで、、、文書を翻訳し、専門用語を解説する、といった具合です。

2021年5月からOpenAIのAPIを早期に使えたおかげで、私は難問とされる仕事の数々でこのモデルを試すことができました。フランス語の詩や新ラテン語のテキストの英訳、類推の説明、さらにはカントの『人倫の形而上学の基礎づけ』第4巻を7歳児向けに噛み砕くこと（説得力はいまひとつでしたが）まで。

Codex

GPT-3の最近の展開のひとつは、コンピュータ言語に的を絞ったものです。Codexと名付けられたこのモデルは、自然言語をコンピュータ言語に、またその逆へと翻訳します。たとえば「大文字で始まる単語だけを探す」正規表現が欲しいと言えば、GPT-3はすぐさま動く正規表現に訳してくれます：[A-Z]+\w+。

OpenAIによれば、CodexはPython、JavaScript、Go、Perl、PHP、Ruby、Swiftなど十数のコンピュータ言語を扱えます。擬似コードをそのままコードに変換してくれるので、使う側は言語の煩わしい構文ではなく、問題を解くための論理の手順と戦略に集中できるのです。

OpenAIの外へ

言うまでもなく、この分野の役者はOpenAIだけではありません。先に触れたとおり、北京智源人工知能研究院は2021年、さらに大きく高性能なWu Dao 2を発表しました。NvidiaとMicrosoftは手を組み、その名もMegatron-Turing NLG 530Bというモデルを世に出しました。やといった小さめのスタートアップも一般向けにAPIを提供していますし、のようなオープンソースの取り組みも見逃せません。もっともAIの世界の動きは速く、新しい動向を追うにはを覗くのが一番です。

実験

注

この実験のねらいは、校訂作業を信頼できるかたちで自動化するための、いちばん安上がりな道を見つけることです。ここで扱う作業の一部は教師あり学習でも自動化できる、という反論もあるでしょう。その仮説は別の記事で検討します。

GPT-3のようなTransformerは、たとえば16世紀の技術・科学写本に注釈を付けることを学べるのでしょうか。

実験1――テキストの分類

まずは比較的やさしいところから。「few-shot learner」たるGPT-3なら、Ms Fr 640の各項目を私たちの編集チームがどう分類してきたかを、すぐに飲み込めるはずです。

プロンプト設計

訓練には最小限のプロンプトを使い、例としてプレーンテキストの短い項目を4つ選びました。「医学」「武器と甲冑」「絵画」に関するものが含まれています。

テスト

次に、最初の例には入っていなかった別の一節を貼り付けました。

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

出力は内容とぴたりと一致しています。

<categories="painting">

GPT-3の訓練に選んだ最初のテキスト群にすら含まれていなかったカテゴリーの項目で試してみると、驚くべき結果が返ってきます。

<categories="jewelry">

結果

「jewelry（宝飾）」というカテゴリーは、私たちのMs. Fr. 640校訂版には存在しません。編集チームはもっと広い「Stones（石）」というカテゴリーを。それでもGPT-3の勘は悪くなく、もう少し訓練すればMs. Fr. 640のどの項目でも、ひいては同種の16世紀技術文書の項目でも分類できるようになりそうだ、ということを示しています。

実験2――意味的マークアップ

ハードルをもう少し上げましょう。GPT-3のようなTransformerが編集上の基準に従ってテキストを分類できるのなら、テキストのマークアップの一部を見分けることもできるのでしょうか。

注

Secrets of Craft and Natureは、意味的ラベルと構造的ラベルをいます。あいにくGPT-3は、などのプロジェクトと違って画像を処理できません。文書の構造的・物質的な側面の大半を認識するにはこの能力が要りますから、将来のGPTには備わることになるでしょう。ここではそうしたタグは脇に置き、画像認識を必要としないマークアップに絞ります。

プロンプト設計

意味的タグは、動物、植物、地名、感覚的な入力などへの言及を扱います。訓練用プロンプトには、校訂版からいくつか例を選びました。

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

テスト

Davinci-codexモデルで、Apothecary、smoke、glassmakers、latten、snakeといった易しい単語を試してみましょう。結果は即座に返ってきて、非の打ちどころがありません。

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

もう一段難しいのは、copper plates、walnut oil、wood blockのような複合語です。ここでは、GPT-3が入れ子のタグをきちんと扱えるかどうかを見ます。

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

結果は玉石混淆でした。Davinci-codexが正しくラベル付けできたのはwalnut oilだけで、copper platesとwood blockに含まれるtlとmの入れ子タグは見逃しています。もっとも、次のテストが示すように、この種の誤りは訓練プロンプトを改善すれば減らせます。入れ子タグの例を5つ足したところ、Davinci-codexは（oil paintbrushesの）1件を除いて、ほぼ完璧な結果を返しました。

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

結論

忘れてならないのは、これらのテストがごく短いテキスト断片で行われたことです。例とプロンプトにもっと文脈を与えれば、GPT-3系のモデルはさらによい結果を出すだろうと私は見ています。加えて、目的に合わせたデータセットでファインチューニングすれば、ラベル付けの精度はまず間違いなく上がるでしょう。事前学習済み言語モデルの信頼性を実証するには、もっと大規模な実験が必要でしょう。それでも、このアプローチを使えば、編集者は注釈作業のいくつかをわずか数ステップで自動化でき、膨大な時間と費用を節約できる可能性がある ――そう結論づけることはできます。

写本の可視化2（アップデート）

Sat, 20 Nov 2021 16:00:00 +0000

お約束どおり、で紹介したインタラクティブ・ツリーマップの新バージョンです。今回は表示モードが二つあります。

注

快適に閲覧するには、ページの設定をライトモードにしてください（右上の月のアイコンをクリック）。

Group folios by category

アーカイブのビジュアルブラウザ

Sun, 20 Jun 2021 16:00:00 +0000

問題

デジタル版はある逆説を抱えています。難解な文書をより広い公衆に開く一方で、非物質化に伴って感覚的な手がかりが失われ、読者は方向を見失い、中身に取り組む気力さえ削がれてしまいがちなのです。膨大な文書リポジトリを渉猟するのは、それだけで煩わしく、気後れのする作業になります。これはアーカイブ調査に不慣れな利用者だけでなく、認知障害のある読者にも当てはまります。

解決策

ここで役に立つのがアーカイブのメタデータです。こうしたデータがあれば、読者にもう一つの感覚的な手がかりを与えるインタラクティブな視覚的抽象を作ることができ、使い勝手とアクセシビリティの両方が高まります。アーカイブを目で辿れるようにするには、ツリーマップでも、階層データを手際よく分解してくれる図なら何でも用は足ります。

実験

最初の実験では、D3.js用のを改変し、ハイパーリンクを加えました。写本BnF Ms Fr 640とそのフォリオ、各フォリオ内の項目を表しています。色は支配的なカテゴリーを示します。各項目にカーソルを重ねると、写本へのハイパーリンクを含むさらなる情報が表示されます。こうしてツリーマップはインタラクティブな視覚的索引となり、写本の内容だけでなく、各フォリオと各項目の大きさまで、素早く軽快に一望させてくれます。 ~~今後数か月は、別の図や別の階層を試しながら、このアイデアの実験を続けていきます……ご期待ください！~~ ツリーマップの新バージョンは。

注

快適に閲覧するには、ページの設定をライトモードにしてください（右上の月のアイコンをクリック）。

Click any cell to zoom in, or the top to zoom out.

一目でわかるアーカイブ

Mon, 24 May 2021 16:00:00 +0000

問題

歴史的なアーカイブというものは、気が遠くなるほど雑然としていることがあります。のMediceo del Principatoはその典型です。目録が整っているのはごく一部にすぎず、多くの文書はこれといった理由もなく6,500巻以上に散らばっています。話をさらにややこしくするのが、閲覧できる巻数（現地ではfilze、つまり綴りと呼びます）の制限です。平時なら上限は1日4filze。ところがパンデミックの時期には、2週間に4冊にまで減りました。詳しい目録がない以上、この途方もない規模のアーカイブを前にした研究者は、目当ての文書に手早くたどり着くための戦略を練らざるをえません。

解決策

運に任せる人もいれば、年代、受取人、差出人、文書群の由来、言語などを手がかりに、根拠のある当たりをつける人もいるでしょう。しかし、こうした変数を同時に眺めてみると、アーカイブの構造について思いがけないパターンが浮かび上がり、当たりの精度が上がることがあります。私の経験では、研究者がふつうスプレッドシートに書き溜めているメタデータをグラフにするだけで、文書館での状況把握は格段に楽になるのです。

実験

私が今取り組んでいるのは、16世紀のあるスパイの書簡です。その手紙は数百のfilzeに散らばり、別々の名義で、別々の――ときに思いがけない――宛先へ、別々の場所から書かれています。目当ての手紙が眠っていそうなfilzeを絞り込むために、私はダッシュボード、つまりインタラクティブなデータ可視化のウェブアプリケーション（）を組みました。地理や年代の情報をはじめあらゆる種類のデータを、文書群の階層図（）と結びつけたものです。ダッシュボードを見れば、何がすでに見つかっていて、それが全体のどれほどにあたり、新しい手紙をどこで探せばよさそうかが一目でわかります。しかも特定の変数をクリックすれば、すべての図が更新され、それに応じた相関が表示されます。

次の一手

もっと大事なのは、おそらく、このダッシュボードが視覚的な索引に転用できることでしょう。書簡の校訂版がオンラインで公開されたあかつきには、ダッシュボードはもう一つの入口となり、読者はそこからデータを渉猟できるようになります。守秘上の理由から、いまは一部を伏せたスクリーンショットしかお見せできませんが、完全版は来年公開する予定です。それまでのつなぎとして、プロトタイプも近く公開します。どうぞお楽しみに。

BnF Ms. Fr. 640の意味的マークアップを可視化する

Sun, 20 Dec 2020 18:15:00 +0000

概要

データの豊かな校訂版には、あらゆる研究目的のために抽出し、分析し、可視化できる貴重な編集上の注釈が詰まっています。2020年に公開されたもその一つで、メタデータファイルをGitHubリポジトリからダウンロードできるようにしています。本稿では、これらの変数をすべて相関行列にまとめ、いくつかの方法で可視化する手順を示します。

データ

Making and Knowing Projectは、写本の内容に関する最新情報をまとめたスプレッドシートentry_metadata.csvを生成しています。ファイルはMaking & Knowingのから取得できます。あるいは、Matthew Kumarによる優れた ――BnF Ms. Fr. 640のPython版――を使えば、マークアップをさらに加えた独自の.csvファイルを作ることもできます。

Pythonの準備

データの整形にはPandas、ヒートマップにはMatplotlibとseaborn、そして最後に、相関に基づくネットワークを描くためにNetworkXを使います。この種の変数にはピアソン法は避け、代わりに𝜙𝐾法を使います。この相関手法と、対応するライブラリPhiKについては、あらかじめしておいてください。

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

データの準備

まず、のmetadataフォルダから、校訂版の最新のメタデータファイルをダウンロードします。使うのは必要な列だけです。このデモでは英訳tlの意味的タグをすべて選びますが、フランス語転写tcや正規化版tcnのタグを選んでもかまいません。データはセミコロン区切りになっているので、Pythonに数えてもらう必要があります。そこで正規表現[^;\s][^\;]*[^;\s]*を使い、stack-unstackの手法で数えます。行列を読みやすくするために、各列の名前を付け替えます。急ぎならこの手順は飛ばしてもかまいませんが、この段階でデータフレームがtagsrnという名前になっていることだけは覚えておいてください。

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

相関

データフレームが整ったら、各変数間の相関係数を計算します。この段階で大事なのは、自分のデータを理解し、もっとも適した相関手法を選ぶことです。pandas-profilingパッケージが、この作業には特に役立ちます。

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortagが相関行列です。ここからいろいろな可視化を試せます。

可視化

まず試せるのは、seabornのを使い、色で符号化した行列として描くことです。

相関ヒートマップ

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

テキストをよく知っている人なら、このヒートマップが実に理にかなっていることがすぐにわかるでしょう。たとえば人名はラテン語と強く相関しています。とりわけ16世紀の人文主義者のあいだでは、名前をラテン語化するのが習わしだったからです。

このヒートマップは当たり前のことを言っているだけだ、という人もいるかもしれません。あながち間違いではなく、一見したところ医学タグはその好例に見えます。予想どおり、身体部位、計量、植物と相関しているからです。

しかしヒートマップを一行ずつ丹念に読んでいくと、興味深く、思いがけない相関が見つかります。たとえば医学タグがイタリア語やラテン語の語と相関していることは、Ms. Fr. 640の医療レシピの出どころについて手がかりをくれます。同様に、職業、定義、計量のあいだの相関は、職業的アイデンティティが16世紀の技術的言説をどれほど深く形づくっていたかを物語っています。

相関クラスターマップ

ヒートマップは「探索」の場面では便利ですが、聴衆の目には少し雑然と映るかもしれません。写本の中の特定の意味的クラスターについて論じている――あるいはまだ探している――ときはなおさらです。Seabornのclustermapモジュールなら、面白い結果が得られるでしょう。

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

ピクセル化した（そう、この語はOEDにも載っています）昆虫のように見えるのはさておき、このクラスターマップは、孤立したタグ（上と左）と互いに結びついたタグとをはっきり分けてくれます。音楽とポワトゥー方言（誰が予想したでしょう！）のような孤立したクラスターと、計量、素材、定義、武器のようなより中心的なクラスターも見分けられます。職業はより多くと結びついていますが、少なくともこの相関行列では、特定のクラスターには属していません。

相関ネットワーク

行列に含まれる相関をさらに凝縮したいなら、ネットワークグラフが優雅な解決策です。写本の内容を人に伝えたい場面では、とりわけそうです。そのためには、行列をエッジとノードのリストに変換し、弱い相関をグラフから落とすための閾値を決める必要があります。

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

エッジやノードが多すぎるなら、閾値を変えてすっきりさせられます。あるいは.write_gexf()関数でグラフを書き出し、Gephiでいじることもできます。

nx.write_gexf(G, 'graph.gexf')

結果は本稿の冒頭でご覧いただけます。

アップデート――円形の重み付きネットワーク

相関行列を重み付きネットワークとして表示する方法を探していて、面白いアプローチを見つけました。ここでは私たちのデータセットに合わせて手を加えます。

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

エッジをいくつか落としたら、色と太さを決めます。

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

ノードには、接続数に比例した大きさも与えます。

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

結果は、より多くのノードとはるかに多くのエッジを収めながら、なお読みやすく情報量の多い重み付きグラフです。