ノート |

火ではなく、柵

Sun, 06 Sep 2026 00:00:00 +0000

ノースラスベガスの倉庫で、Amazonは古本の背を切り落とす機械を回しています。ばらけたページはスキャナーを通り、紙は溶解処理へ送られる。はこれを現代の焚書になぞらえ、決まり文句を出し惜しみしませんでした。サヴォナローラへの言及、いかにも稀覯本らしいストック写真、そしてもちろんベルリンの焚書。案の定、高級紙はもう少し冷静でしたが、同じ比較を宙ぶらりんのまま残しました。憤ってみせる割に、これらの記事はAI業界に対して驚くほど手ぬるいのです。スキャンされる知識を誰が握るのか。この問いは、焚書というたわごとを片付けるまでお預けです。

スキャナーは焚火ではない

物理的な一冊を壊すというだけでは、破壊的スキャンはサヴォナローラの焚火やナチスの焚書の現代版にはなりません。あの行為の意味は、何が、なぜ断罪されたかにありました。焚書論争のたびに引き合いに出される気の毒な修道士サヴォナローラは、公の贖罪として持ち物の一部を燃やすよう人々に呼びかけたのです。ナチスの焚火が演出したのは別種の拒絶でした。本を公然と燃やすことで、その著者たちにドイツの文化生活に居場所はないと宣言したのです。どちらの場合も、破壊は見せるための行為でした。デジタル化で広く使われる破壊的スキャンは、それとは別の目的に仕えます。中身を残すために一冊を犠牲にする。本は壊され、テキストは物質から解き放たれる。『華氏451度』を持ち出したくなる人は、ブラッドベリの消防士たちが後で読むためにテキストを取っておいたわけではないことを思い出すとよいでしょう。

は見出しに「稀覯本」を掲げて不安を煽り、他のメディアも律儀にこれを繰り返しました。ところが、その調査自体が引用している古書店主によれば、こうした大量注文はとのこと。つまり大半は、1970年頃にISBNが導入されて以降の版です。カーブートセールやチャリティーショップに並ぶ類の本で、大掃除のたびに処分されかねない品々。文化的大惨事を宣言する前に、図書館の目録を引いてみてはどうでしょう。これらはまさに、法定納本図書館が保存するために存在している出版物なのです。たしかにISBNがあるからといって、納本された一冊が現存する保証はありません。しかし古本市場で品薄だからといって、テキストが消滅したことにもなりません。

溶解処理は、献辞や欄外の書き込みもろとも、物理的な一冊を消し去ります。歴史的に意義のある注記や来歴をもつ本は、できれば古本市場に流れる前に、見つけ出して保存すべきです。絶版書の現物が減っていくのを心配するのも、もっともでしょう。ただしその場合は、なぜ権利者が再版もせず、既存のデジタル複製へのアクセスも認めないのかを問うべきです。研究者ならこの苛立ちを知っています。Google Booksで探していた一節が見つかったのに、表示されるのは新刊で買うこともオンラインで読むこともできない本の断片だけ、という経験を。ここには議論に値する損失があります。しかしそれで、スキャナーがナチスの焚火に化けるわけではありません。

一方、出版業界は昔から、売れ残った本を日常業務として溶解処理してきました。フランスだけでも、、これは売れ残って取次に返品された総量の約60%にあたります。これを在庫管理と呼びます。余剰在庫と希少な古書とでは、アクセスをめぐる問いの立て方も違いますが、紙を壊すこと自体は検閲でも暴政でもありません。

本が増えれば、AIはよくなる？

AI企業が本を買ってスキャンしているのは、実のところ朗報です。人間の文化の理解が浅いと日頃から批判されている技術が、より多くの文化を取り込もうとしている。研究者はむしろ、この努力を歓迎してもよかったはずです。

ウェブは、ある言語が積み上げてきた記録の貧弱な代用品にすぎません。小説や回想録から流行歌や会話の書き起こしまで、言語の記録された生の多くは、印刷物からウェブに移されたことがないのです。こうした本の多くは、出版社より長生きしています。訓練データに取り込むことがもっとも重要なのは、他にほとんど何もない場合です。英語の本が数冊増えたところで、改善はわずかでしょう。ところが十分に代表されていない言語では、その数冊が使えるシステムと使えないシステムの分かれ目になりえます。こうしたツールが公共サービスや日常生活にふさわしいかどうかは、公の議論に委ねられるべき問いです。ただ、どこで使うと決めるにせよ、自分の言語で使えなければなりません。

スペインとオランダで報じられた注文は、言語をめぐって何が懸かっているかを具体的に示しています。5月、は、バダロナの古書店主が主にカタルーニャ語のノンフィクション――歴史書、技術マニュアル、古い学会論文集――の注文を繰り返し受けていると報じました。8月にはオランダの報道が、De Slegteへのの依頼を伝えています。本の言語は、少なくとも装丁の運命と同じだけの注意に値します。Daily Mailにそれを求めるのは酷かもしれません。とはいえ、もっと冷静な新聞でさえ、関係する言語についてはほとんど語っていないのです。

大手出版社とのライセンス契約も貴重な資料を供給しうるものですが、そのデジタルカタログが覆うのは、印刷物として世に出たもののごく一部にすぎません。デジタル化されたことのない本や、出版社がもう権利を持たない本は、提供の外に置かれます。どれほど気前のよいライセンス契約でも、出版の歴史の代わりにはならず、ましてや文化の歴史の代わりにはなりません。古本を買うことは、そうした商業的な境界の向こうへ手を伸ばす一つの方法なのです。

「窃盗」は論拠にならない

「窃盗」と呼んでみても、事態は進みません。2025年6月、米国の2つの連邦地方裁判所は、目の前の事案について、言語モデルの訓練に本を使うことはフェアユースにあたると判断しました。事件で裁判所が強調したのは、訓練の変容的な性格です。本は、新しい表現を生み出せるシステムを作るために使われた。モデルは一節を記憶することがありますが、本を訓練に使ったからといって、テキスト全体が求めに応じて取り出せるようになるわけではありません。かといって、逐語的な複製がないからすべての異議が退けられるわけでもない。事件で判事は、AI生成物が市場に溢れる恐れがあり、そうした損害の証拠があればフェアユースの抗弁を退けうると警告しました。ただし、この原告たちは自分の著作に対するそうした損害について、意味のある証拠を出していませんでした。どちらの判決もAI企業に無制限の許可を与えるものではなく、倫理的な論争に決着をつけるものでもありません。両判決が私たちに求めているのは、本がどう取得され、複製がどう保持され、訓練がそれをどう扱うかを区別することです。そのすべてを「窃盗」とひとくくりにすれば、この問いは宙に浮いたままです。

ついでに言えば、Anthropic判決は裁断機の根拠にもなっています。裁判所は購入した本のデジタル化を支持する一方、海賊版の本を恒久的なライブラリに溜め込むことを退けました。後者について同社はのちに。デジタル化が認められた理由の一つは、変換の過程で印刷された各部が破壊されたことでした。デジタル複製が現物に取って代わり、社外で共有されることはなかった。一部の人々をこれほど憤らせている破壊が、Anthropicにとっては、デジタル化計画がフェアユースであると立証する助けになったのです。この事案では、買って、スキャンして、捨てることが合法的な経路でした。ここでの裁断機は、法令遵守の道具なのです。本を買えば、取得の問題は解決できます。しかしそれだけでは、できあがったコーパスを共有する許しは誰にも与えられません。

AIがもっと多くの言語、もっと多くの学術研究、そしてインターネット以前に存在した世界のもっと多くを取り込んでほしいと願う理由は、十分にあります。私たちの嫌いな企業がそこに商機を見出したからといって、その理由が消えるわけではありません。

借り物の憤り

そこでDaily Mailに戻りましょう。あの記事は、新聞社のオーナーと出版社がAI向けのを求めるキャンペーン、の一部です。都合のよいすり替えが二つ、仕事をしています。ビッグテックがAIの代わりに立ち、権利者が英国の創造性の代わりに立つ。出版社が文化の売却条件を交渉している横で、読者は文化を守れと促されるわけです。この記事を拡散する研究者は、自分の憤りが誰の大義に仕えているのか、問うてみてもよいでしょう。

ビッグテックとは賃料をめぐって争っていますが、柵そのものに反対する者はどちらにもいません。テック大手に奪われる孤独な著者という物語は、高額なライセンス契約が両陣営にもたらすものを隠しています。出版社は金を受け取り、ビッグテックは小さな競合が参入できない市場を手に入れる。ピーター・ティールはシリコンバレーの本音をもっと率直に語っています。。

ライセンスが必ずそういう結果を生むわけではありません。手頃で非排他的なアクセスなら、小規模な開発者の助けになるでしょう。しかし、参入者それぞれに大手権利者との高額な契約を強いる仕組みは、購買力を参入の条件に変えてしまいます。文化産業への譲歩として差し出される支払いが、結局は将来の競合相手に対する防壁を買っているのです。

AIはビッグテックのものではない

もっと根の深い問題があります。AI批判の多くは、最大の商業的供給者をこの分野の全体と取り違えている。製品が見出しを独占し、それらの企業の外にある研究開発は視界から消えます。ビッグテックにとって、これほど都合のよい誤解はないでしょう。この分野を丸ごと所有しようという野心が、その野心に向けられた批判の前提になっているのですから。独占はまだ完成していません。それを既定の事実として扱うのは、これらの企業に途方もない贈り物をするようなものです。

オープンソースAIがあれば、より多様な言語、文化、表現形式を映したシステムを、人々が自分で構築し、手を加えられます。ヨーロッパ、アフリカ、ラテンアメリカの国々にとって、また韓国、日本、インドにとって、それは技術的・文化的主権の実際的な基盤です。すなわち、システムがどう動き、どの言語に仕え、どこで使われるかを自ら決める力。AIを使うかどうか、何のために使うかは、外国の供給者への依存に左右されるのではなく、公共の選択であり続けるべきです。

とはいえ、システムを改変する自由も、それを実行する手段がなければ絵に描いた餅です。独立した取り組みには、専門知識、計算インフラ、そして訓練資料へのアクセスが要ります。ここで話は本に戻ります。研究チームや公的機関がそれぞれ自前で出版契約を交渉し、自前の私設ライブラリを組み上げなければならないのなら、独立は結局、その費用を賄える者だけの特権にとどまるのです。

本はもうここにある

図書館と文書館は、こうしたシステムに必要な資料を何世代にもわたって集めてきました。そのコレクションが存在するのは、知識へのアクセスは、知識を売る商業的な関心より長く続くべきだからです。すでに多くがスキャンされています。は研究図書館から集めた約1,900万冊のデジタル化蔵書を抱えており、その多くはまだ著作権の保護下にあります。図書館は本をスキャンし、そして本を手元に残す。そこに裁断機は要りません。HathiTrustはが、同時に、非商業的なAI研究開発向けにコーパスへのアクセスを提供するというプロジェクトを発表しています。もっとも、その条件でのアクセスでも、一部の独立系開発者は締め出されたままでしょう。

ただし、本を所有しているからといって、図書館がその著作権付きの中身を訓練コーパスとして配布する権利を得るわけではありません。は、研究機関と図書館が科学研究のために合法的にアクセスできる著作物をマイニングすることを認め、権利者が権利を留保していない場合にはより広いマイニングも許しています。。そのマイニング例外は非商業的研究に限られ、複製の移転を制限しています。どちらの枠組みも、他者が上に築けるよう著作権付きの所蔵資料を共有する一般的な権利を、図書館に与えてはいないのです。

権利者が本の計算的利用をいつまで支配すべきかも、考え直してよいでしょう。医薬品特許は一つの比較の物差しになります。通常20年というその存続期間は、著者の生涯プラス70年という著作権の保護期間よりはるかに短い。再版と販売の権利は保護したまま、たとえば初版から20年たった本はライセンス料なしにテキスト・データマイニングに使える、という仕組みにはできないものでしょうか。著者が本を売る権利を守ることは、中身のあらゆる使い道を何世代にもわたって支配することとは別のはずです。

私は2年前、紙で、文化遺産データは公共財として扱うべきだと論じました。政府は図書館と文書館に資金を出し、コレクションをデジタル化し、転写し、記録させ、できあがったコーパスを他者が上に築けるよう公開する法的権限を与えるべきです。ビッグテックには、専用の課徴金を通じて費用の一部を負担してもらえばよい。

公的資金には、公開されたコレクション方針とアクセス規則が伴うべきで、排他的契約や寄付者への優遇なしに、学術利用も商業利用もカバーすべきです。訓練のためのアクセスは、著作権付きの本の無制限な再配布を意味する必要はありません。著者は、同意、報酬、自分の著作との競合への対処を含め、公的な仕組みの設計に加わるべきです。利用者への無料アクセスと、公的資金による著者への報酬は両立します。本が貸し出されるたびに公費から著者に支払うは、その先例の一つです。火はもとより本題ではありませんでした。本題は柵なのです。

編集者の皆さんへ――私の声が欲しいなら、私の言語を返してください

Thu, 27 Aug 2026 00:00:00 +0000

また今日も、どこかの学術誌がAIポリシーを高らかに掲げています。今度はProgress in Human Geography誌です。編集者たちはを公表し、自分で読み、考え、書く代わりにAIを使うのは「剽窃にも等しい学術倫理違反」だと警告しました。違反が見つかった論文は「撤回されうる」。よくて訂正の上、誌上に訂正通知が載る。そのうえで著者は「撤回や訂正通知に自分の名前が結びつくことを望むかどうか、よく考える」べきだ、というのです。

この一文は、少し立ち止まって味わう価値があります。撤回は学術出版における制裁の最上級で、ふつうは捏造や不正のためにとってある罰です。それがここでは、同じ論説が定義すらできない違反に結びつけられている。編集者たち自身が認めるとおり、「正真正銘のグレーゾーン」があり、「『無責任』の領域を画する明確な線はない」のです。運用は「不当なAI利用はしていないと主張する著者を怒らせるかもしれない判断」に委ねられる。つまり本人の申告は覆されうるわけです。続く助言は、「責任」の領域に「安全に」とどまれというもの。しかし安全を説くのは、危険があるところに限られます。自分でも引けないと認める線を越えたといって人を罰することに意味があるとすれば、それはねらいが恐怖による統治にある場合だけでしょう。この点は、頭の隅に置いておいてください。

「声」という口実

では、責任ある利用とはどういうものでしょうか。著者はこう告げられます。「自分自身の声を保つよう……細心の注意を払わなければならない」。誤用とは、「著者自身がふだん決して使わないような言語で書く」ためにAIに頼ることだ、と。母語話者にとって、これは筋が通っています。自分でないものを装うな、というわけですから。ところが、自分のものでない言語で書かざるをえない外国人にとって、この命令は自己矛盾です。ポリシーが守ろうとする声とは、この学術誌自身の規則が私たちに認めていない、まさにその一つのものなのです。

私を試験台にしてみましょう。英語は私の第4言語で、まさに「ふだん」なら決して使わない類の言語です。英語圏の大学は私に、短く、道標を立てて、ほとんど機械的に書くことを叩き込みました。トピックセンテンスは冒頭に、ヘッジは決められた場所に、接続表現は認可済みのリストから。訓練は効きました。私の英語に守るべき声などあったためしがない。声こそ、真っ先に捨てるべきものだったのです。編集者たち自身の定義に従えば、私が英語で書いたものはすべて、機械の有無にかかわらず、不適切な利用ということになります。

板挟み

編集者たちは、私たちのことも考えたと言います。ポリシーは、非母語話者がAIによる英語チェック、さらにはその「翻訳、執筆、編集のサービス」から恩恵を受けることを認めているのです。しかし執筆へのAIの関与は「せいぜい編集と校正の支援」にとどまるべきで、「AIが書いた大量のテキスト」に及んではならない。機械翻訳された論文は、最初の一語から最後の一語までAIが書いたものです。「大量のテキスト」以外の何ものでもない。したがってこの譲歩が成り立つのは、翻訳が執筆ではない場合に限られます。ではその線はどこに引かれるのか。答えはもう聞いています。「明確な線はない」。

さらに悪いことがあります。この疑いは反証不可能なだけではありません。サイコロに細工がしてあるのです。2023年、スタンフォード大学のチームが、人間の書いたエッセイを相手に、広く使われている7種類のAI検出器を試しました。検出器は非母語話者によるTOEFLエッセイの平均61%を機械生成と判定した一方で、母語話者のエッセイはほぼ完璧に見分けました。ある検出器に至っては、TOEFLのセットの97.8%を機械生成と判定しています（）。理由は示唆に富んでいます。検出器が測るのは予測可能性です。ところが平均に向けて訓練された第二言語の英語は、設計上、予測可能なのです。もっともありそうな語が、もっともありそうな順序で並ぶ。同じ研究は、本物の学術研究にも同じシグナルを見出しました。非母語話者が第一著者の学会論文では、言語的な変異が小さかったのです。「AI」と読まれる文体上の手がかりは、達者な第二言語英語の手がかりそのものであり、人間の「判断」もまた、機械と同じ手がかりを読んでいます。こうして板挟みは完成します。自分の英語で書けば機械に見え、機械を使えば規則を破ることになる。

言語税

この逆説も、脅しを伴っていなければ罪のないものだったでしょう。しかしその脅しは、ポリシーが決して名指ししない、もっと深く古い問題をあぶり出します。単一言語主義です。は「可能な限り広い国際的な網羅性」を求めながら、同じページで「本誌の言語は英語である」と述べています。

この取り決めの代償は、仮定の話ではありません。Amanoらは908人の環境科学者を調査し、英語の非母語話者は論文を書くのに最大51%多くの時間を費やし、言語だけを理由に2.5倍の頻度で却下され、12.5倍の頻度で修正を求められることを明らかにしました（）。この税は、AIポリシーが登場する前から徴収されていたものです。申告書とその脅しは、その上にさらに積まれた監査にほかなりません。

Fin d’empire

単一言語主義は、誰も議論しない公理です。それは帝国の遺産であり、時とともに実務上の正当化を手に入れました。翻訳は遅く高くつき、読めないものを審査できる編集委員会などなかったからです。しかし機械翻訳の進歩の前に、この理屈はどれも立ちゆきません。最先端の機械翻訳は、著者と編集者のあいだの信頼できる中間層として使えるのです。

理想の出口は人間の側にあります。研究者が複数の言語を読めばよいのです。ところが英語圏の大学は、それより現代語学部を閉じるほうを選びます。注意してほしいのは、この閉鎖が英米圏に固有の現象だということです。それ以外の地域の研究者には、単一言語主義という贅沢はもとよりありませんでした。そしてタイミングにも目を向けてください。語学部を閉じるということは、英語が永久に勝利し、読むに値するものが二度と他の言語で書かれることはない、という賭けに出ることです。この賭けは二重の意味で、まさに最悪の時期になされています。第一に、機械翻訳のおかげで、史上初めてリンガ・フランカなしで済ませることが可能になりつつあるから。第二に、英語を既定の言語に押し上げた秩序そのものが後退しつつあるからです。英語圏は内向きになり、グローバル化は退潮し、自由貿易はその本家においてさえ争点となり、読むに値する言語が増えていく多極的な世界が形を取りつつあります。大学は、英語だけでは足りない世界のために、英語しか読めない研究者を量産している。その損失を最初に引き受けるのは、編集委員会です。

編集者への試金石

編集委員会が著者自身の声を読めないと嘆くなら、問題の一端は編集委員会そのものにあるのではないでしょうか。

これは重い非難ですから、重い試験を添えておきます。Progress in Human Geography誌は、フランス語、イタリア語、あるいは日本語で書かれ、機械翻訳した英語版を添えた投稿を査読するでしょうか。それを可能にする「翻訳」サービスは、この学術誌自身の規定が認めています。答えが「はい」なら、問題は終わりです。「いいえ」なら、このポリシーが実際に何を守っているのかがわかります。

どちらにせよ、選ぶのは編集者たちです。彼らの言うとおり声が大事なのなら、著者がものを考える言語で書かれた論文を受け入れるべきです。そうでないなら、申告書は廃止し、脅しもろとも消してしまうべきでしょう。

レヴァンテの知覚地理

Sat, 29 Oct 2022 10:02:52 -0500

はじめに

Levanteはつかみどころのない場所です。たいていは別の領域との関係で――あるいは対立で――定義されるため、その意味が安定していたためしはなく、語が使われた場所と時代に応じて、呼び起こす地理も変わってきました。とはいえ、客観的で正確な定義を言葉にしにくいからといって、あきらめる必要はありません。あるテキストのコーパスの内部に見られる相関を手がかりに、この地域の主観的な地図を描くことなら望めるはずです。言い換えれば、特定の読者集団にとって、Levanteはどのような空間を呼び起こしえたのか。本稿では、Medici Archive Projectののデータを使って、この地名が結びついていた具体的な場所を可視化する手順をお見せします。

MIAデータベース

MIAデータベースは、の史料を自分で撮影した写真をアップロードし、共有したい研究者のための協働プラットフォームです。この1年、の支援を受けて、私たちのチームはフィレンツェのMediceo del Principato文書群のうちavvisiの部に収められた数千点の文書を撮影し、転写し、要約し、分類してきました。もともと統計分析のために作ったデータベースではありませんが、公開したメタデータはダウンロードしてデータセットとして使えます。

データセット

今回作ったデータセットは、1543年から1566年まで、つまり文書館に残る最初のavvisoから、スルタンが没する年までの、Levante発のニュースをすべて含んでいます。以下はサーバーから抜き出したデータの一部です。3列からなり、文書の固有番号、地名、日付が並んでいます。

57386 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57386 Modon / Messinias, Nomos / Peloponnisos / Ellas 1565-1-3
57386 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57386 Evvoia / Evvoias, Nomos / Sterea Ellas-Evvoia / Ellas 1565-1-3
57386 Venetian Republic / Italia / Europe / World 1565-1-3
57386 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57386 Black Sea / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Otranto / Lecce / Puglia / Italia 1565-1-3
57389 Nisoi Aiyaiou / Ellas / Europe / World 1565-1-3
57389 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57389 Buda / Budapest / Budapest / Magyarorszag 1565-1-3
57389 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57389 Kipros / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Rodhos / Rodos, Nisos / Sporadhes / Nisoi Aiyaiou 1565-1-3
57389 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57389 Çorlu / Thraki / Ellas / Europe 1565-1-3

データの整理

このデータを可視化するには、csv（カンマ区切り）のデータセットとして読める形にしなければなりません。また、ここに含まれる地理情報を、もっと「機械に優しい」形式、すなわちGPS座標に変換する必要もあります。項目は数百件ありますから、手作業ではなく自動化したいところです。、、といった事前学習済み言語モデルを使えば、これはかなり速く、しかもかなり正確にこなせます。ただし目を離してはいけません。事前学習済み言語モデルには、ハルシネーション（幻覚）を起こす癖が少々あるからです。

documentId,latitude,longitude,documentDate
57386,35.899167,14.514167,1565-1-3
57386,37.05,22.116667,1565-1-3
57386,31.200028,29.918719,1565-1-3
57386,38.366667,23.666667,1565-1-3
57386,45.438333,12.331333,1565-1-3
57386,41.018611,28.984444,1565-1-3
57386,42.7,18.8,1565-1-3
57389,40.216667,18.166667,1565-1-3
57389,37.966667,23.716667,1565-1-3
57389,35.899167,14.514167,1565-1-3
57389,47.4925,19.051389,1565-1-3
57389,31.200028,29.918719,1565-1-3
57389,34.916667,33.616667,1565-1-3
57389,36.405419,28.227778,1565-1-3
57389,41.018611,28.984444,1565-1-3
57389,41.133333,27.416667,1565-1-3

密度マップ

密度マップとは、あるデータセットの中で各地がどれくらい頻繁に言及されているかを浮かび上がらせる可視化の一種です。データの地理的な広がりだけでなく、その焦点を知るうえでとりわけ役立ちます。地図上で頻繁に言及されるのはどこか。逆に散発的にしか現れないのはどこか。中心はどこにあり、周縁はどれほど遠いのか。読者の注意は、地図のどこに集まりやすいのか。

今回は実験ということで――それに急いでいたので―― のAPIを使いました。もっとも、同じ種類の密度マップは、多くの可視化ライブラリや地理情報システムでも作れます。

いくつかの観察

できあがったものは、明確に定義できる概念の正確な表現というより、印象派の絵に近いものです。そして私がこの実験を気に入っているのは、まさにその点です。データサイエンスは人文学の強力な味方になりえますが、そのルールにいちいち従う義理はないのです。

この実験のもう一つ面白いところは、地図に浮かび上がるLevanteが、ヨーロッパの他の地域や地中海と完全に一体化していることです。オスマン帝国の政治地理におけるエディルネの中心性も際立ちます。さらに、地図上でスペインを代表する都市はマドリードでもエスコリアルでもなく、ナポリです。そして最後に、ラグーザのような島々や小さな都市国家が、この地域のさまざまな勢力のあいだを取り持つ重要な役割を担っていたらしいことも見て取れます。

MIAからデータを取り出す方法

MIAは研究者にとって卓越した協働ツールですが、サーバーに蓄えられたデータに手軽にアクセスできるわけではありません。たとえばバックエンドは公開リポジトリで公開されていません。それでも、MIAに登録し、Pythonでサーバーにリクエストを送れば、データは手に入ります。

リクエスト

url = "https://mia.medici.org/Mia/json/de/advancedsearch/advancedSearchResults/0/90/docYear/asc/?isNewsFeedSearch=False"
payload = [{"searchSection":"archivalLocationSearch","type":"archivalLocationAdvancedSearch","isActiveFilter":True,"repository":None,"collection":"Mediceo del Principato","series":None,"volume":"2863","insert":None},{"searchSection":"categoryAndTypologySearch","type":"categoryAndTypologyAdvancedSearch","isActiveFilter":True,"category":"News","typology":None},{"searchSection":"transcriptionSearch","type":"transcriptionAdvancedSearch","isActiveFilter":False,"transcription":""},{"isActiveFilter":False,"searchSection":"synopsisSearch","type":"synopsisAdvancedSearch","synopsis":""},{"searchSection":"placesSearch","type":"placesAdvancedSearch","isActiveFilter":False,"places":[]},{"searchSection":"peopleSearch","type":"peopleAdvancedSearch","isActiveFilter":False,"people":[]},{"searchSection":"topicsSearch","type":"topicsAdvancedSearch","isActiveFilter":True,"topics":[{"topicTitle":"Place Index","topicId":"51","placeAllId":""}]},{"searchSection":"dateSearch","type":"dateAdvancedSearch","isActiveFilter":False,"dateFilterType":"","dateYear":"","dateMonth":"","dateDay":"","dateBYear":"","dateBMonth":"","dateBDay":""},{"searchSection":"documentOwnerSearch","type":"documentOwnerAdvancedSearch","isActiveFilter":False,"editType":"owner","account":""},{"searchSection":"languagesSearch","type":"languagesAdvancedSearch","isActiveFilter":False,"languages":[]}]
headers = {'Content-type': 'application/json', 'Accept': '*/*'}
r = requests.post(url, data=json.dumps(payload), headers=headers, auth=('LOGIN','PASSWORD'))

LOGINとPASSWORDは、必ずご自身の認証情報に置き換えてください。

レスポンスをファイルに書き出す

with open('response.json', 'wb') as fd:
 for chunk in r.iter_content(chunk_size=128):
 fd.write(chunk)

JSONを開く

f = open('response.json', encoding="utf8")

JSONオブジェクトを辞書として読み込む

json_complete = json.load(f)

JSONからデータを選び、CSV形式で書き出す

with open('results.csv', 'w', newline='') as csvfile:
 fieldnames = ['documentId', 'placeCited', 'documentDate']
 writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
 writer.writeheader()
 for i in json_complete['data']:
 if i['topics'] != None:
 for x in i['topics']:
 documentId=x['documentId']
 placeCited=x['topicPlaceName']
 year=i['date']['docYear']
 month=i['date']['docMonth']
 day=i['date']['docDay']
 documentDate=str(year)+ "-" + str(month)+"-" + str(day)
 writer.writerow({'documentId': documentId, 'placeCited': placeCited, 'documentDate': documentDate})

results.csvをダウンロードしたら、上で説明した手順でデータの整理に進めます。

写本の可視化2（アップデート）

Sat, 20 Nov 2021 16:00:00 +0000

お約束どおり、で紹介したインタラクティブ・ツリーマップの新バージョンです。今回は表示モードが二つあります。

注

快適に閲覧するには、ページの設定をライトモードにしてください（右上の月のアイコンをクリック）。

Group folios by category

アーカイブのビジュアルブラウザ

Sun, 20 Jun 2021 16:00:00 +0000

問題

デジタル版はある逆説を抱えています。難解な文書をより広い公衆に開く一方で、非物質化に伴って感覚的な手がかりが失われ、読者は方向を見失い、中身に取り組む気力さえ削がれてしまいがちなのです。膨大な文書リポジトリを渉猟するのは、それだけで煩わしく、気後れのする作業になります。これはアーカイブ調査に不慣れな利用者だけでなく、認知障害のある読者にも当てはまります。

解決策

ここで役に立つのがアーカイブのメタデータです。こうしたデータがあれば、読者にもう一つの感覚的な手がかりを与えるインタラクティブな視覚的抽象を作ることができ、使い勝手とアクセシビリティの両方が高まります。アーカイブを目で辿れるようにするには、ツリーマップでも、階層データを手際よく分解してくれる図なら何でも用は足ります。

実験

最初の実験では、D3.js用のを改変し、ハイパーリンクを加えました。写本BnF Ms Fr 640とそのフォリオ、各フォリオ内の項目を表しています。色は支配的なカテゴリーを示します。各項目にカーソルを重ねると、写本へのハイパーリンクを含むさらなる情報が表示されます。こうしてツリーマップはインタラクティブな視覚的索引となり、写本の内容だけでなく、各フォリオと各項目の大きさまで、素早く軽快に一望させてくれます。 ~~今後数か月は、別の図や別の階層を試しながら、このアイデアの実験を続けていきます……ご期待ください！~~ ツリーマップの新バージョンは。

注

快適に閲覧するには、ページの設定をライトモードにしてください（右上の月のアイコンをクリック）。

Click any cell to zoom in, or the top to zoom out.

一目でわかるアーカイブ

Mon, 24 May 2021 16:00:00 +0000

問題

歴史的なアーカイブというものは、気が遠くなるほど雑然としていることがあります。のMediceo del Principatoはその典型です。目録が整っているのはごく一部にすぎず、多くの文書はこれといった理由もなく6,500巻以上に散らばっています。話をさらにややこしくするのが、閲覧できる巻数（現地ではfilze、つまり綴りと呼びます）の制限です。平時なら上限は1日4filze。ところがパンデミックの時期には、2週間に4冊にまで減りました。詳しい目録がない以上、この途方もない規模のアーカイブを前にした研究者は、目当ての文書に手早くたどり着くための戦略を練らざるをえません。

解決策

運に任せる人もいれば、年代、受取人、差出人、文書群の由来、言語などを手がかりに、根拠のある当たりをつける人もいるでしょう。しかし、こうした変数を同時に眺めてみると、アーカイブの構造について思いがけないパターンが浮かび上がり、当たりの精度が上がることがあります。私の経験では、研究者がふつうスプレッドシートに書き溜めているメタデータをグラフにするだけで、文書館での状況把握は格段に楽になるのです。

実験

私が今取り組んでいるのは、16世紀のあるスパイの書簡です。その手紙は数百のfilzeに散らばり、別々の名義で、別々の――ときに思いがけない――宛先へ、別々の場所から書かれています。目当ての手紙が眠っていそうなfilzeを絞り込むために、私はダッシュボード、つまりインタラクティブなデータ可視化のウェブアプリケーション（）を組みました。地理や年代の情報をはじめあらゆる種類のデータを、文書群の階層図（）と結びつけたものです。ダッシュボードを見れば、何がすでに見つかっていて、それが全体のどれほどにあたり、新しい手紙をどこで探せばよさそうかが一目でわかります。しかも特定の変数をクリックすれば、すべての図が更新され、それに応じた相関が表示されます。

次の一手

もっと大事なのは、おそらく、このダッシュボードが視覚的な索引に転用できることでしょう。書簡の校訂版がオンラインで公開されたあかつきには、ダッシュボードはもう一つの入口となり、読者はそこからデータを渉猟できるようになります。守秘上の理由から、いまは一部を伏せたスクリーンショットしかお見せできませんが、完全版は来年公開する予定です。それまでのつなぎとして、プロトタイプも近く公開します。どうぞお楽しみに。

BnF Ms. Fr. 640の意味的マークアップを可視化する

Sun, 20 Dec 2020 18:15:00 +0000

概要

データの豊かな校訂版には、あらゆる研究目的のために抽出し、分析し、可視化できる貴重な編集上の注釈が詰まっています。2020年に公開されたもその一つで、メタデータファイルをGitHubリポジトリからダウンロードできるようにしています。本稿では、これらの変数をすべて相関行列にまとめ、いくつかの方法で可視化する手順を示します。

データ

Making and Knowing Projectは、写本の内容に関する最新情報をまとめたスプレッドシートentry_metadata.csvを生成しています。ファイルはMaking & Knowingのから取得できます。あるいは、Matthew Kumarによる優れた ――BnF Ms. Fr. 640のPython版――を使えば、マークアップをさらに加えた独自の.csvファイルを作ることもできます。

Pythonの準備

データの整形にはPandas、ヒートマップにはMatplotlibとseaborn、そして最後に、相関に基づくネットワークを描くためにNetworkXを使います。この種の変数にはピアソン法は避け、代わりに𝜙𝐾法を使います。この相関手法と、対応するライブラリPhiKについては、あらかじめしておいてください。

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

データの準備

まず、のmetadataフォルダから、校訂版の最新のメタデータファイルをダウンロードします。使うのは必要な列だけです。このデモでは英訳tlの意味的タグをすべて選びますが、フランス語転写tcや正規化版tcnのタグを選んでもかまいません。データはセミコロン区切りになっているので、Pythonに数えてもらう必要があります。そこで正規表現[^;\s][^\;]*[^;\s]*を使い、stack-unstackの手法で数えます。行列を読みやすくするために、各列の名前を付け替えます。急ぎならこの手順は飛ばしてもかまいませんが、この段階でデータフレームがtagsrnという名前になっていることだけは覚えておいてください。

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

相関

データフレームが整ったら、各変数間の相関係数を計算します。この段階で大事なのは、自分のデータを理解し、もっとも適した相関手法を選ぶことです。pandas-profilingパッケージが、この作業には特に役立ちます。

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortagが相関行列です。ここからいろいろな可視化を試せます。

可視化

まず試せるのは、seabornのを使い、色で符号化した行列として描くことです。

相関ヒートマップ

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

テキストをよく知っている人なら、このヒートマップが実に理にかなっていることがすぐにわかるでしょう。たとえば人名はラテン語と強く相関しています。とりわけ16世紀の人文主義者のあいだでは、名前をラテン語化するのが習わしだったからです。

このヒートマップは当たり前のことを言っているだけだ、という人もいるかもしれません。あながち間違いではなく、一見したところ医学タグはその好例に見えます。予想どおり、身体部位、計量、植物と相関しているからです。

しかしヒートマップを一行ずつ丹念に読んでいくと、興味深く、思いがけない相関が見つかります。たとえば医学タグがイタリア語やラテン語の語と相関していることは、Ms. Fr. 640の医療レシピの出どころについて手がかりをくれます。同様に、職業、定義、計量のあいだの相関は、職業的アイデンティティが16世紀の技術的言説をどれほど深く形づくっていたかを物語っています。

相関クラスターマップ

ヒートマップは「探索」の場面では便利ですが、聴衆の目には少し雑然と映るかもしれません。写本の中の特定の意味的クラスターについて論じている――あるいはまだ探している――ときはなおさらです。Seabornのclustermapモジュールなら、面白い結果が得られるでしょう。

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

ピクセル化した（そう、この語はOEDにも載っています）昆虫のように見えるのはさておき、このクラスターマップは、孤立したタグ（上と左）と互いに結びついたタグとをはっきり分けてくれます。音楽とポワトゥー方言（誰が予想したでしょう！）のような孤立したクラスターと、計量、素材、定義、武器のようなより中心的なクラスターも見分けられます。職業はより多くと結びついていますが、少なくともこの相関行列では、特定のクラスターには属していません。

相関ネットワーク

行列に含まれる相関をさらに凝縮したいなら、ネットワークグラフが優雅な解決策です。写本の内容を人に伝えたい場面では、とりわけそうです。そのためには、行列をエッジとノードのリストに変換し、弱い相関をグラフから落とすための閾値を決める必要があります。

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

エッジやノードが多すぎるなら、閾値を変えてすっきりさせられます。あるいは.write_gexf()関数でグラフを書き出し、Gephiでいじることもできます。

nx.write_gexf(G, 'graph.gexf')

結果は本稿の冒頭でご覧いただけます。

アップデート――円形の重み付きネットワーク

相関行列を重み付きネットワークとして表示する方法を探していて、面白いアプローチを見つけました。ここでは私たちのデータセットに合わせて手を加えます。

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

エッジをいくつか落としたら、色と太さを決めます。

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

ノードには、接続数に比例した大きさも与えます。

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

結果は、より多くのノードとはるかに多くのエッジを収めながら、なお読みやすく情報量の多い重み付きグラフです。