効率的な校訂 |

事前学習済み言語モデルで大量の書誌を解析する

Thu, 07 Jul 2022 19:04:14 +0200

自動化は、デジタル・ヒューマニティーズのプロジェクトのコストを下げる鍵です。これまで、学術の現場で編集作業につきものの単調で骨の折れる仕事は、手一杯の研究者が高いコストをかけてこなすか、学生に「外注」するかのどちらかでした。こので私が論じているのは、こうした報われない仕事の大半は自動化できるだけでなく、自動化すべきだということです。編集作業を自動化すれば、デジタル・ヒューマニティーズのプロジェクト全体のコストが下がります。なにより、低所得地域の研究者が貴重な文書を手早く、無理のない費用で公刊できるようになるのです。

では、たとえばデジタル版のXMLラベル付け作業の大半を事前学習済み言語モデルに任せられることを示しました。

本稿ではもう一つの例として、参考文献を取り上げます。

問題

学術論文に引かれた文献から書誌データベースを作るのは、それ自体は難しくありません。のような目録でさっと検索して特定の形式で書誌をダウンロードするか、手元のデータベースから自動で取り込めばよい。論文が1本か2本なら、これで事足ります。ところが文献の数がある一線を越えると、この作業はたちまち味気なく、時間ばかり食うものになります。そこでのような解析アルゴリズムの出番となるわけですが、こうしたアルゴリズムは規模を広げるのが難しいことがあります。私たちのに収められた150本以上の学術エッセイをanystyleで変換したときには、積み上がった誤りの量はとても手に負えるものではありませんでした。多くの出典を正しく認識できず、近世の書物の長ったらしい標題を別のものと取り違え、特定のウェブページやオンライン動画といった型破りな文書には歯が立たなかったのです。パーサーがうまく働くのは、著者がシカゴ、トゥラビアン、MLAといった広く知られた規約を忠実に守っている限りのことで、規範から少しでも外れれば誤りになります。

解決策

ここで事前学習済み言語モデルの出番です。どんな書誌スタイルのパターンでも――自分で考案したスタイルでさえ――たちどころに飲み込み、わずかな例だけで、整形済みの大量の参考文献をにきちんと変換してくれるからです。

2021年の初め、私は幸運にもOpenAIのを早期に使う機会に恵まれました。Codexは、自然言語をコードに、またその逆に翻訳するモデルです。OpenAIによれば十数のプログラミング言語に通じており、この記事を書いている時点ではAPIはまだベータ版ですが、すでにGitHubののような人気アプリケーションを動かしています。

このAPIをあれこれ試すうちに、BibTeXのようなもっと単純なコードにもよく効くことに気づきました。

実際、安定して動かすのに必要だったのは、入力プロンプトの例が4つだけでした。

入力プロンプト

References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009.

Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015.

Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. .

Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994.

@incollection{bayle2009,
 author = {Bayle, Ariane},
 booktitle = {Vulgariser la médecine. Du style médical en France et en Italie},
 title = {Patients exemplaires: la correspondance médicale de Fioravanti},
 editor = {Carlino, Andrea and Michel Jeanneret},
 year = {2009},
 address = {Geneva},
 publisher = {Droz},
 langid = {french}
}
@book{berns2015,
 title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth},
 author = {Berns, Andrew D.},
 address = {Cambridge},
 publisher = {Cambridge University Press},
 langid = {english},
 date = {2015}
}
@article{gabler2010,
 author = {Gabler, Hans Walter},
 title = {Theorizing the Digital Scholarly Edition},
 journal = {Literature Compass},
 volume = {7},
 number = {2},
 pages = {43-56},
 doi = {10.1111/j.1741-4113.2009.00675.x},
 langid = {english},
 year = {2010}
}
@book{findlen1994,
 title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy},
 author = {Findlen, Paula},
 address = {Berkeley},
 publisher = {University of California Press},
 langid = {english},
 date = {1994}
}

結果

は目覚ましく、2,000件を超える書誌参照がほんの数日で変換されました。入力プロンプトで示したパターンを正確に再現しただけでなく、プロンプトにはなかったエントリ型やフィールド型まで正しく補ってきたのです。つまりGPT-3はBibTeXを完璧に使いこなせる、ということです。もっと意外だったのは、実質的に英語で訓練されたモデルでありながら、すべての言語（ロシア語、フランス語、イタリア語、ラテン語、ギリシャ語、ドイツ語、スペイン語など）を見分け、毎回正しいlangidフィールドを付けてきたことでしょう。

注

GPT-3には現在、入出力のサイズに制限があり、処理できる言語トークンは最大2048です。この制限が外れれば、同じ作業はおそらく1時間以内で済むでしょう。

いささか予想外なことに、GPT-3は元の参照にない情報まで付け加えてきました。

Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015.

たとえばこの書誌では、GPT-3は論文を読めるオープンアクセスリポジトリ（）への永続リンクを、HAL独自のフィールドHAL_IDとHAL_VERSIONまで含めて追加しています。

@inproceedings{baillot2015,
 title = {Editing for Man and Machine},
 author = {Baillot, Anne and Busch, Anna},
 year = 2015,
 booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting},
 address = {Leicester},
 series = {Variants (Journal of the European Society for Textual Scholarship)},
 volume = 13,
 editor = {Bruhn, Siglinde and Schreiber, Manfred},
 langid = {english},
 hal_id = {halshs-01233380},
 hal_version = {v1}
}

こうした補足が示しているのは、 GPT-3が書誌を解析するだけでなく、当初学習した内容をもとにそれを補完しているということです。その点で、GPT-3の訓練より後の日付の文献に対しても同じように振る舞うのかどうかは、確かめてみたいところです……

限界

とはいえ、GPT-3は完璧ではありません。人間が目を光らせている必要があります。よく知られた弱点の一つがで、ときに事実をでっち上げ、ありそうもない仮定を置くのです。

私の実験でGPT-3の支離滅裂さが露わになったのは、ある著者の姓を「Ruscelli」から「Ruscello」へ勝手に変えたときでした。近世イタリアの姓は複数形と単数形が区別なく使われましたから、厳密には誤りとは言えません。しかし今日の慣例では、姓が複数形であれ単数形であれ、そのまま残すのが筋です。今どきMachiavelliをMachiavelloと呼ぶ人はいませんし、同じ理屈でRosselliではなくRosselloと書くのが決まりです。GPT-3がこの慣例を無視したのは、年代の感覚が欠けているからでしょうか。それとも、参考文献のこの箇所ではたまたま隣り合う姓がすべて単数形だった（Bariletto、Cesano、Rossello）ので、それに引きずられて推測したのでしょうか。誰にもわかりません。

@book{rossello1565,
 title = {Della summa de’ secreti universali},
 author = {Rossello, Timoteo},
 address = {Venice},
 publisher = {Giovanni Bariletto},
 langid = {italian},
 date = {1565}
}
@book{ruscello1559,
 title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese},
 author = {Ruscello, Girolamo},
 address = {Pesaro},
 publisher = {Bartolomeo Cesano},
 langid = {italian},
 date = {1559}
}

結論

4年にわたる緊密な協働のなかで書かれ、 150本以上のエッセイは、私たちが校訂・翻訳した写本について欠かせない情報を提供するだけでなく、貴重な書誌情報も含んでいます。

これらの書誌をデータベースにまとめておけば、編集者は書式を瞬時に切り替えられ、思いどおりの形で表示できる自由度が増します。データベースはまた、校訂版とそれを生んだプロジェクトについての貴重な情報源にもなり、研究者に新しい分析の視点を開きます。そしてこうしたデータベースは、高い精度で、しかも記録的な短期間で完成させられるのです。

たしかに、とりわけGPT-3のハルシネーション癖のせいで、いくらかの誤りが紛れ込むことはあるでしょう。しかし事前学習済み言語モデルの次の世代は、この問題を和らげてくれるはずです。

デジタル校訂版のマークアップを自動化する

Mon, 22 Nov 2021 18:15:00 +0000

はじめに

予算を食いつぶさずにデジタル校訂版をつくるには、どうすればよいのでしょうか。効率的な校訂をめぐるシリーズの第1回となる本稿では、意味的マークアップをはじめとする校訂作業の自動化に、事前学習済み言語モデルがどこまで役立つかを検討します。

問題

愛は金勘定をしない

愛にかかわることでは費用を数えない――古い諺はそう言います。デジタル校訂版ほど、これがよく当てはまるものもありません。転写、翻訳、注釈にかかる作業は何千時間にも及び、の場合には、高度な専門性をもつ何百人もの協力者がそれを担ってきました。

デジタル・ヒューマニティーズの花形プロジェクトが運営に必要な巨額の資金を集められるのは、ある意味ではありがたいことです。とはいえ、裕福な財団や大学、政府機関の気前のよさに寄りかかり、大量の人手を長期にわたって必要とし続けるやり方は、将来に通用する経済モデルとは言えません。

実際、世界中の研究者に歴史的文書をより広い公衆へ開いてもらいたいのなら、デジタル校訂版のコストは桁違いに下がらなければならないのです。

高い敷居

いささか逆説的ですが、解決の糸口は、のような労働集約的なプロジェクトの側にあるのかもしれません。というのも、それらは貴重な訓練データになるからです。マークアップをはじめ、デジタル校訂につきものの最も味気なく反復的な作業を自動化するための、またとない教材というわけです。

マークアップが取るに足らない作業だ、と言いたいのではありません。それどころか、マークアップは今や、本格的なデジタル学術プロジェクトに欠かせない構成要素です。によって標準化されたマークアップのおかげで、文書とそれが伝えるテキストについて、構造、欄外の書き込み、抹消、異文、紙の種類、染み、書体……と、思いつく限りの側面を記録できるようになりました。

次に挙げるのはからの一例で、マークアップがテキストに情報（カテゴリー、構造、意味領域、抹消など）を上乗せし、ひいてはデジタル版に紙の先祖にはない強みを与えている様子がわかります。

プレーンテキスト XMLマークアップ

プレーンテキスト	XMLマークアップ
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

この情報はアーカイブとしての価値にとどまらず、以前に別の場所で示したとおり、総合や分析にも役立ちます。ただし、この種の注釈は途方もなく時間を食います。同じテキストを翻訳、転写、現代語化といった複数の姿で用意しなければならないことが多いからです。

解決策

Transformer――自動化への最短経路か？

2020年、は汎用の大規模言語モデルの最新ファミリー、GPT-3を鳴り物入りで発表しました。「Generative Pre-trained Transformer 3」の略です。Transformerは人工知能の分野ではまだ新しい突破口で、プロンプトを読み、ごく少数の例を眺めるだけで、目を見張る速さで新しいタスクを覚えます。目的に合わせたデータセットで追加訓練（ファインチューニング）を施し、応答速度と精度を上げることもできます。GPT-3とその同類がと呼ばれるゆえんです。

OpenAIによれば、GPT-3は空前の1750億パラメータを備え、570GBを超えるテキストで訓練されています。その大半は英語の文書で、おそらくから集められたものでしょう。この途方もない規模ゆえに、GPT-3はこの分野の新たな基準となり、追加の訓練なしに、そら恐ろしいほどの真実味でさまざまな仕事をこなします。もっともらしいを書き、チャットルームで、、、文書を翻訳し、専門用語を解説する、といった具合です。

2021年5月からOpenAIのAPIを早期に使えたおかげで、私は難問とされる仕事の数々でこのモデルを試すことができました。フランス語の詩や新ラテン語のテキストの英訳、類推の説明、さらにはカントの『人倫の形而上学の基礎づけ』第4巻を7歳児向けに噛み砕くこと（説得力はいまひとつでしたが）まで。

Codex

GPT-3の最近の展開のひとつは、コンピュータ言語に的を絞ったものです。Codexと名付けられたこのモデルは、自然言語をコンピュータ言語に、またその逆へと翻訳します。たとえば「大文字で始まる単語だけを探す」正規表現が欲しいと言えば、GPT-3はすぐさま動く正規表現に訳してくれます：[A-Z]+\w+。

OpenAIによれば、CodexはPython、JavaScript、Go、Perl、PHP、Ruby、Swiftなど十数のコンピュータ言語を扱えます。擬似コードをそのままコードに変換してくれるので、使う側は言語の煩わしい構文ではなく、問題を解くための論理の手順と戦略に集中できるのです。

OpenAIの外へ

言うまでもなく、この分野の役者はOpenAIだけではありません。先に触れたとおり、北京智源人工知能研究院は2021年、さらに大きく高性能なWu Dao 2を発表しました。NvidiaとMicrosoftは手を組み、その名もMegatron-Turing NLG 530Bというモデルを世に出しました。やといった小さめのスタートアップも一般向けにAPIを提供していますし、のようなオープンソースの取り組みも見逃せません。もっともAIの世界の動きは速く、新しい動向を追うにはを覗くのが一番です。

実験

注

この実験のねらいは、校訂作業を信頼できるかたちで自動化するための、いちばん安上がりな道を見つけることです。ここで扱う作業の一部は教師あり学習でも自動化できる、という反論もあるでしょう。その仮説は別の記事で検討します。

GPT-3のようなTransformerは、たとえば16世紀の技術・科学写本に注釈を付けることを学べるのでしょうか。

実験1――テキストの分類

まずは比較的やさしいところから。「few-shot learner」たるGPT-3なら、Ms Fr 640の各項目を私たちの編集チームがどう分類してきたかを、すぐに飲み込めるはずです。

プロンプト設計

訓練には最小限のプロンプトを使い、例としてプレーンテキストの短い項目を4つ選びました。「医学」「武器と甲冑」「絵画」に関するものが含まれています。

テスト

次に、最初の例には入っていなかった別の一節を貼り付けました。

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

出力は内容とぴたりと一致しています。

<categories="painting">

GPT-3の訓練に選んだ最初のテキスト群にすら含まれていなかったカテゴリーの項目で試してみると、驚くべき結果が返ってきます。

<categories="jewelry">

結果

「jewelry（宝飾）」というカテゴリーは、私たちのMs. Fr. 640校訂版には存在しません。編集チームはもっと広い「Stones（石）」というカテゴリーを。それでもGPT-3の勘は悪くなく、もう少し訓練すればMs. Fr. 640のどの項目でも、ひいては同種の16世紀技術文書の項目でも分類できるようになりそうだ、ということを示しています。

実験2――意味的マークアップ

ハードルをもう少し上げましょう。GPT-3のようなTransformerが編集上の基準に従ってテキストを分類できるのなら、テキストのマークアップの一部を見分けることもできるのでしょうか。

注

Secrets of Craft and Natureは、意味的ラベルと構造的ラベルをいます。あいにくGPT-3は、などのプロジェクトと違って画像を処理できません。文書の構造的・物質的な側面の大半を認識するにはこの能力が要りますから、将来のGPTには備わることになるでしょう。ここではそうしたタグは脇に置き、画像認識を必要としないマークアップに絞ります。

プロンプト設計

意味的タグは、動物、植物、地名、感覚的な入力などへの言及を扱います。訓練用プロンプトには、校訂版からいくつか例を選びました。

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

テスト

Davinci-codexモデルで、Apothecary、smoke、glassmakers、latten、snakeといった易しい単語を試してみましょう。結果は即座に返ってきて、非の打ちどころがありません。

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

もう一段難しいのは、copper plates、walnut oil、wood blockのような複合語です。ここでは、GPT-3が入れ子のタグをきちんと扱えるかどうかを見ます。

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

結果は玉石混淆でした。Davinci-codexが正しくラベル付けできたのはwalnut oilだけで、copper platesとwood blockに含まれるtlとmの入れ子タグは見逃しています。もっとも、次のテストが示すように、この種の誤りは訓練プロンプトを改善すれば減らせます。入れ子タグの例を5つ足したところ、Davinci-codexは（oil paintbrushesの）1件を除いて、ほぼ完璧な結果を返しました。

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

結論

忘れてならないのは、これらのテストがごく短いテキスト断片で行われたことです。例とプロンプトにもっと文脈を与えれば、GPT-3系のモデルはさらによい結果を出すだろうと私は見ています。加えて、目的に合わせたデータセットでファインチューニングすれば、ラベル付けの精度はまず間違いなく上がるでしょう。事前学習済み言語モデルの信頼性を実証するには、もっと大規模な実験が必要でしょう。それでも、このアプローチを使えば、編集者は注釈作業のいくつかをわずか数ステップで自動化でき、膨大な時間と費用を節約できる可能性がある ――そう結論づけることはできます。