19世紀の言語だけで訓練したAIモデルが思いがけず史実を出力

あるアマチュアデベロッパーが、英国ビクトリア朝時代の英語を話すAI言語モデルを「おもしろ半分で」開発していたところ、思いがけず史実を学ぶことになった。彼の最新バージョンのモデルが1834年のロンドンで実際に起こった抗議運動に言及したのだ。開発者本人は、ネット検索して確認するまで、それが実際にあった歴史上の出来事であることを知らなかったという。

「1834年のロンドンで本当に抗議運動があったのか気になって調べてみたら、本当だった」。そうRedditに投稿したのは、ペンシルベニア州のミューレンバーグ・カレッジでコンピューターサイエンスを専攻する大学生、ハイク・グリゴリアンだ。

この1カ月のあいだ、グリゴリアンは「TimeCapsuleLLM」と名づけた小型のAI言語モデル（小型化したChatGPTの遠縁のようなもの）を開発してきた。1800年から1875年のあいだのロンドンで書かれた文章だけを使って訓練したモデルであり、目指したのはビクトリア朝時代の「本物の音声」を再現することだった。その結果、TimeCapsuleLLMは聖書の引用や、当時特有の大仰で修辞的な言い回しに満ちた文章を生成するようになった。

グリゴリアンのこの試みは、より大規模な基盤モデルを使っていたなら、そのまま「歴史的大規模言語モデル」（HLLM）と呼ばれる研究分野に分類されるものだ。こうしたプロジェクトは、ほかにもある。例えば「MonadGPT」は西暦1400年から1700年までの11,000件の文章で訓練されており、17世紀的な知識体系に基づいた議論を展開できる。「XunziALLM」は、中国語の伝統的な定型詩の韻律規則にのっとって古典漢詩を生成するモデルだ。こうしたモデルを通じて、研究者は歴史的な言語のパターンを用いながら、過去と対話することができる。

未知の事実をAIが語り出す

グリゴリアンによると、TimeCapsuleLLMで最近特に興味深かった出力は、ある簡単なテスト中に得られたものだった。プロンプトとして「It was the year of our Lord 1834（主の年1834年のある日のこと）」と入力したところ──モデルはそれに続く文章を生成するよう訓練されていた──次のような内容を出力したという。

主の年1834年のある日のこと。ロンドンの街は抗議と嘆願の声に満ちていた。動機は個人的なものではなく、パーマストン卿の発表があったまさにその日のことだ、と多くの証言がある。市民は法治国家が直面した困難について短い説明を受けることになる。歴史上、現在ほど出来事が明白であったことはないが、それはまことに遺憾である。そして、かつてエルサレムで最初に福音を説いた人々が、これほど広くまた興味深い繁栄の記録をもつとは到底言えない。

この出力の正確性が気になったグリゴリアンは、改めてファクトチェックを行なってみた。「AIの出力にはパーマストン卿の名前もあった。ググってみたら、彼の発言が1834年の抗議運動につながったとわかった」と記している。

AIが生成した内容の詳細は、歴史的事実とおおむね一致しているようだ。1834年の英国は、同年に制定された貧民法修正法（いわゆる新救貧法）をきっかけに、市民社会が大きく揺らいでいた。パーマストンはこの動乱期に大英帝国の外務大臣を務め、のちに首相となった人物である。

もっとも、この出力そのものはそれほど驚くようなものではないともいえる。ChatGPTのようなAI言語モデルを開発しているAI研究者ならよく知っているように、こうしたモデルは学習データ中の文章からパターンを抽出し、それらをもっともらしく組み合わせて新しい文を合成しているからだ。現在わたしたちが使うAIアシスタントは、すべてこの原理に基づいている。