生成AIによる“なんちゃって論文”が拡散。学術検索エンジンも騙されてしまう…

やめられない止まらない状態になっていく感。

ハーバード大学ケネディ・スクールのMisinformation Reviewに掲載された憂慮すべき報告書によると、生成AIが作成した科学的研究がオンラインの学術情報エコシステムを汚染しているそうです。えらいことになってきましたね…。

拡散される生成AIによる“なんちゃって論文”

研究チームは、学術誌に掲載された研究を手軽に検索できる学術検索エンジンであるGoogle Scholarで、人工的に生成された文章を含む証拠がある研究論文がどれくらい拡散しているかを調査しました。

チームは特に、GPT（生成的な事前訓練を行なった言語モデル）の誤用を調査しました。GPTは、すっかりおなじみになったOpenAIのChatGPTなどを含む、大規模言語モデル（LLM）の一種で、入力された指示文（プロンプト）を迅速に解釈し、図、画像、長文のテキストによる回答を素早く生成できます。

この研究では、Google Scholarで見つかった科学論文の中から、GPTを使った形跡があるものをいくつか選び出して分析しました。

選ばれた論文には、大規模言語モデル（LLM）を基盤にした対話型エージェント（一般的にはチャットボット）がよく使う共通のフレーズが1つか2つ含まれていたのだとか。

研究者たちはその後、疑わしい論文がどの程度インターネット上に拡散・公開されているかを調査しました。

ボロース大学スウェーデン図書館情報科学部の研究者で、論文の共著者でもあるBjörn Ekström氏は、声明で次のように述べています。

｢AIによって生成された研究内容が検索エンジンを通じて広がることで、私たちが『証拠ハッキング（evedence hacking）』と呼んでいるリスクは大きくなります。こうした状況は、間違った研究結果が社会に浸透してしまい、さらにはさまざまな分野に広がるという実害を生む可能性があります｣

Google Scholarの課題

Google Scholarはインターネット上から学術論文などを収集しますが、科学的な機関に所属していない著者や、専門家による査読を受けていない論文を除外する仕組みがありません。その結果、学生の論文や報告書、未発表の研究（プレプリント）など、厳しい審査を通過していないものまで収集してしまうのだとか。

チームが調査した論文のうち、3分の2は少なくとも部分的にGPTをこっそり使用して作成されたものだったそう。そのうち、14.5%が健康、19.5%が環境、そして23%がコンピュータに関する論文だったといいます。

研究チームは、｢GPTが作成した論文のほとんどは、索引付けされていない学術誌やワーキングペーパー（公刊前の論文や作成途中の論文）の中から見つかりましたが、中には主要な科学誌や会議録に掲載された論文も含まれていました｣と報告しています。

生成AIがもたらす2つのリスク

研究者たちは、この状況がもたらす2つの主なリスクを次のように指摘しています。

｢第一に、研究インフラのあらゆる分野に『でっち上げられた研究』が入り込んで、学術的な情報共有の仕組みを機能不全に陥らせ、科学的な記録の信頼性を脅かす恐れがあります。

第二のリスクは、科学的に見せかけた説得力のあるコンテンツが、実際にはAIツールを使って不正につくられているうえに、一般公開されている学術検索エンジン、特にGoogle Scholarの検索で引っかかりやすいように最適化されている可能性が高まっていることです｣

Google Scholarは学術データベースではないため、科学論文を探す一般の人にとって使いやすいのは良いことです。しかし、残念ながら信頼できる情報とそうじゃないものを見分けるのは簡単ではありません。査読済みの論文と、単なるワーキングペーパーの違いですら混乱する可能性があります。

さらに、AIで生成された文章は、厳密な審査を受けた論文だけでなく、あまり精査されていない論文からも見つかっていることから、GPTによって書かれた論文がオンラインの学術情報システム全体を混乱させていることがわかります。

公式なルート外の研究だけでなく、より正規の情報にまでなんちゃって論文の影響が及んでいると考えられます。かなりヤバそうな感じです。

スウェーデン図書館情報科学部の研究者で、論文の共著者でもあるJutta Haider氏はこう述べています。

｢もし私たちが読む研究が本物かどうか信じられないとしたら、間違った情報に基づいて意思決定を行なってしまうリスクが生じます。これは科学的不正の問題であると同時に、メディアリテラシーと情報リテラシーの問題でもあります｣

出版社がやっちまった事例

近年は、出版社が意味不明な科学論文を見抜けずに掲載してしまったケースがいくつもあります。たとえば、Springer Natureは2021年にArabian Journal of Geosciences（アラビア地球科学ジャーナル）に掲載された40本以上の論文の撤回を余儀なくされました。

このジャーナル名からは地球科学の話題が中心だと思われますが、実際にはスポーツや大気汚染、小児医学など、全然関係のないテーマが扱われていました。しかも、これらの論文は内容がひどく雑で、文章が支離滅裂なものが多く、論理的な思考の流れもほとんどなかったといいます。

そして、AIがこの問題をさらに悪化させているのだとか。昨年2月、出版社のFrontiersは科学誌Cell and Developmental BiologyにAIソフトウェアMidjourneyで作られた画像を含む論文を掲載して批判を浴びました。

特に問題だったのは、シグナル伝達経路やラットの生殖器を描いた、かなり解剖学的に間違ったイラストでした。この論文は、掲載から数日後に撤回されました。いや、ラットのイラストには度肝を抜かれました。ラットから木が生えてるのかと思ったもの。

AIが良いツールになるかどうかは使う人次第

AIモデルは科学に恩恵をもたらす可能性もあります。たとえば、ローマ帝国時代の古文書を解読したり、これまで知られていなかったナスカの地上絵を発見したり、恐竜の化石に隠された詳細を明らかにしたりすることも可能です。でも、AIの影響が吉と出るか凶と出るかは、結局のところ使う人次第でしょうね。

査読を行なう学術誌と、学術論文を扱うプラットフォームや検索エンジンには、AI技術を科学的発見の促進に役立てるための適切なルール作りが求められているんじゃないでしょうか。