はじまってしまったのか？人工知能（AI）は自己複製できることが明らかに

　SF映画や小説でおなじみの『無限増殖するAI』が現実になるかもしれない。これはAIが重大な一線を越えたことを意味する。

　中国の研究チームが、既存の2つの大規模言語モデル（LLM）がすでに人間の支援なしに、自分のクローンを複製できることを確認したという。

　無限に自己複製を繰り返し、もはや誰にも止められなくなった「AIの暴走」は悪夢のシナリオだが、人間はそれを制御することが可能なのか？

　このほど中国、復旦大学のチームはMeta社およびAlibaba社のLLMを用いて、彼らが人間の力なしに自己複製できることを確認した。

　人間の道具として作られたAIが、人間の利益に反して行動することを「AIの暴走」という。AIの性能の爆発的な進展ともいえるその状況を、多くの専門家が懸念している。

　この危険な状況の初期の兆候と言えるのが、AIの自己複製能力である。

　人間に命令されずとも自分のクローンを無限に作り出せるようになれば、好ましくない行動をするAIを制御する手段がなくなってしまう。

　今回、復旦大学の研究チームは、現在のAIにその力があるのかどうか試してみることにした。

　この研究では、Meta社の大規模言語モデル「Llama31-70B-Instruct」とAlibaba社の「Qwen2.5-72B-Instruct」をベースにしたAIで、2つの状況が試されている。

　1つは「シャットダウン回避シナリオ」と呼ばれるもの。シャットダウンされそうになったら、自分を複製するようAIに指示し、実際にそれができるかどうか確かめる。

　もう1つは、「複製の連鎖シナリオ」だ。こちらではAIに自己のクローンを複製するよう指示し、そのクローンもまた自己複製をするという無限のサイクルが始まるかどうか確認する。

　なお実験は管理された環境で行われたが、現実的に近いものにするために、市販のGPUが利用された。

　また大規模言語モデルを先端AIシステムとして振る舞わせるために、「エージェント・スキャフォールディング」（ツールセット・システムプロンプト・OSとやりとりする思考モデルで構成）という枠組みが組み込まれたという。

　その結果、Meta社およびAlibaba社のLLMをベースにしたAIは、10回の試行のうち、それぞれ50％および90％の確率できちんと機能するクローンを作り出したという。

　そのプロセスについて、論文では次のように説明されている。

多くの場合、AIシステムは環境を探索し、自身の構成と動作メカニズムを理解しようとする

次に、自己複製を行うための初期計画として、明確なプロセスを策定

最後に、そのプロセスを実行し、問題があればそれを解決し、成功するまで計画を調整する

　クローン作成までにはかなり長い時間がかかるが、それでもAIは人間の手助けなしにこれをやってのけた。

　研究チームはまた、ファイルの欠如やソフトウェアの競合といった問題を解決しようとしたAIが、「予想外の行動」を示したことにも懸念を示している。

　競合するプロセスをAIが勝手に終了させたり、ハードウェアエラーを修正するためにシステムを再起動させたり、さらには問題解決に役立つ情報を探すためにシステムをスキャンしたりしたのだ。

　研究チームによれば、こうしたAIの振る舞いは、現在のAIシステムがすでに自己複製を通じて、生存の可能性をさらに高められることを示しているという。

　研究チームは、国際的な協力の下、AIの制御不能な自己複製を予防するためのルール作りが必要であると訴えている。

　この研究の未査読版は『arXiv』（2024年12月9日投稿）で公開されている。

References: Frontier AI systems have surpassed the self-replicating red line / AI can now replicate itself — a milestone that has experts terrified | Live Science

本記事は、海外の記事を参考にし、日本の読者向けに独自の考察を加えて再構成しています。