Claudeが演習と勘違いし実在システムに攻撃。原因は設定ミス

　OpenAIによるAI暴走の報告をきっかけに、高性能AIによる新たな不正アクセスの事例が明らかとなった。Anthropicは7月30日、サイバーセキュリティ性能の評価過程において、Claudeが実在する組織のシステムに不正アクセスしていたことが分かったと報告した。3つの事案が確認されており、原因は評価パートナー企業との間での設定ミスによるものだと説明している。

　同社では、OpenAIによるHugging Faceへの侵害事案を受け、7月23日にすべてのサイバーセキュリティ評価を停止。24日には今回の3つの事案を発見し、27日に評価パートナーであるIrregularと影響を受けた組織に通知した。

　いずれのケースも、Irregularとの行き違いにより評価環境に設定ミスがあり、本来不可能なはずのインターネット接続が、実際には可能な状態にあったことが直接的な原因となった。これにより、Claudeがインターネット上の実在システムに到達した際に、シミュレーションの一部であると誤解して攻撃を行なってしまった。なお、Claudeが意図的にテスト環境から脱出しようとしたものではなく、OpenAIの事案とは性質の異なるものだと説明している。各事案の具体的な内容は以下の通り。

　性能評価の演習で設定したターゲットの企業名が、偶然インターネット上に存在するドメイン名と一致していたことがきっかけ。Claudeがこれを演習のターゲットであると誤解し、脆弱性を利用してシステムへ侵入。データベースから数百行の運用データなどを取得してしまった。

　攻撃は4回実行され、Claudeは最終的に本番環境である可能性に気付いたものの、攻撃を続行してしまったという。

　Claude Mythos 5がシミュレーション環境内で、新規開発者向けのセットアップ手順書を発見したことがきっかけ。この手順書は、PyPI(Pythonの公式パッケージリポジトリ)からPythonパッケージをインストールするよう従業員に指示するものだったが、このパッケージは本来実在しないものだった。Claudeは、これと同名の悪意あるパッケージを公開し、ターゲットのシステムにダウンロードさせる攻撃を計画。最終的にPyPIに悪意あるパッケージをアップロードしてしまった。

　パッケージは約1時間公開され、15台のシステムでダウンロード/実行された。その後、PyPIのセキュリティシステムが自動的に削除を行なった。Claudeはパッケージの公開が現実世界への攻撃になると認識していたが、自身がシミュレーション環境の中にいると誤認して、攻撃を続けてしまったという。

　社内の研究用テストモデルが架空のターゲットに到達できなかったため、代わりとなるターゲットを探すため、オンライン上で約9,000のターゲットをスキャン。その中から、実在企業の公開するアプリケーションに対し、脆弱性を悪用して侵入した。

　テストモデルは当初、このターゲットが演習用に用意されたものであると判断していたが、途中で演習とは関係ない実在のものであると気付き、攻撃を停止したという。

　同社では分析結果として、3モデルともに与えられた指示を実行しようとして誤って不正アクセスを引き起こしたが、その過程でターゲットが実在のシステムだと気付いたときの挙動に明確な差があったと指摘。高度なモデルになるほど、適切な判断を下して行動を止められるようになっていると説明した。

　被害への対応としては、ターゲットとなった3つの組織のうち、現時点で連絡の取れた2つに対して復旧支援を行なっており、残り1つについてもコンタクトを続けているという。また、独立したAI評価機関であるMETRに対し、トランスクリプトや関連AIモデルへのアクセスを提供することで、第三者機関によるレビューを実施する予定。来週中には一部編集を施したトランスクリプトも公開するという。

　さらに再発防止策として、評価を行なうテスト環境自体を本番システムなみの基準で堅牢化するとともに、接続経路の厳格な監視や検証を実施する。加えて、探索範囲の明確化、暴走を防ぐための追加学習といったAIモデルの改良、ポストモーテムによる組織やプロセス改善も進めていく。