「Claude Fable 5」の性能が落ちた？ 提供停止前後で比べた結果 米AI企業2社がそれぞれ報告

　7月1日（現地時間）に提供を再開した米AnthropicのAIモデル「Claude Fable 5」（以下Fable 5）。提供停止前後で性能に変化はあるのか。米AI企業2社がそれぞれ調査結果を報告している。

　AIエージェントサービスなどを開発する米BridgeMind AIは7月2日、「Fable 5が弱体化して戻ってきた」と公式Xに投稿した。

　同社が手掛けるコーディング向けベンチマーク「BridgeBench」では、デバッグ性能のスコアが86.2から25.9に、リファクタリングは73.6から38.4に、ハルシネーション対策は75.9から61.7に低下した。モデルそのものの性能は落ちていないものの、搭載された安全機能の強化に伴いスコアが低くなったと分析する。

　一方、AIモデルの性能をユーザーが評価するWebサイト「Arena」（旧LMArena）を運営する米Arena.aiは同日、Fable 5の性能は提供停止前後でほとんど変わっていないと報告した。Arena上の数千件の評価を集計した結果、テキストや画像処理など複数の項目でおおむねスコアを維持しているという。

　なお、Arena.aiは今回のスコアを暫定値としており、より多くのデータを集めて詳細な分析結果を公開する予定だ。

　Fable 5は、Anthropicが6月9日に公開したAIモデル。脆弱（ぜいじゃく）性が見つかったとの報告をきっかけに、12日に米政府の命令によって提供を一時停止し、7月1日に再開した。

　同モデルは、有害な出力をさせる指示を検知し、自動的により性能の低いAIモデルに回答を引き継ぐ「分類器」という安全機能を備える。Anthropicによると、提供の再開にあたり、見つかった脆弱性に対応するために分類器をアップデートした。これに伴い、日常的なコーディングやデバッグ作業における無害なリクエストを誤検出する頻度も増えたという。