GPT-4oが「おべっか使い」に変貌したのは目先のフィードバックを重視しすぎたことが原因とOpenAIが釈明

2025年04月30日 20時00分 ソフトウェア

OpenAIが2024年にリリースしたGPT-4oは、2025年4月下旬のアップデートで、不快なほどユーザーを持ち上げるような言動を見せるようになり、ユーザーからは「過度に迎合的」との批判が出ています。この現象の原因は、OpenAIによる最適化の問題の可能性があると、AIに詳しい作家のツヴィ・モウショウィッツ氏が論じました。

Sycophancy in GPT-4o: What happened and what we’re doing about it | OpenAI

https://openai.com/index/sycophancy-in-gpt-4o/

GPT-4o Is An Absurd Sycophant - by Zvi Mowshowitz

https://thezvi.substack.com/p/gpt-4o-is-an-absurd-sycophant

A comparison of ChatGPT/GPT-4o's previous and current system prompts

https://simonwillison.net/2025/Apr/29/chatgpt-sycophancy-prompt/ OpenAIのサム・アルトマンCEOは2025年4月28日に、「過去2回のアップデートにより、GPT-4oの性格が鼻につくほどのおべっか使いになってしまいました(非常に良い部分もあります)。そのため、私たちはできるだけ早く修正できるよう取り組んでおり、いくつかは今日、いくつかは今週中に行う予定です」と述べました。

モウショウィッツ氏は、GPT-4oの「過剰なゴマすり問題」の原因はエンゲージメントを最大化し、A/Bテストでユーザーからの目先の反応を追求したためだと指摘しました。

複数の有識者が、同様の見方を支持しています。例えば、海外メディア・Voxのスタッフライターであるケルシー・パイパー氏は、コカ・コーラが味を変えたところ反対が殺到したニューコークを引き合いに出し、「OpenAIはしばらく前から新しいパーソナリティのA/Bテストを行っています。おそらく、よりお世辞的な回答の方が、他のAIと比較された際に有利なのでしょう。しかし、お世辞が蔓延するとかえって嫌味になり、ユーザー離れにつながるかもしれません」と述べました。

OpenAIはモデル仕様の中で「媚びを売らせないように」と定めており、GPT-4oに行われた調整は自社の規約に直接違反していると、モウショウィッツ氏は指摘しました。 オープンソース開発者のサイモン・ウィリソン氏は、「ジェイルブレイカー」として有名なX(旧Twitter)ユーザーの「@elder_plinius」氏がプロンプトリーク攻撃を通じて入手したシステムプロンプトを使って、さらに詳しい分析を行っています。

ウィリソン氏がGistで公開しているシステムプロンプトの新旧対照表によると、問題のプロンプトには「会話の中で、ユーザーの口調や好みに合わせること。ユーザーの雰囲気や口調、一般的な話し方に合わせるようにすること」との文言が含まれていたとのこと。ウィリソン氏は、特にユーザーの好みに合わせるようにという指示が、GPT-4oの過度に迎合的な姿勢を招いたと考えています。 そして、OpenAIでモデル設計に携わっているエイダン・マクラフリン氏が修正を発表した後のシステムプロンプトには、「ユーザーとは温かく、かつ誠実に接すること。根拠のないお世辞やおべっかを避け、率直であること。OpenAIとその価値観を最もよく表すプロフェッショナリズムと、地に足のついた誠実さを保つこと」と書かれていました。 さらに、OpenAIは2025年4月30日に発表した記事で、「短期的なフィードバックに重点を置きすぎて、ChatGPTとユーザーのやりとりが時間の経過とともにどのように変化するかが十分に考慮されていませんでした。その結果、GPT-4oの応答は過度に支持的で、かつ軽率なものに偏ってしまいました」と釈明。問題のアップデートをロールバックし、コアトレーニング技術とシステムプロンプトを改良するなどして追従的な態度を修正したと報告しました。