ちまたの“格安GPT”、中身は偽物? 非公式APIのモデル偽装を調査した結果……

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説する。執筆は研究論文メディア「Seamless」(シームレス)を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。X:@shiropen2

 ドイツのCISPAとカナダのウォータールー大学に所属する研究者らが発表した論文「Real Money, Fake Models: Deceptive Model Claims in Shadow APIs」は、LLM(大規模言語モデル)の公式APIを安価に仲介する非公式サービス「シャドーAPI」の実態を調査した研究報告だ。

 GPT-5やGemini-2.5といったLLMの公式APIは、高額な利用料金や決済のハードル、中国やロシアなど特定地域からのアクセス制限という壁がある。これを回避するため、非公式の仲介業者を通じて地域制限なしに安価で公式モデルと同等の性能を提供すると謳う「シャドーAPI」が普及している。

シャドーAPIの概要

 研究チームが国際会議の採択論文やGitHubを調査した結果、17種類のシャドーAPIが特定され、それらが計187本の学術論文で利用されていることが判明した。そのうち約62%(116本)は、ACL、CVPR、ICLRなどの査読付き国際会議や学術誌に採択されていた。

 利用している研究者の約8割は、一部の公式APIへのアクセスが制限されている中国の機関に所属している。一方、17のサービスのうち15は、身元情報が不透明で出自を検証できない個人によって運営されており、すでに4つのサービスが運営を停止するなど、研究基盤としては不安定な状態にあった。

 シャドーAPIが本当に公式APIと同じ性能を出せるのかを検証するため、研究チームは人気の高い3つのシャドーAPIを対象に、OpenAI(GPT-5など)、Google(Gemini-2.5など)、DeepSeekの計8モデルで数学・科学分野の性能を比較した。医療・法律分野と安全性のテストは、各社から1つずつ選んだ代表3モデルで行った。

 その結果、推論を要しないタスクでは公式に近いスコアを出す一方、推論モデルでは性能が大きく落ちるサービスがあった。高度な推論を要する数学ベンチマーク(AIME 2025)では、3つのうち1つのシャドーAPIで、Gemini-2.5-proが40.00ポイント、DeepSeek-Reasonerが38.89ポイントの精度低下を示した。

 さらに医療分野のベンチマーク(MedQA)では、Gemini-2.5-flashの正解率が公式APIの83.82%に対し、検証した3つのシャドーAPIすべてで約37%へと低下した。同モデルは、法律分野のベンチマーク(LegalBench)でも大きく低下した。

医療(MedQA)と法律(LegalBench)の正解率の比較

 また、有害な質問に対する安全性のテスト(ジェイルブレイク攻撃への耐性)でも、回答の有害性スコアが公式の5倍になる例がある一方、逆に公式より大幅に低く出る例もあり、ずれ方が予測できなかった。

 実際に申告どおりのモデルが動いているのかを確かめるため、研究チームはAIの応答パターンからフィンガープリント(指紋)を割り出す手法や出力の統計的検定を用いて、裏側で動いているモデルの正体を調査した。

 その結果、調査した24の接続先のうち45.83%(11件)が、指紋による検証で申告どおりのモデルと判定されなかった。

 具体的には、GPT-5やGPT-4o-miniとして販売されている接続先の応答が、安価なオープンソースモデル(GLM-4-9BやQwen2.5-7B)の指紋と一致したり、思考モードを持つDeepSeek-Reasonerへのリクエストが、思考モードのないDeepSeek-Chatのように振る舞ったりする例が見つかった。モデルのすり替えを示唆する。

指紋検証の結果

 一方で、Gemini-2.5-flashのように指紋は申告どおりのモデルと一致したにもかかわらず、医療のテストで約47ポイント、法律のテストで40~43ポイント正解率が落ちるケースもあった。

Zhang, Yage, et al. “Real money, fake models: Deceptive model claims in shadow APIs.” arXiv preprint arXiv:2603.01919 (2026).

Copyright © ITmedia, Inc. All Rights Reserved.

印刷する
SNSでシェア

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」(シームレス)を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

この連載の記事をもっと見る

関連記事: