ネットインフラ企業とAI企業が激突。Webの未来が変わるかも

門番 vs. 新星のバトル。

インターネットの未来に関して、ひっそりと、しかし重要な戦いが始まりました。狼煙を上げたのは、長年オンライントラフィックの番人を務めてきたWebインフラの大手・Cloudflare。それに真っ向から対立しているのは、AI時代の寵児・Perplexity、Google検索の独占を脅かす存在です。

それぞれの主張はまったく食い違っています。Cloudflareの主張では、Perplexityは長年のネットのルールを無視する悪者で、データ取得を禁止するWebサイトにも姑息な手段でアクセスしています。一方Perplexityに言わせれば、Cloudflareは危険なほど無能であるか、パブリシティ目的で騒いでいるだけであり、今どきのAIの仕組みをわかっていない老害に過ぎません。

彼らの争点は、オンラインの情報にアクセスできるのは誰なのか？ということですが、延いてはそのルールを誰が決めるのか？という問題でもあります。

皆のインターネットを支えてきた裏方と、AI時代の新星の間の争いが、次世代のWebのあり方を定義していくかもしれないのです。

Cloudflareの主張：Perplexityは悪意のボット

インターネットはこの何十年、robotx.txtというファイルの扱いについての｢紳士協定｣のもとで動いていました。

robots.txtはシンプルなテキストファイルですが、Webサイトの所有者がそこに｢立入禁止｣と書いておけば、Webクローラー（データを取得するソフトウェア）またはボットがそれを読み、｢あ、ここ入っちゃいけないのね｣と理解します。Googleのような行儀の良いボットであれば、そのサイトのデータは取得せずに素通りしていきます。

でもCloudflareによれば、Perplexityのボットは行儀が良くなかったようです。PerplexityBotはrobots.txtを無視し、ブロックされるとステルスモードになって一般のブラウザになりすまし、IPアドレスを自動で切り替えながら、データを集め続けたのだとCloudflareは主張しています。

Cloudflareは、検証用に｢ボット厳禁｣の秘密のWebサイトを作り、自らの主張の裏付けを行ないました。結果、｢Perplexityはアクセス制限されたドメインにホストされたコンテンツに関する詳細な情報を提供｣していたことが発覚したのです。

つまり、Perplexityが見れないはずの場所に置いた情報を、Perplexityのユーザーに提供していたということです。

この｢ステルスでのクローリング行為｣があったため、CloudflareはPerplexityを認証済みボットのリストから外し、正体不明のクローラーとしてブロックしました。

Perplexityの反論：｢AIのこと知らないの？｣｢無能すぎｗ｣

これに対し、Perplexityは素早く反論。彼らに言わせれば、Cloudflareは｢現代のAIアシスタントの実際の仕組みについて、ほぼすべてを誤認｣しているのだそう。

AIはかつての｢ボット｣とは違い、Cloudflareは新たな技術に対し古いルールを誤ってあてはめているのだという主張です。

彼らの主張のポイントは、従来のボットとユーザーエージェントは違う、という点にあります。従来の検索エンジンなどのボットは、まず無数のページをクロールして巨大なインデックスを構築しておき、ユーザーが検索する時点でそのインデックスを利用する仕組みです。

それに対しユーザーエージェントは、Perplexityの主張によれば、文字通りユーザーを代理してリアルタイムで動きます。なので誰かがPerplexityに質問すると、その人物のAIエージェントは必要な情報をWebから即時に取り出してくるというわけです。

つまりPerplexityは従来の検索エンジンのようにデータを溜め込んでいるわけではなく、調査のアシスタントとしてふるまっているだけだというのが彼らの考え方です。

｢これは伝統的なWebクローリングとは根本的に異なる。従来のクローラーは、ページ上の情報を誰かが求めているかどうかに関係なく、無数のページをシステム的に訪問して巨大なデータベースを構築していた｣とPerplexityは言います。

そして、｢Cloudflareのような企業が、ユーザー主導のAIアシスタントを悪意のあるボットとして誤認するとしたら、ユーザーの指示で動く自動ツールすべてを容疑者扱いすることになる。その姿勢はつまり、eメールクライアントアプリもWebブラウザもそれ以外も、管理者が気に入らなければ犯罪者としてしまうのだ｣と警告します。

さらにPerplexityは、Cloudflareが｢第三者のクラウドブラウザサービスによる1日300〜600万件のリクエストを、Perplexityのものだと誤って認識した｣とし、｢Webトラフィックの理解と分類をコア事業とする企業としては非常に恥ずべき、基本的なトラフィック分析の誤り｣だと揶揄しました。

加えて、Cloudflareの主張を｢クレバーなパブリシティ｣であるか、Cloudflareが｢AIの基本について危険なほど誤認している｣ことの証左に過ぎないとまとめています。

ネットの評価は二分

ソーシャルメディアでの評価は割れています。たとえばテック起業家のAndrej Radonjic氏は、以下のようにPerplexityを擁護します。

perplexity is just using a proxy to fetch something that’s already on the public web, to answer a user’s question.framing it as some kind of attack is absurd. the public web should be public.

— Andrej (@0xdrej) August 4, 2025

Perplexityは、ユーザーの質問に答えるためにプロキシを使って公開Web上にあるものを取得しているだけだ。攻撃呼ばわりするのはばかげている。

パブリックWebは、パブリックであるべきだ。

それに対し、｢Perplexityは検索エンジンのフリをしたり、AIのフリをしたりしているが、結局どちらでもない｣と批判的な人もいます。

米Gizmodoのコメント欄でも｢Perplexityの主張では、『あなたの家に押し入ったのは、自分が盗むためではなく、クライアントのためだ。だから押し入ってもいいんだ』になる｣｢知的財産権は20世紀の遺物ってこと？｣といった反応が出ています。

オープンWebは誰のもの

この騒動で、AI時代の緊張関係がまたひとつあらわになりました。

PerplexityのようなAIスタートアップは、Google（グーグル）やOpenAI（オープンエーアイ）といった巨大企業と戦うために、オープンWeb上の無数のデータへのアクセスを必要としています。それがなければ、AIはリアルタイムに正確な答えが出せないからです。

一方、Cloudflareのようなインフラ管理者の背後にいるWebサイト所有者は、同意や補償なくコンテンツを取得され、AIモデルの訓練素材にされることへの懸念を強めています。

またCloudflareはPerplexityの正体不明クローラーをブロックするという判断により、対AIのデータ警察に自ら就任し、｢正当な｣Webトラフィックが何かを定義しようとしています。

Perplexityは、こうした動きによって、｢AIツールがインフラ管理者に認可されたかどうか｣でアクセス可否が決まる｢2段階のインターネット｣が生まれてしまうと警告しています。

今、インターネットのルールが書き換えられようとしています。かつての紳士協定が崩れ、門番とイノベーターの間のバトルが始まりました。

この戦いの結果はAIの未来を決めるだけでなく、オープンWebの未来をも変えてしまうことになるかも…？