インターネットが無料の時代は終わり？ Cloudflareがスクレイピングの有料化へ

AIが無料で使える時代はもうおしまい…かも。

ネット上に存在している暗黙の了解が、終わりを告げそうです。Cloudflare（クラウドフレア）がネット上のスクレイピング（ウェブサイトなどから特定の情報を自動的に抽出・収集すること）を有料化して、AIが無料で学習することをやめさせようとしています。

約30年前にGoogle（グーグル）を立ち上げたスタンフォード大学院生だったラリー・ペイジとセルゲイ・ブリンは、コンテンツ制作者はウェブ全体をコピーしてもいい代わりにGoogleは検索結果をを送り返すという取引を前提に検索エンジンを構築しました。この仕組みによって、ネット環境では広告収入、サブスク、ネットメディアが発展し、その成長が支えられてきました。Googleもこの取り決めを守ってきましたが、AI時代に突入によってこの仕組みが崩壊しつつあります。

7月1日、インターネットの基幹インフラ企業のひとつであるCloudflareは｢コンテンツ独立記念日｣を宣言しました。Cloudflareは今後、自社プラットフォーム上のサイトをクロールするAIクローラーを、コンテンツ制作者に対価を支払わない限りブロックする方針を発表しました。

CEOのマシュー・プリンスはブログ投稿で…

Cloudflareは、世界の主要な出版社およびAI企業の大多数とともに、AIクローラーをデフォルトでブロックし、コンテンツ制作者に対価を支払わせる方向に舵を切りました。コンテンツこそがAIエンジンを動かす燃料であり、コンテンツ制作者が直接補償を受けるのは当然のことです。

と述べています。

この方針は、これまでインターネットを支えてきた｢オープンアクセス｣の精神から見れば急進的で攻撃的な方針転換に写ります。マシュー・プリンスはそれが遅すぎたくらいだとも主張しています。

ChatGPTやGoogleのAI OverviewsのようなAIツールは、今やユーザーの質問に直接答えてくれるので、サイトから情報を｢採掘｣する一方で、元の情報源にほとんどトラフィックの還元はありません。マシュー・プリンスは加えて、 ｢公平な取引であるべきはずのウェブが、AIクローラーによって露骨に採掘される場となり、コンテンツ制作者はほとんどトラフィックも価値も得られなくなっています｣と述べています。

ウェブはスイスチーズ（穴だらけ）状態になっている

Cloudflareによれば、Googleからトラフィックを得るのは10年前に比べてすでに10倍難しくなっているといいます。 検索結果上部のAIによる概要や、強調スニペットなどがその要因となっています。しかし新しいAIモデルはそれよりはるかに深刻であり、Cloudflareの内部データによると、

OpenAIからのトラフィックは従来のGoogle検索に比べて750倍少なく、Anthropic（アンソロピック、AIの安全性と倫理的な側面を重視するアメリカのAIスタートアップ企業）に至っては3万倍も少ないといいます。理由は単純で、人々がGoogleで検索する代わりにChatGPTに質問するようになったからです。コンテンツは利用され続けますが、コンテンツ制作者はそのメリットを享受できていません。

世界の全ウェブサイトの約20%がCloudflareのネットワークを通過する、というその門番としての立場を活かして、Cloudflareは今や｢通行料｣を課す方向に動いています。その計画は単なるボットのブロックにとどまりません。Cloudflareは、AI企業と制作者が直接取引できる新たなコンテンツ市場の構築を目指しています。

補償はクリック数ではなく、AIモデルの学習にとってそのコンテンツがどれだけ価値があるかに基づいて行なわれます。これを説明するために、Cloudflareは独特の比喩を用いています。AIの知識はスイスチーズのブロックのようなもので、穴は知識の空白を表している。その穴を埋めるコンテンツほど、AI企業にとって価値が高いということになります。

これは、コンテンツの価値を｢どれだけバズるか｣で測る従来のウェブ経済に挑戦する提案といえそうです。Cloudflareは、人間の注意を追いかけるよりも、機械の知識の穴を埋めるほうが、長期的には安定した市場になると考えています。さらに言えば、これは私たちがこれまで築いてきた｢自由でオープンなウェブ｣の終焉を暗示しているかもしれません。

この動きは｢学習のためには対価を支払うべき｣という時代の幕開けを告げています。OpenAIはすでにRedditやFinancial Timesのような出版社とライセンス契約を結んでいます。他のAI大手も、データパートナーシップを水面下で結ぶか、ブロックされるまでスクレイピングを続けているのが現状です。しかし、Cloudflareの決定は、主要なインフラ企業が初めてインターネットの大部分に対してデフォルト設定を変更したことを意味しています。

いいコンテンツを誰が決めるのか

この話は技術的な問題にとどまらず、経済の問題にまで広がっています。私たちは、ウェブコンテンツの制作者と、それを｢食い物｣にするAIモデルの間を仲介する、新たなデジタル仲介者の台頭を目撃しているのかもしれません。AI時代では学習データこそが新たな通貨であり、Cloudflareはその主要な｢銀行｣としての立場を確立しようとしていると考えることもできます。

Cloudflareは、その目標を次のように語っています。

私たちは、コンテンツをどれだけトラフィックを生むかではなく、どれだけ知識を深めるかで評価することができれば、AIエンジンをより早く進化させるだけでなく、高価値のコンテンツ制作における新たな黄金時代を実現できると信じています。

この目標は魅力的に聞こえますが、同時に厄介な問題も発生させています。それは何が｢高価値｣とみなされるのかを誰が決めるのか。という問題です。誰が報酬を受け取り、その額はどれくらいなのか。もしコンテンツが人間ではなくAIに最適化されるようになったら、ウェブはどうなってしまうのか。さらに悪いシナリオとしては、出版社がすべてを囲い込み、AI企業が独占的なデータ契約を抱え込む｢コンテンツ冷戦｣が起こり、ウェブが今以上に分断され、オープンでなくなる可能性があります。

Cloudflareの｢スイスチーズモデル｣が成功するかどうかは別として、AIは従来の検索ベースのウェブ経済を壊してしまった。これは疑い余地のない事実です。その上で7月1日Cloudflareは生成AIの時代におけるインターネットのパイプそのものが、ついに反撃に出ています。