投稿者: 世界のウェブサイトの約 2 割を支えるインターネットインフラ大手の Cloudflare は 2025 年 7 月 1 日、 AI による無断データ収集を防ぐ画期的な新サービスを発表しました。新規ウェブサイトでは AI クローラー（ AI ボット）を自動的にブロックし、さらにウェブサイト運営者が AI 企業からアクセス料を徴収できる「 Pay Per Crawl 」というマーケットプレイスも同時に開始します。
Cloudflare は 2009 年に設立されたアメリカの企業で、世界中のウェブサイトを高速化・安全化するサービスを提供しています。 CDN （コンテンツ配信ネットワーク）や DDoS 攻撃対策、ウェブセキュリティなどが主力サービスで、個人ブログから大企業まで数百万のウェブサイトが利用している、インターネットの「縁の下の力持ち」的存在です。
今回の変更により、新たに Cloudflare を利用するウェブサイトでは、 AI によるデータ収集が初期設定で自動的に防がれます。既存のユーザーも管理画面からワンクリックで AI クローラーをブロックでき、 AI 企業はウェブサイト運営者の明確な許可なしにコンテンツを収集できなくなります。
これまで AI 企業は、ウェブ上の文章や画像を大量に収集して AI モデルの学習に使ってきました。しかし、従来の検索エンジンとは大きく異なる問題があります。 Google 検索の場合、ユーザーが検索結果からウェブサイトを 1 回訪問するまでに、 Google のボットは 14 回そのサイトのデータを収集します。ところが AI 企業の場合、同じ 1 回のユーザー訪問を得るために、 OpenAI は 1,700 回、 Anthropic は 73,000 回もデータを収集していることが Cloudflare の調査で判明しました。これは、 AI がユーザーの質問に直接回答してしまうため、ユーザーが元のウェブサイトを訪問する必要がなくなってしまうからです。つまり、 AI 企業は検索エンジンの何百倍ものデータを取得しているのに、ウェブサイトへの「お返し」（訪問者の誘導）はほぼゼロという非常に不公平な状況が続いていました。
新しい「 Pay Per Crawl 」マーケットプレイスでは、ウェブサイト運営者が AI 企業ごとに「アクセス許可」「完全ブロック」「有料アクセス」を自由に選択できます。有料を選んだ場合、 AI 企業はコンテンツにアクセスするたびに少額の料金を支払う必要があり、これまで無料で利用されていたコンテンツから収益を得られるようになります。
AI 企業は、データを何の目的で使うのか（モデル学習、検索、推論など）を明確にする必要があり、ウェブサイト運営者はその情報を見てアクセスを許可するかどうかを判断できます。支払いや認証の仕組みも技術的に整備されており、透明性の高いシステムになっています。
この取り組みには、 Condé Nast 、 The Atlantic 、 TIME 、 Universal Music Group など 20 以上の大手メディア・エンターテインメント企業が賛同を表明しています。これらの企業は、自社コンテンツが AI に無断利用されることに長年懸念を抱いていました。
ただし、この変更には課題もあります。一部の専門家は、 AI ツールでの検索結果に表示されにくくなる可能性や、 AI 企業が技術的にブロックを回避しようとする「いたちごっこ」になるリスクを指摘しています。
現在「 Pay Per Crawl 」はベータ版として提供されており、参加希望者は Cloudflare に連絡する必要があります。将来的には、コンテンツの種類や価値に応じて柔軟に料金を設定できるシステムへの発展も予定されています。
Cloudflare の CEO マシュー・プリンス氏は「インターネットが AI の時代を生き延びるためには、コンテンツ制作者に適切なコントロール権を与え、みんなにとって公平な経済モデルを作る必要がある」と述べています。
スラッグ:
メタディスクリプション: （125文字）