ウェブは歴史的な一線を越えた――そして御社のサイトはその渦中にある

インターネットの歴史上初めて、機械が人間よりも多くのウェブトラフィックを生み出すようになりました。2026年6月3日、CloudflareのCEOであるMatthew Prince氏がRadarのデータを公開し、自動化されたリクエストがウェブトラフィックの57.5%に達し、人間によるものは42.5%だったことを示しました。事業者にとっての端的な答えはこうです。御社のサイトを訪れる「訪問者」の大半はもはや顧客ではなくボットであり、その中で急速に割合を増しているのが、ChatGPT、Gemini、Claudeといった回答エンジンにデータを供給するAIクローラーです。これは管理すべきコストであると同時に、つかむべきチャンスでもあります。

具体的に何が変わったのか？

この変化で目を引くのは、その到来の速さです。2026年3月、Prince氏はボットトラフィックが2027年までに人間のトラフィックを上回ると予測していました。実際にはおよそ十八か月早く起きました。生成AI時代以前、ボットはもっと目立たない存在で、ウェブトラフィックの約20%を占め、その中心はGooglebotなどの検索エンジンでした。現在、Cloudflare Radarによれば、AIクローラーだけで検証済みボットトラフィックの約20%を占め、OpenAIのGPTBotとAnthropicのClaudeBotが最も活発な部類に入る一方、Googlebotは依然として単独で最大のクローラーです。

なぜこうなっているのか？

原動力はエージェント型AIです。人がカメラを買うとき、開くサイトはおそらく五つほどでしょう。AIエージェントがユーザーに代わって同じ作業をすると、情報を集めて比較するために数千ものページを訪れることがあります。これを毎日数百万件のAIクエリに掛け合わせれば、結論は避けられません。自律型ソフトウェアは今や、どんな人間の集団も及ばない規模でウェブを閲覧しているのです。これは一時的な急増ではなく、新たな基準線です。

なぜ企業サイトにとって重要なのか

この傾向は、四つの具体的な形でビジネスに影響します。

  • アナリティクスの歪み：ボットがトラフィックの数字を水増ししていれば、作り話に基づいて意思決定をすることになります。ボットトラフィックを除外しない限り、コンバージョン率、直帰率、キャンペーン成果はどれも信頼できなくなります。
  • インフラコストの増加：ボットのリクエストは一つひとつが帯域とサーバーリソースを消費します。攻撃的なクローラーは実際の顧客にとってサイトを遅くしたり、ホスティング料金を膨らませたりします。
  • コンテンツとセキュリティのリスク：すべてのボットが友好的なわけではありません。スクレイパーは価格やコンテンツを盗み、悪意あるボットは脆弱性を探り、クレデンシャルスタッフィングを試み、在庫を買い占めます。
  • 可視性のチャンス：良質なAIクローラーは、御社がAI回答に登場するための経路です。GPTBotやClaudeBotがサイトを読めなければ、顧客がアシスタントにおすすめを尋ねたときに、御社が引用されることはありません。

新しいルール：「すべてのボットをブロック」ではない

かつての直感は、あらゆるボットを脅威として扱うことでした。今ではそれは誤りです。本当の課題は、望むボットと望まないボットを見分けることです。可視性と顧客をもたらす検索クローラーやAIクローラーは歓迎すべきです。スクレイパーや攻撃者は不要です。Cloudflare自身も単純な「ボット対人間」という枠組みから脱し、Web Bot Authや署名付きの検証済みボットIDといった手法によって、どの自動化クライアントが正当かを検証する方向へ進んでいます。

実践的なボット管理プレイブック

  • クローラーのアクセスを意図的に管理する：robots.txtを使って、望むAIクローラー（GPTBot、ClaudeBot、PerplexityBot、Googlebot）を受け入れ、望まないものを拒否しましょう。偶然ではなく、意図して決めることが大切です。
  • 前段にボット管理レイヤーを置く：WAFやボット管理サービスは、検証済みボットを識別し、攻撃的なボットをレート制限し、悪意あるトラフィックをオリジンサーバーに届く前にブロックできます。
  • アナリティクスをクリーンにする：レポートが実際の人間の行動を反映するよう既知のボットを除外し、AI回答内での存在感を測るためにAIクローラーのアクセスは別に追跡しましょう。
  • サイトを機械可読にする：明確な見出しと構造化データを備えた高速で整理されたページは、良質なAIクローラーが御社を理解し、正確に引用する助けになります。
  • 価値あるものを守る：APIをレート制限し、ログインと決済を自動化された悪用から守り、異常なトラフィックパターンを監視しましょう。
問いはもはや「どうすればボットをサイトから締め出せるか？」ではありません。「どの機械を受け入れ、どれをブロックし、どう見分けるか？」なのです。

Origamiはこれをどう踏まえて構築しているか

私たちは、機械が多数派となるウェブに初日から対応した企業サイトとプラットフォームを設計・構築しています。ボットを意識したインフラ、クリーンで信頼できるアナリティクス、悪意ある自動化からの保護、そして良質なAIクローラーが読み取れる高速で構造化されたページにより、御社がAI回答に表示されるようにします。目標はシンプルです。悪いボットを締め出し、価値あるボットを迎え入れ、ウェブトラフィックの構造的な変化をコストではなく強みに変えることです。

出典