ウェブサイトへのアクセスの99％超がボットに、人間1回に対して214回もページを読み込むAIスクレイパーとの攻防

親愛なる読者の皆さまへ。ご存じの通り価格高騰などの悪影響でサーバー運営がとても苦しい状態です。回線や台数を整理し見直せる部分は全て見直しましたが、やはりまだ危険水域です。このままだと1ページを10分割ぐらいして無理矢理PVを増やさざるを得なくなってしまいます。そこで、GIGAZINEの物理的なサーバーたちを、たった1円でも良いので親愛なる読者の皆さまに支援してもらえればとっても助かります！今すぐ寄付は上のボタンから！ ・ これまでGIGAZINEを支援してくれたメンバーのリスト

寄付者情報データベース「PatronView」を運営するニック・グレイ氏が、ウェブサイトに押し寄せるAIクローラーやスクレイパーと約1年間にわたって続けてきた攻防を公開しました。サーバーが配信したページ数とアクセス解析の数字を比べると、「人間が1回ページ読み込んだ」と記録される間に、AIによるページ読み込みがおよそ214回発生していたとのことです。 99% of My Website Traffic Is Bots | PatronView https://patronview.com/news/99-percent-of-my-website-traffic-is-bots/

I was looking at my website server logs and was shocked to see that 99% of my traffic is from bots Anthropic scrapes my site 35,000 times for every 1 visitor they send I researched it more and wrote up all the Cloudflare and firewall rules I use here https://t.co/bmI9jK7tSh

PatronViewは公開資料を基に約150万件の個人プロフィールを掲載しています。大量の公開情報を扱うため検索エンジンや各種クローラーからアクセスされやすく、グレイ氏はSEOクローラーやボットによる大量アクセスへの対策を続けてきました。

ある1週間でPatronViewのサーバーが配信したフルページは約128万件でした。一方でJavaScriptを利用するアクセス解析ソフト「Plausible Community Edition」に記録されたページビューは5977件。単純計算では約214対1となり、グレイ氏は「アクセスの99％がボット」という表現でも実態より控えめだと説明しています。 約214対1という比率を視覚化したのが以下の図で、青いマス1個が人間として計測されたページ読み込みに相当します。残りの灰色は全てボットによるアクセスというわけです。

大量アクセスが特に目立ったのは2026年4月22日です。1日で約362万件のリクエストが発生し、アクセス元は約36万1000個のIPアドレスに分散していました。大半が中国からだったため、グレイ氏は翌23日に中国からのアクセスを遮断。その直後からリクエスト数は大幅に減少しました。

AIクローラーではAnthropicの「Claude-SearchBot」が1週間で約42万ページを取得した一方、Claudeがユーザーの依頼に応じてウェブサイトへアクセスする「Claude-User」によるアクセスは12件でした。グレイ氏は両者を比較し、訪問者1人につき約3万5000ページを取得した計算だと述べています。Amazonの「Amzn-SearchBot」も大量にアクセスしていましたが、PatronViewへの訪問者は確認できなかったとのこと。一方でGooglebotは訪問者1人につき46ページ、Bingbotは406ページでした。 各クローラーの取得ページ数と利用者由来のアクセス数の比率をグレイ氏が比較すると、AI検索クローラーと従来の検索エンジンで大きな差が出ています。

グレイ氏はCloudflareのWeb Application Firewallを使い、利用者の流入につながらないと判断したAIクローラーを遮断したほか、不審なアクセスにはCloudflareの「Managed Challenge」による認証を要求し、短時間に大量のページを取得するアクセスには回数制限を設定しました。GooglebotやBingbotなど利用者を送り込む検索クローラーは許可し、「何ページ取得したか」と「何人の訪問者を送り返したか」を判断材料にしているとのこと。 ただし、開発者のKaka Ruto氏がPatronViewへのアクセスを試したところ、独自のウェブ取得ツールではアクセスを拒否されたものの、AIエージェントがChromeブラウザを操作する「Chrome DevTools MCP」に切り替えるとページを取得できたと報告しているように、完全な遮断は難しい模様。

Interesting experiment - Nick's website denied my custom web fetch tool access, but my agent decided to use the chrome devtools mcp and it worked There's a crawling pandemic going on and I'm pretty sure someone will come up with a solution for this - and it's not cloudflare https://t.co/QQWKGDtmSP pic.twitter.com/6KOhwFsRET

グレイ氏はスクレイピングのコストが下がり続ける中で、将来的にはクローラー側がページ取得の対価を支払う「Pay Per Crawl」のような仕組みが必要になる可能性があると述べています。Pay Per Crawlのような市場が成立するまでは「訪問者を1人も送ってこないクローラーはブロックする」という方針で運営を続けるとのことです。

・関連記事 AIがウェブサイトに訪問するたびに課金できるシステム「Monetization Gateway」をCloudflareが発表 - GIGAZINE 各種AIボットによるウェブサイトへのアクセス数をCloudflareが集計してグラフ化、最も活動量の多いAIボットは何なのか？ - GIGAZINE CloudflareがAIボットを「検索」「代理操作」「学習」など種類ごとに制御する仕組みを公開、無料プランでも「検索は許可、AI学習は拒否」を設定可能 - GIGAZINE ウェブサイトがAIボットにスクレイピングの料金を請求できるマーケットプレイスをCloudflareが発表 - GIGAZINE SpaceXAIが24時間働くAIエージェント「Grok Bot」をリリース、Windows・macOS・Linux・iOSに対応しエージェント1体ごとに専用クラウドPCを操作 - GIGAZINE 「本当に人間かどうか？」を確認するCloudflare TurnstileでWebGL情報が問題に、フィンガープリント対策で引っかかる環境が続出 - GIGAZINE

You can read the machine translated English article Over 99% of website traffic comes from b… .