AIエージェントがWebサイトを開けないのはなぜ？広がる「AIブロック」の理由

AIに記事の要約を頼んだら「このページにはアクセスできませんでした」と返ってきた。エージェントに予約を任せたら、確認画面の前で止まった。こうした失敗の多くは不具合ではありません。サイト側が、AIの訪問を意図して断った結果です。

断り方は三段階あります。玄関の看板にあたるrobots.txt、門番にあたるCloudflareなどのボット対策、そして規約や訴訟で争われる対価の問題です。

看板は一枚、来るAIは三種類

robots.txtは「どのボットがどこまで入ってよいか」をサイトが宣言するファイルです。標準のRFC 9309は、この規則が「アクセスの認可ではない」と明記しています。守るかどうかは訪問者しだいの約束事です。

AI企業は、目的ごとに別の名前のボットを公表しています。

出典：OpenAI、Anthropic、Google、Apple、Perplexityの公式ドキュメント（2026年11月5日確認）

エージェントに関わるのは三行目です。Googleは利用者起点の取得について「一般にrobots.txtの規則を無視する」と書き、Perplexityも同じ趣旨、OpenAIは「適用されないことがある」と書いています。一方Anthropicは、Claude-Userを拒否すると利用者の質問に応じた取得ができなくなると案内しています。看板の読み方は会社ごとに違います。

なおGoogle-Extendedは訪問者の名前でなく、Geminiの学習などに使うかを決める札です。拒否しても検索の掲載や順位には影響しない、とGoogleは説明しています。

看板の先に立つ門番

看板だけで足りないサイトは門番を置きます。代表は、多くのサイトの手前で通信を中継するCloudflareです。

同社は2024年9月にAIボットの一括遮断を用意し、2025年7月1日には新規ドメインでAIクローラーを許可なしに遮断する設定を初期値にしたと発表しました。同時に、AIクローラーへHTTPの402（支払いが必要）を返して1回ごとに料金を求める「Pay per crawl」を非公開ベータで始めています。

2026年7月1日には、9月15日から新規ドメインの広告を表示するページで「学習」と「エージェント」を初期設定で遮断し、検索は許可のままにすると発表しました。9月30日には、AI企業が定めた利用1回ごとに支払う「Pay Per Use」をベータで始めています。

門番は名乗りも確かめます。Cloudflareは暗号署名で身元を示す仕組み（Web Bot Auth）によるエージェントの検証を2025年8月に始め、最初の対象にChatGPT agentを挙げました。Googleも同じ仕組みを試験中です。名乗らない訪問や普通のブラウザを装う訪問は、確認画面や遮断に当たりやすくなります。

断る理由と、争いの中身

文書にはっきり出てくる理由は二つです。一つは送客の減少。Cloudflareは2025年7月、同じ量の訪問者を得る難しさが、かつてのGoogleに比べOpenAIで750倍、Anthropicで3万倍になったという自社推計を示しました。読まれても人が来ない取得は、広告で成り立つページには負担だけが残ります。

もう一つは無断利用への抗議です。日本経済新聞社と朝日新聞社は2025年8月26日、Perplexityを東京地裁に提訴したと発表しました。robots.txtでの拒否を無視され、有料会員向け記事まで回答に使われたと主張し、各22億円を請求しています。読売新聞社も同月に提訴したと報じられています。

日本新聞協会は2026年4月の声明で、Googleは通常検索とAI検索のクローラー制御が同じため、AI検索だけを拒むことは事実上できないと指摘しました。

ここからは当事者の言い分が食い違います。Cloudflareは2025年8月、Perplexityが遮断後にブラウザを装う未申告のクローラーを使ったと主張し、Perplexityは外部のクラウドブラウザの通信を誤って結びつけたと反論しました。Amazonは、Perplexityのブラウザ「Comet」の対象から自社を外すよう繰り返し求めたと公表しています。米国での訴訟では、2026年3月に出た仮差し止めを8月に控訴審が取り消したと報じられています。どの争いも最終的な判決はまだです。

利用者に起きること、できること

AI側の症状は三つです。ページを読めずに止まる。読めないまま、ほかの情報源で答えを組み立てる。確認画面やログインで手が止まる。二つ目は気づきにくく、引用元が並んでいても肝心のページは読まれていないことがあります。

• 価格、予約条件、医療や法律の情報は、AIの要約で決めず元のページを自分で開いて確かめる
• 「開けない」と言われたら、言い回しを変えて押し込むより、自分で読んで必要な部分を貼り付けるほうが早い
• 有料記事やログインが必要なページを、AIに読ませるために迂回しない。新聞社が争っているのはこの利用です
• 買い物や予約を任せる前に、そのサービスの規約が自動操作を認めているかを見る
• 確認画面は人がいることを確かめる仕組みです。エージェントに解かせず、自分で操作を引き取る

サイトを運営しているなら、学習用のGPTBotやClaudeBotだけを拒否し、検索用は残す書き分けができます。Cloudflareを使っている場合は、管理画面のAI向け設定がrobots.txtとは別に効いていることも確かめてください。

「開けない」はしばらく続く

ボットに名乗らせ、目的を宣言させ、必要なら対価を払わせる。その仕組みは署名による検証や利用ごとの支払いへと進みましたが、まだ広がり始めた段階で、訴訟の行方もこれからです。

当面、AIエージェントは読めるページだけで世界を見ている、と考えておくのが安全です。答えの中身と同じくらい、どのページを読んで答えたかを確かめてください。