AIクローラーのアクセス可否チェッカーとは
主要なAIクローラーがあなたのサイトにアクセスできるかを確認できる無料のオンラインツールです。サイトのURLを入力すると、robots.txtを取得・解析し、各AIボット（GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、anthropic-ai、PerplexityBot、Google-Extended、CCBot、Bytespider、Amazonbot、Applebot-Extended、Meta-ExternalAgent）が、指定したキーパス（既定は「/」）に対して「許可」か「ブロック」かを一覧表示します。回答エンジン（AI検索）系のボットが誤ってブロックされていそうな場合は強調表示します。ブラウザのCORS制約を回避するため、入力したURLのみをサーバー経由で取得します。
AEO / GEO で重要な理由
ChatGPTやPerplexity、Google AI Overviewsなどの回答エンジンは、対応するクローラーが取得を許可されたサイトのコンテンツしか引用できません。robots.txtの広すぎるDisallowが1行あるだけで、あなたのページがAIの回答から静かに除外されてしまうことがあります。本ツールはそうした誤ブロックを、露出を失う前に可視化します。
使い方
- サイトのトップ（例: https://example.com）を入力します。/robots.txt は自動的に補完します。
- 必要に応じて重要なパス（1行に1つ、例: /blog/ や /products/）を入力します。空なら「/」を判定します。
- 「AIクローラーを判定」を押すと、ボットごと・パスごとの許可／ブロックが表示されます。
- 回答エンジン系のボットがブロックされている場合は警告バナーを確認します。最も起こりやすい誤設定です。
こんなときに便利です
- OAI-SearchBot・PerplexityBot・Google-ExtendedがAI検索向けにコンテンツへ到達できるか確認したいとき。
- 学習用ボット（例: GPTBot）はブロックしつつ、回答エンジン系は許可できているか確認したいとき。
- robots.txtの変更が、重要なランディングページをAIの回答から誤って隠していないか確認したいとき。