AIクローラー向けrobots.txt生成ツールとは
AIや回答エンジンのクローラー向けに robots.txt ブロックを生成する、無料・ブラウザ完結のツールです。GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、PerplexityBot、Google-Extended、CCBot、Bytespider などのボットごとに「許可」「ブロック」を切り替え、そのまま貼り付けられる robots.txt をコピーできます。各クローラーには役割の一言メモが付くので、納得して判断できます。すべてブラウザ内で処理され、アップロードはありません。
AIの学習はブロックしつつ回答エンジンには残す
AIクローラーの役割は一様ではありません。学習クローラー（GPTBot、ClaudeBot、CCBot、Google-Extended）はモデル学習のためにデータを集め、回答エンジンのインデックス用クローラー（OAI-SearchBot、PerplexityBot）はページをインデックスして検索・引用に利用します。よくある方針は「学習はブロック、インデックスは許可」で、ChatGPT検索や Perplexity からの参照流入を保てます。このツールの初期設定はまさにこの方針で、各ボットは自由に調整できます。
使い方
- 各AIクローラーを「許可」か「ブロック」に設定します。迷ったら一言メモを参考にしてください。
- 「すべて許可」「すべてブロック」で土台を作り、そこから微調整できます。
- 生成された robots.txt をコピーし、サイトのルートにある robots.txt（https://example.com/robots.txt）に追加します。既存の robots.txt があればグループを追記してください。
こんなときに便利です
- GPTBot・ClaudeBot・CCBot をブロックし、コンテンツをAI学習に使われないようにしたいとき。
- OAI-SearchBot・PerplexityBot を許可し、回答エンジンでの露出を保ちたいとき。
- サイト全体の方針を決める前に、名前付きAIクローラーの一覧を確認したいとき。