robots.txt確認ツールとは
サイトのrobots.txtを確認できる無料のオンラインツールです。サイトのトップ、またはrobots.txtのURLを入力すると、ファイルを取得・解析し、User-agentごとのAllow / Disallowルール、宣言されたサイトマップ（リンク）、Crawl-delayを表示します。特定のパス（と任意のUser-agent）を入力すると、Google式の最長一致ルールで「許可」か「禁止」かを判定できます。ブラウザのCORS制約を回避するため、入力したURLのみをサーバー経由で取得します。
使い方
- サイトのトップ（例: https://example.com）またはrobots.txtのURLを入力します。トップを入力した場合は自動的に /robots.txt を補完します。
- 「robots.txtを確認」を押して取得・解析します。
- User-agentごとのルールと宣言されたサイトマップを確認します。必要に応じてパス（とUser-agent）を入力し、許可／禁止を判定します。
こんなときに便利です
- 重要なページが誤ってクロール禁止になっていないか確認したいとき。
- 特定のURLがGooglebotに対して許可／禁止のどちらになるか確認したいとき。
- robots.txtでサイトマップが正しく宣言されているか確認したいとき。