robots.txt生成・チェック
robots.txt の入力内容を整理して生成し、全遮断やSitemap未設定を基本チェックできます。生成・確認の補助ツールであり、サイト本体の設定は直接変更しません。
未入力の場合は * として扱います。
入力データは原則ブラウザ内で処理します。機密情報は入力しないでください。
使い方
- User-agent、Allow、Disallow、Sitemapを入力します。
- 「robots.txtを生成する」を押して生成結果と注意表示を確認します。
- 内容に問題がなければコピーして、サイト側の設定ファイルに反映します。
判断基準
まず `User-agent: *` を基準に公開対象を決め、次に本当に除外したいディレクトリだけ `Disallow` へ追加する方針で作ると、 誤遮断を起こしにくくなります。
よくある失敗
- ステージング時の `Disallow: /` を本番に残し、全ページのクロールを止めてしまう。
- `/admin` と `/admin/` の違いを意識せず、意図外のパスまで影響させる。
- Sitemap URLをHTTPのまま記載し、HTTPS運用と混在させる。
境界条件
- robots.txtはクロール制御であり、機密情報のアクセス制御手段ではありません。
- 一般的には検索結果の掲載制御には `noindex` など別手段の併用が必要です。
- 最終挙動は検索エンジンの仕様と公式ドキュメントを確認してください。
具体例
- 入力: User-agent=`*`、Disallow空、Sitemap=`https://example.com/sitemap.xml`。出力: 公開ページを基本許可したrobots.txt。
- 入力: User-agent=`*`、Disallow=`/admin/` と `/private/`。出力: 管理系ディレクトリのみクロール抑制したrobots.txt。
補足
- 空行や前後空白は整理して処理します。
- Disallow: / は生成できますが、全遮断のため強い注意を表示します。
- このツールは生成・確認補助のみで、公開中サイトの設定は自動変更しません。
- 入力内容がURLクエリに含まれるため、共有時は公開してよい設定のみ扱ってください。
失敗しやすい設定例
Disallow: / で全ページ遮断してしまう
意図せずクロール全拒否になり流入機会を失うことがあります。
例: 入力例: User-agent:* + Disallow:/ / 判断: 公開サイトでは要注意
Sitemap記述を入れ忘れる
クロール導線が弱くなり更新反映が遅れる場合があります。
例: 出力例: Sitemap: https://example.com/sitemap.xml を追加
境界値・例外ケース
AllowとDisallowが競合するパス
同一パス系統で優先順位を誤ると意図しない許可/拒否になります。
例: 入力例: Disallow:/private/ + Allow:/private/help/
User-agentごとの個別ルール運用
単一ルール前提で整理するとbot別制御が漏れることがあります。
例: 判断ポイント: 主要bot単位でルールを分離確認
よくあるミス
robots.txtをアクセス制御と誤解する
robotsはクロール制御であり機密保護手段ではありません。
例: 運用例: 機密領域は認証/権限で制御する
生成後に本番URLへ置換せず公開する
サンプルドメインのままだと設定無効化を招きます。
例: 判断ポイント: 公開前にドメインとパスを再確認
FAQ
User-agentが空欄でも使えますか？
使えます。未入力時は * として扱います。
Sitemapは必須ですか？
必須ではありませんが、運用上は設定を推奨するため未設定時に注意表示します。
この画面でrobots.txtが公開されますか？
公開されません。生成したテキストを確認して手動でサイト側へ反映してください。
基本FAQ
入力データは外部へ送信されますか？
原則として送信されません。入力内容はブラウザ内で処理します。例外がある場合は各ツールページ内に明記しています。
入力内容は自動保存されますか？
原則として自動保存しません。コピーやダウンロードで保存する場合は、ご利用端末内に保存されます。
関連ツール
現在の入力内容とあわせて確認しやすいツールです。