robots.txt生成・チェック
robots.txt の入力内容を整理して生成し、全遮断やSitemap未設定を基本チェックできます。生成・確認の補助ツールであり、サイト本体の設定は直接変更しません。
ページ更新日:
ツール本体
入力・操作・結果
上から入力し、必要な操作を行って、表示された結果と次の操作を確認してください。
未入力の場合は * として扱います。
入力データは原則ブラウザ内で処理し、URLやアクセス解析へ保存しません。ページを更新すると入力は失われます。機密情報は入力しないでください。
使い方
- User-agent、Allow、Disallow、Sitemapを入力します。
- 「robots.txtを生成する」を押して生成結果と注意表示を確認します。
- 内容に問題がなければコピーして、サイト側の設定ファイルに反映します。
判断基準
まず `User-agent: *` を基準に公開対象を決め、次に本当に除外したいディレクトリだけ `Disallow` へ追加する方針で作ると、 誤遮断を起こしにくくなります。
よくある失敗
- ステージング時の `Disallow: /` を本番に残し、全ページのクロールを止めてしまう。
- `/admin` と `/admin/` の違いを意識せず、意図外のパスまで影響させる。
- Sitemap URLをHTTPのまま記載し、HTTPS運用と混在させる。
境界条件
- robots.txtはクロール制御であり、機密情報のアクセス制御手段ではありません。
- 一般的には検索結果の掲載制御には `noindex` など別手段の併用が必要です。
- 最終挙動は検索エンジンの仕様と公式ドキュメントを確認してください。
具体例
- 入力: User-agent=`*`、Disallow空、Sitemap=`https://example.com/sitemap.xml`。出力: 公開ページを基本許可したrobots.txt。
- 入力: User-agent=`*`、Disallow=`/admin/` と `/private/`。出力: 管理系ディレクトリのみクロール抑制したrobots.txt。
補足
- 空行や前後空白は整理して処理します。
- Disallow: / は生成できますが、全遮断のため強い注意を表示します。
- このツールは生成・確認補助のみで、公開中サイトの設定は自動変更しません。
このツールを使う場面
- 確認できること
- robots.txtの記述を作成し、クロールを止めすぎる指定やSitemap行の有無を確認できます。
- 使う前に見るポイント
- 公開したい範囲と除外したい範囲を分け、User-agentごとの指定が必要か整理しておきます。
- 結果を見たあとにやること
- 生成した内容を公開前チェックに回し、sitemap.xmlとの組み合わせに違和感がないか見直します。
このツールを含む進め方
作業全体に戻る場合は、近い課題別ページを開いてください。
Webページ公開前にtitle・description・OGP・sitemapを見る手順
公開前チェックは、検索表示、SNS共有、クロール導線を分けると進めやすくなります。ページ内容とURL一覧を確認してから公開後の検証へ回します。
失敗しやすい設定例
Disallow: / で全ページ遮断してしまう
意図せずクロール全拒否になり流入機会を失うことがあります。
例: 入力例: User-agent:* + Disallow:/ / 判断: 公開サイトでは要注意
Sitemap記述を入れ忘れる
クロール導線が弱くなり更新反映が遅れる場合があります。
例: 出力例: Sitemap: https://example.com/sitemap.xml を追加
境界値・例外ケース
AllowとDisallowが競合するパス
同一パス系統で優先順位を誤ると意図しない許可/拒否になります。
例: 入力例: Disallow:/private/ + Allow:/private/help/
User-agentごとの個別ルール運用
単一ルール前提で整理するとbot別制御が漏れることがあります。
例: 判断ポイント: 主要bot単位でルールを分離確認
よくあるミス
robots.txtをアクセス制御と誤解する
robotsはクロール制御であり機密保護手段ではありません。
例: 運用例: 機密領域は認証/権限で制御する
生成後に本番URLへ置換せず公開する
サンプルドメインのままだと設定無効化を招きます。
例: 判断ポイント: 公開前にドメインとパスを再確認
FAQ
User-agentが空欄でも使えますか？
使えます。未入力時は * として扱います。
Sitemapは必須ですか？
必須ではありませんが、運用上は設定を推奨するため未設定時に注意表示します。
この画面でrobots.txtが公開されますか？
公開されません。生成したテキストを確認して手動でサイト側へ反映してください。
基本FAQ
入力データは外部へ送信されますか？
原則として送信されません。入力内容はブラウザ内で処理し、URLやアクセス解析へ保存しません。例外がある場合は各ツールページ内に明記しています。
入力内容は自動保存されますか？
原則として自動保存しません。ページを更新すると入力は失われます。コピーやダウンロードで保存する場合は、ご利用端末内に保存されます。
同じ目的のWeb公開前チェックツール
公開前にrobots、sitemap、構造化データ、HTTP状態の食い違いを確認するツール群です。 迷ったらラベル付きの入口ツールから確認できます。
関連ツール
同じ作業の前後で使うことがあるツールです。