作業メモ
URL一覧を正規化して重複を見つける手順
URL一覧は、同じページでも表記が少し違うだけで別物に見えます。正規化ルールを決めてから、重複候補とクエリの意味を確認します。
同じページと見なす範囲を先に決める
クエリやハッシュを残すか消すかで、重複判定の結果が大きく変わります。
http/https と末尾スラッシュをそろえる
配布前の一覧では、見た目の表記ゆれを先に統一すると重複候補を見つけやすくなります。
クエリを消すか残すかを用途で決める
検索条件やUTMが意味を持つ場合は、削除前に内容を分解して確認します。
迷ったらこの順番
重複URLはURL一覧正規化、パラメータ確認はURLクエリ解析、UTM作成はUTM URL作成から進めます。
次にやること
1. URL一覧を正規化する
http/https、末尾スラッシュ、クエリ、ハッシュの扱いを決めます。
- URL一覧の重複・正規化チェック
表記ゆれをそろえて重複候補を確認します。
- URLエンコード・デコード
日本語や記号を含むURLの見え方を確認します。
2. クエリとUTMを分けて見る
クエリを削除する前に、必要なパラメータかを確認します。
- URLクエリパラメータ分解
クエリキーと値を一覧で見ます。
- UTMパラメータ解析
UTMの欠損や重複キーを確認します。
3. 用途に合わせて出力する
配布URLなのかsitemap用なのかで、残すURLを分けます。
- sitemap.xml生成
整理したURL一覧からsitemapを作るときに使います。
- UTM URLビルダー
配布用URLを作り直すときに使います。
詰まりやすい場面
- URL一覧の重複候補を配布前に確認したいとき
- sitemap用のURLリストを作る前に表記ゆれをそろえたいとき
- UTM付きURLと通常URLを同じページとして扱ってよいか迷うとき
具体例と判断基準
よくある失敗例
http と https が混ざったまま重複に気づかない
同じページへのURLでも、表記が違うだけで別URLとして一覧に残り、共有先やsitemapで重複候補になります。
UTM付きとUTMなしを同じ一覧に混ぜる
計測用URLと正規URLを同じ目的で扱うと、残すべきクエリまで削除する判断につながります。
日本語やスペース入りのURLをそのまま貼る
チャットや表計算ソフトを経由したときにエンコードが崩れ、共有URLとして読みにくくなることがあります。
before
http/https、末尾スラッシュ、utm付き/なしが混ざったURL一覧をそのまま配布用リストへ貼る。
after
正規化条件を決め、重複候補を見てからクエリとUTMを分解し、配布用URLとsitemap用URLを分ける。
この順番で見る理由
URLの重複は、先に正規化条件を決めないと判断がぶれます。クエリを消す前にUTMや検索条件の意味を見ておくと、必要なパラメータを失わずに整理できます。
迷ったときの判断基準
配布URLならUTMを残す場面がある
キャンペーン計測が目的ならUTMは削除せず、命名や重複キーを確認します。
sitemap用なら余計なクエリを外す
一覧化したいページ本体が同じなら、クエリやハッシュを残す必要があるかを用途で分けます。
アンカーリンクは共有先の体験で判断する
#section のようなハッシュは、ページ内の位置指定が重要な共有なら残します。
関連ツールを使う流れ
- URL一覧の重複・正規化チェック: http/https、末尾スラッシュ、クエリ、ハッシュの扱いを選んで重複候補を見ます。
- URLクエリパラメータ分解: 削除する前に、どのキーが何を表すかを一覧で確認します。
- UTMパラメータ解析とUTM URLビルダー: 既存URLの欠損や命名ゆれを見て、配布用URLを作り直します。
この手順は貼り付けた文字列の整理です。実際のリダイレクト先、canonicalタグ、ページの存在確認は別の検証として扱います。
最終チェックリスト
- 外部アクセスやリダイレクト確認は別工程: 正規化は貼り付けた文字列の整理であり、実URLの遷移先は取得しません。
- ハッシュはページ内位置を表すことがある: 削除してよいかは、共有先でアンカー位置が必要かどうかで判断します。
- UTMは削除すると計測情報も消える: クエリ削除オプションを使う前に、計測に必要なURLかを確認します。
まず開くツール
各段階で最初に開くものだけを並べています。
URL一覧の重複・正規化チェック
表記ゆれをそろえて重複候補を確認します。
URLクエリパラメータ分解
クエリキーと値を一覧で見ます。
sitemap.xml生成
整理したURL一覧からsitemapを作るときに使います。
必要なら見るページ
用語や周辺ツールが必要なときだけ使います。
- URL・マーケティングカテゴリ
UTM、クエリ、URL正規化の周辺ツールを見たいとき。