Free Web Tools

重複行削除

1行1項目のテキストから重複行を削除できます。先頭出現を残したまま、比較条件と出力形式（件数付き）を切り替えて整理できます。

入力文字数: 0

判定・出力オプション

結果文字数: 0

入力データは原則ブラウザ内で処理します。機密情報は入力しないでください。

使い方

  1. 1行1項目でテキストを入力します。
  2. 必要に応じて判定・出力オプションを設定し、「重複を削除する」を押します。
  3. 結果と件数を確認し、必要ならコピーして利用します。

判断基準

元データの表記ゆれが多い場合は、まず `前後空白無視` と `大文字小文字無視` を有効にして重複候補を広めに拾うと整理しやすくなります。

よくある失敗

  • `Tokyo` と ` tokyo ` を別物のまま集計し、重複率を過小評価する。
  • 件数順で並べ替えた結果を元順だと思い込み、上流データとの突合で迷う。
  • 空行除外をONにしたまま、空行の件数を確認したい用途で使ってしまう。

境界条件

  • ひらがな/カタカナ同一視や全角半角の自動統合には未対応です。
  • 部分一致による近似重複（例: `abc` と `abc1`）は判定しません。
  • 一般的には前処理ルールを文書化し、チーム内で同じ条件を使う運用が推奨です。

具体例

  • 入力: `A`,`B`,`A`。出力: `A`,`B`（重複削除1件）。
  • 入力: `Apple`,`apple`,`Apple` + 大文字小文字無視ON。出力: `Apple`（件数3）。

注意点

  • trim/大文字小文字無視は比較専用で、結果には先頭出現の元の行を保持します。
  • 件数付き出力は 行\t件数 形式です。
  • 件数順・昇順を選んだ場合は、結果の行順のみ変更されます。
  • 入力内容はURLクエリにも反映されるため、共有時は機密情報が含まれていないか確認してください。

失敗しやすい重複判定例

  • 正規化条件を決めずに集計する

    前後空白や大小文字差で同値行を別物として残すことがあります。

    例: 入力例: `Tokyo`, ` tokyo ` / 判断ポイント: ignoreTrim + ignoreCase を検討

  • 出力順を確認せず上流データへ戻す

    件数順や昇順にした結果を元順と誤認しやすくなります。

    例: 判断ポイント: sortMode が keep かを確認してから利用

境界値・例外ケース

  • 空行が大量に含まれる入力

    removeBlankLines のON/OFFで件数結果が大きく変わります。

    例: 出力例: skippedBlankLines 件数で影響を確認

  • 件数付き出力とタブを含む元行

    可読性が落ちる場合があるため後段処理の区切り解釈に注意が必要です。

    例: 判断ポイント: TSV読込前に列数を確認する

よくあるミス

  • 重複削除後の件数確認をしない

    想定外の削除過多・削除不足に気づきにくくなります。

    例: 運用例: inputLines / outputLines / removedDuplicateLines を記録

  • 先頭出現が保持される仕様を見落とす

    最後の出現を残したい要件と食い違う場合があります。

    例: 判断ポイント: 必要なら事前に行順を調整してから実行

FAQ

  • 元の行順は維持されますか？

    「元の順序を維持」を選ぶと、先頭出現順のまま重複だけ削除します。

  • 出現回数を一緒に確認できますか？

    はい。「出現回数を出力」をONにすると、行と件数をタブ区切りで確認できます。

  • 空行も処理対象になりますか？

    「空行を除外」がOFFなら対象になります。ONにすると空行は集計前に除外します。

  • タブ区切り件数の区切り文字は変更できますか？

    現在は固定でタブ区切りです。CSV化したい場合は別ツールで変換してください。

  • 重複行を削除せず件数だけ見られますか？

    結果自体はユニーク行になりますが、件数表示をONにすると頻度確認に使えます。

基本FAQ

  • 入力データは外部へ送信されますか？

    原則として送信されません。入力内容はブラウザ内で処理します。例外がある場合は各ツールページ内に明記しています。

  • 入力内容は自動保存されますか？

    原則として自動保存しません。コピーやダウンロードで保存する場合は、ご利用端末内に保存されます。

関連ツール

現在の入力内容とあわせて確認しやすいツールです。