grsytools.jp

手元の作業をブラウザで処理する

作業メモ

CSVのキー列と重複を確認する考え方

CSVの重複確認は、どの列をキーにするかを決めないと始められません。取り込み先で上書きや衝突が起きる前に、キー列と列順を確認します。

キー列を決めてから重複を見る

同じCSVでも、顧客IDで見るのかメールアドレスで見るのかで重複の意味が変わります。

  • 一意であるべき列を選ぶ

    ID、商品コード、請求番号など、同じ値が複数行に出ると困る列をキーにします。

  • 表示名や説明文をキーにしない

    名前やタイトルは同じ値が自然に出るため、重複検出の基準には向かないことがあります。

次にやること

1. キー候補の列を残す

まず必要な列だけを残し、キー候補を見つけやすくします。

2. キー列の重複を検出する

一意であるべき列を選び、重複キーと重複行を分けて見ます。

3. 後続形式へ渡す

重複の扱いが決まったら、取り込み先に合わせて変換します。

  • CSV→JSON

    取り込み先がJSONの場合に変換します。

  • JSON→CSV

    戻し確認や表形式の共有に使います。

詰まりやすい場面

  • CSVをインポートする前にID重複を確認したいとき
  • キー列にすべき列が顧客ID、メール、商品コードのどれか迷うとき
  • 列数を減らしてから重複チェックへ進みたいとき

まず開くツール

各段階で最初に開くものだけを並べています。

CSV列抽出・並び替え

確認に必要な列だけを選びます。

CSV重複キー検出

重複キーと該当行を確認します。

CSV→JSON

取り込み先がJSONの場合に変換します。

必要なら見るページ

用語や周辺ツールが必要なときだけ使います。