重複行削除：順序を保って同じ行を整理

重複した行を削除する方法

URL、メールアドレス、商品ID、キーワードなど、1行に1件の一覧を入力欄へ貼り付けて実行します。同じ行が複数ある場合は最初の1行を残し、2回目以降を削除します。並び替えは行わないため、元の順序や優先順位を保ったまま整理できます。処理後には削除した行数が表示され、結果欄の行数と合わせて確認できます。

初期設定では行全体が完全に同じ場合だけ重複と判定します。「前後空白を無視」を選ぶと、行頭・行末の空白が違っても同一として比較します。「大小文字を無視」は Example と example を同一扱いにします。「空行も重複削除」を選ぶと複数の空行を最初の1行だけ残します。比較のために空白や大文字小文字を無視しても、残る行は最初に入力された元の表記です。

1. 1行1件の一覧を貼り付ける削除前の行数を上部のカウンターで確認します。
2. 同一判定の条件を選ぶ前後空白、大小文字、空行を重複判定へ含めるか決めます。
3. 削除数と残った順序を確認する結果の行数と先頭・末尾を確認してからコピーします。

サクラエディタで重複行を整理するときの考え方

サクラエディタ本体では、行のソートや連続した重複行の削除を組み合わせて一覧を整える方法があります。ソート後に重複を削除すると同じ値を隣接させられますが、元の並び順は失われます。このオンラインツールはSetを使って先に現れた値を記録し、離れた位置にある重複も検出しながら順序を維持します。優先順を残したいリストに適しています。

一方、重複件数を値ごとに集計する機能や、列単位で重複判定するCSV処理は行いません。「IDは同じだが名称が違う行をまとめる」といった処理には列構造を理解するCSVツールや表計算ソフトが必要です。本ページでは1行全体を1つの値として扱います。複数列を含む行は、区切り記号や空白も含めて比較されます。

重複行削除の結果を検証する方法

重複行削除を実行したら、入力行数から削除件数を引いた値と結果行数を比べます。空行を残す設定では、空行が複数あっても削除対象にならないため、単純な計算と一致しない場合があります。先頭に残った行が正しい表記かも確認してください。大小文字や前後空白を無視した比較では、後から現れた表記ではなく最初の表記が採用されます。正式名称を残したい一覧は、優先する行を上へ移してから処理します。

URL一覧ではプロトコル、wwwの有無、末尾スラッシュ、クエリ文字列が違うと別の行です。メールアドレス、商品ID、ファイルパスも、業務ルールによって大小文字や記号の意味が異なります。重複行削除の前にどこまで同一視するかを決め、正規化前の一覧も保存してください。処理後は数件を元データへ照合し、削除された行が本当に同じ対象を示していたか確認すると、似ているだけの値を消す事故を防げます。