月別アーカイブ: 2017年5月

WinMerge, ソフトウェア, ブログ, 便利ツール

WinMergeで差分（不一致）データのみ表示させる方法

コメントする

WinMergeを使用してファイル（データ）の比較を行う場合、差分（不一致）データのみに絞り込みたい場合が結構あります。そういう時にはWinMergeのメニューから「表示」⇒「Diffコンテキスト」⇒「0」を選択する事で差分データのみ表示させる事が出来ます。

WinMergeで差分（不一致）データのみ表示させる手順

今回は以下の2つのファイルの結果を比較して差分データのみ表示させてみます。

  1. WinMergeで2つのファイルを比較します。
  2. WinMergeのメニューから「表示」⇒「Diffコンテキスト」⇒「0」を選択します。
  3. 以下の様に差分データのみ表示されます。

補足・注意点・応用アイデア

1. “Diff コンテキスト 0” の意味と限界

  • 記事で説明されている「表示 → Diff コンテキスト → 0」を選ぶと、差分行のみ、つまり “コンテキスト行（一致している行）を表示しない” という設定になります。

  • ただし、完全に “見出し行” や “ファイル間の空行差異” などを除外できるわけではありません。たとえば、空白／タブの違いのみの行、改行コードの違いなどは差分として扱われやすいため、不要なノイズが混じることがあります。

2. 改行コードや空白の違いを無視する設定

  • 差分比較ツールを使う時、ファイル間で改行コード（CRLF vs LF）や先頭・末尾空白、タブ／スペースの扱いに差異があると、意図しない “差分” として検出されてしまうことがあります。

  • WinMerge にはこれらを無視するオプション（空白を無視、改行コード無視など）があるので、併用するとノイズを減らせます。

3. フィルタ機能の併用

  • WinMerge には「フィルタ」機能があり、除外したい拡張子・ファイル名パターンを設定できます。差分対象を限定する際に便利です。

  • また、特定の行（たとえば “コメント行” や “特定の識別子を含む行”）を無視するような条件フィルタを使えることもあります。

4. 比較モード（텍スト vs バイナリ）

  • WinMerge ではテキスト比較とバイナリ比較モードがあります。

  • バイナリモードを使うと、文字列レベルでは見えない差異（バイナリレベルの違い）を確認できます。ただし、その場合は行単位の「差分行表示」というより全体比較寄りになります。

5. 他の差分ツールとの比較・代替

  • VSCode（Visual Studio Code） や Sublime Text、Notepad++ などは、拡張機能を入れることで差分表示が可能で、「差分のみ表示」や「差分行＋前後 context 表示」など柔軟な表示ができます。

  • コマンドラインでは diff（Linux/macOS）や git diff、GNU diffutils、meld、Beyond Compare などが知られています。GUI かコマンドか、使い慣れたインタフェースで併用するのがおすすめです。

6. 大きなファイル・多数ファイルペアの比較

  • 巨大ファイルを比較する場合、WinMerge のパフォーマンス（速度、メモリ使用量）がボトルネックになる場合があります。

  • そのような場合には、差分抽出を先にスクリプト（例えば Python、Perl、Unix の diff コマンド）で実施し、生成された差分を WinMerge で可視化する、というハイブリッド運用が有効です。

7. 差分出力を保存・エクスポートする

  • WinMerge は比較結果を “Diff 出力” (たとえば Unified Diff 形式) として保存（エクスポート）できます。

  • 差分のみ表示している状態では出力できない (出力結果に context 行を含む形式になる) ことがあるので、出力設定を確認する必要があります。

8. 複数フォルダ比較（ディレクトリ比較）での差分抽出

  • ファイル単体の比較だけでなく、フォルダ（ディレクトリ）単位で WinMerge は比較できます。

  • この場合、フォルダ内のすべての差異（新規・削除・更新）を一覧で確認でき、差分のあるファイルのみを開く操作が便利になります。

9. 自動化・スクリプトとの連携

  • WinMerge はコマンドライン起動オプションを備えており、スクリプト内で差分比較を自動化することが可能です。

  • バッチ処理や CI/CD パイプラインで、プログラムの差分チェックを自動実行 → 差異があるならアラート出力、などの用途にも使えます。

10. 注意すべき点：日本語・エンコーディング

  • 日本語ファイル（Shift_JIS / UTF-8 / EUC など）を比較する際、エンコーディングの不一致が文字化けや差分誤検出の原因になります。

  • ファイルを比較する前にエンコーディングを統一しておく（または WinMerge 側で文字コード変換設定を適切に設定）ことが推奨されます。

　関連記事

  • WinMergeのインストール手順
  • XMedia Recodeのインストール手順と使用方法
  • WinMergeの文字コードを変更する方法
  • エクスプローラー操作が格段に楽になるファイルマネージャーアプリ「One Commander」
  • PDFelementを使用して画像ファイル内の文字をテキスト化する方法
    • エディタ, ブログ

    サクラエディタで重複行を削除する方法

    コメントする

    何十万、何百万行ものデータの中から重複行を削除する場合、Excelでは「重複行の削除」機能はありますが大量データの処理には向きません（そもそも何十万件ものデータを処理させようとすると重い＞＜）。何とか手っ取り早く処理出来る方法がないかと調べてたらサクラエディタでたった3コマンド実行するだけで重複行削除が可能ですのでその方法をご紹介します。

    重複行を削除する方法

    1. 先ずはサクラエディタでデータを開き、「Ctrl + A」で全行選択します。
    2. 次に「Alt + A」でソートします。
    3. 最後に「Alt + M」でマージすれば重複行が削除された状態になります。

    たったこれだけで完了♪便利すぎる。。。

    補足

    大規模ファイルでの注意点

    重複行を削除する手順は非常にシンプルですが、ファイル行数が何十万行、あるいはそれを超えるような巨大なテキストの場合、ソートやマージ処理でメモリを大量に消費する可能性があります。特にPCのリソース（RAM, CPU）が不足していると応答が遅くなったり最悪クラッシュしたりすることもあります。
    → 大容量ファイルでは、事前にバックアップを取っておくことを強く推奨します。

    エンコード・改行コードの違い

    ファイルが UTF-8、Shift_JIS、EUC-JP など異なる文字コードで保存されていたり、改行コードが CR＋LF（Windows）、LF（Unix）など混在していると、見た目は同じ行でも “重複行” として認識されない場合があります。ソート・マージの前に、同一の文字コード・改行形式に統一しておくと安全です。

    列ごとの判断での重複削除

    単純に “行全体” を対象に重複を判断する方法が記事で紹介されていますが、もし CSV やタブ区切りファイルのように “特定のカラムだけ重複チェックしたい” 場合は、サクラエディタのみではやや扱いにくくなります。その場合は以下のツールや方法を併用するのも有効です：

    • Excel や LibreOffice Calc の重複除去機能

    • AWK や Python、Perl などスクリプト言語で該当カラムをキーに重複行を抽出／削除

    • 専用テキスト処理ツール（例えば “TextPipe” や “GrepWin” など）

    自動処理（スクリプト化）する方法

    もし頻繁に同じ種類のファイルで重複行処理をするなら、次のようなバッチスクリプト／PowerShell スクリプトで自動化するのもおすすめです：

    rem Windows バッチ例
    type ファイル名.txt | sort > sorted.txt
    type sorted.txt | uniq > deduped.txt
    # PowerShell 例（UTF-8 ファイル想定）
    Get-Content .\input.txt | Sort-Object | Get-Unique | Set-Content .\output.txt

    こうしたスクリプトを定期的に実行できるようにしておけば、サクラエディタを手で開かずとも重複除去処理が可能になります。

    　関連記事

  • サクラエディタでマクロを使用して処理を繰り返し実行する方法
  • HeTeMuLu Creator：終了するとRuntime error 216が発生する
  • HeTeMuLu Creatorで文字コードを設定する方法
  • サクラエディタでタブ表示する方法
  • サクラエディタのインストール手順