HN 日本語サマリー

← 一覧へ戻る
プログラミング

DskDitto: 超高速・並列重複ファイル検出ツール

DskDitto: Ultra-fast, parallel duplicate-file detector (github.com)

50 pointsby ingve12 コメント

要約

DskDittoは、インタラクティブなメニューを備えた超高速・並列重複ファイル検出ツールです。大規模ディスク上の重複ファイルを瞬時に検出し、ターミナルインターフェースまたは実験的なGUIで簡単に管理できます。安全な削除やシンボリックリンクへの変換機能も提供し、ディスク容量の最適化を支援します。

全文翻訳

dskDitto

[画像: Go Reference] [画像: Go Report Card] [画像: License]

[画像: dskDitto gnome logo]

dskDitto は、不要な重複ファイルを簡単に削除できる、インタラクティブなメニューを備えた超高速・並列重複ファイル検出ツールです。

特長

  • 驚異的な高速重複スキャン — 並列処理により、大容量ディスク上の重複ファイルを瞬時に検出します。
  • デフォルトでインタラクティブTUI — Bubble Tea を利用した直感的なターミナルインターフェースで、重複ファイルの閲覧、比較、管理が可能です。
  • オプションのGUI — 実験的な Raylib GUI を使用して、TUIのグラフィカルな代替手段としても利用できます。
  • 安全な削除、シンボリックリンク、リリンク変換 — 重複ファイルを削除したり、シンボリックリンクに置き換えたり、リリンク対応ファイルシステムではスペースを節約するコピーオンライトクローンに変換したりできます。事故防止のための確認ダイアログも備わっています。
  • スマートシングルファイル検索 — 特定のファイルをハッシュ化し、ファイルシステム全体でその重複ファイルを瞬時に見つけます。
  • 柔軟なハッシュ処理 — コンテンツ検証のために SHA-256(デフォルト)または BLAKE3 を選択できます。
  • きめ細かなフィルタリング — サイズ、深さ、隠しファイル、シンボリックリンク、仮想ファイルシステム、ファイルシステム境界でファイルをスキップできます。
  • 結果のエクスポート — レポート作成や自動化のために、結果を CSV、JSON、またはプレーンテキストで保存できます。
  • Unixハードリンク対応 — ハードリンクされたファイルをインテリジェントに扱い、誤った重複検出を回避します。

インストール

Go 1.22+ を使用してソースから直接インストールします。

go install -ldflags="-s -w" github.com/jdefrancesco/dskDitto/cmd/dskDitto@latest

これにより、CLI/TUIバイナリが $(go env GOPATH)/bin/dskDitto(デフォルトでは ~/go/bin)に配置されます。デフォルトのインストールでは、オプションの Raylib GUI はビルドされません。-ldflags="-s -w" はデバッグシンボルを削除し、バイナリサイズを約3分の1に縮小します。デバッグ可能/プロファイル可能なビルドが必要な場合は、これを削除してください。

GUI対応バイナリをインストールするには、RaylibとCGoが利用可能であることを確認し、gui タグでビルドします。

go install -tags gui -ldflags="-s -w" github.com/jdefrancesco/dskDitto/cmd/dskDitto@latest

注意: go install ...@latest は常にローカルマシンでソースからコンパイルするため、-ldflags は実行コマンドに渡す必要があります。モジュール側でこれを組み込む方法はありません。

シェル補完(BashおよびZsh)

インストールされたバイナリから補完を生成します。これには、ロングフラグ、ショートエイリアス、--hash および --completion の選択肢、ファイル/パス引数が含まれます。フラグはスキャンパスの前に配置します。これは通常の dskDitto の呼び出しと同様です。

Bashの場合、現在のシェルで補完をロードします。

source <(dskDitto --completion bash)

将来のインタラクティブシェルでロードするために、この行を ~/.bashrc に追加します(macOSでは、~/.bash_profile が ~/.bashrc をソースしていることを確認してください)。bash-completion パッケージは不要です。

Zshの場合、シェルの設定でまだ初期化されていない場合は補完を初期化し、スクリプトをロードします。

autoload -Uz compinit
compinit
source <(dskDitto --completion zsh)

既存の compinit 設定の後に、この source 行を ~/.zshrc に追加します。生成されたスクリプトを _dskDitto として $fpath のディレクトリに保存してから compinit を実行することもできます。

mkdir -p ~/.zsh/completions
dskDitto --completion zsh > ~/.zsh/completions/_dskDitto

その後、compinit の前に fpath=(~/.zsh/completions $fpath) を ~/.zshrc に追加します。dskDitto を更新した後は、新しいフラグを取り込むために保存されたスクリプトを再生成してください。

使用方法

dskDitto [options] PATH ...

完全なカテゴリ別リファレンスについては dskDitto --help を実行してください(General, Filtering & Scanning, Search Scope, Fuzzy Matching, Duplicate Actions, Output & Export, Backup & Restore)。デフォルトで色付けされますが、--color-safe を使用するか、出力がターミナルでない場合はプレーンテキストにフォールバックします。一般的なフラグの多くには、1文字のショートカットがあります。

フラグショート説明
--version-v現在のバージョンを表示して終了
--completion <shell>BashまたはZsh補完スクリプトを表示して終了
--no-banner開始バナーをスキップ
--gui-gデフォルトのTUIの代わりに、実験的なRaylib GUIで結果を確認します。GUIビルドが必要です
--profile <file>指定されたファイルにCPUプロファイルを作成
--time-onlyスキャン直後に終了し、経過時間のみを表示
--min-size <bytes>指定されたサイズより小さいファイルを無視
--max-size <bytes>指定されたサイズより大きいファイルをスキップ(デフォルト4 GiB。制限なしの場合は 0 を使用)
--all-sizesあらゆるサイズのファイルをスキャン。--max-size 0 のより明確な同義語
--hiddenドットファイルおよびドットディレクトリを含める
--exclude <path>-xスキャンからパスを除外します(繰り返し可能。子孫も除外)
--no-symlinksシンボリックリンクをスキップ
--emptyゼロバイトファイルをインクルード
--include-vfs/proc や /dev のような仮想ファイルシステムディレクトリを含める
--one-file-system別のファイルシステムデバイス上のディレクトリに下降しない。--xdev はロングエイリアス
--dir-concurrency <int>並列ディレクトリ読み取りを制限します。値 <= 0 は自動調整を使用
--no-cacheサポートされているプラットフォームでは、ハッシュ処理中にファイルシステムキャッシュをポピュレートしないようにOSに要求します
--current指定されたパスのみにスキャンを制限します(再帰なし)
--depth <levels>-d開始パスの下の <levels> ディレクトリに再帰を制限
--dups <count>グループに少なくとも <count> 個のファイルが含まれるグループのみを表示
--text, --bullet-t, -bTUIを起動せずに重複を表示
--remove <keep>-r重複を操作し、グループごとに最初の <keep> エントリを保持
--link-l--remove と共に、追加の重複を削除する代わりにシンボリックリンクに変換します
--reflink-R--remove と共に、追加の重複を削除する代わりにリリンク(コピーオンライトクローン)に変換します
--file <path>-f指定されたファイルの重複のみを報告します。--name-only と共に、そのファイルの正確な名前で一致させます
--name-onlyシャローモード:コンテンツとサイズを無視して、正確なファイル名でファイルをグループ化します
--file-shallow <path>シャローモード:<path> と同じ正確な名前を持つファイルのみを報告します
--fuzzy-Fコンテンツベースのニアデュプリケートモード(ファイル名ではなく、ファイル類似性)
--fuzzy-threshold <pct>ファジーモードでの最小類似性パーセンテージ(デフォルト 75)
--fuzzy-same-extファジーモードでは、同じ拡張子を共有するファイルのみを比較します
--hash <algo>-Hハッシュアルゴリズムを選択します:sha256(デフォルト)または blake3
--csv-out <file>重複グループをCSVに書き出す
--json-out <file>重複グループをJSONに書き出す
--fs-detect <path><path> を含むファイルシステムの種類を表示
--color-safeカスタムカラーを避ける高互換性テーマ(TUIおよび--help)を使用
--no-confirm-yTUI/GUIの削除、リンク、リリンク操作のインタラクティブ確認コードをスキップ
--dry-run-n--restore と共に、ファイルを書き込まずにアクションを表示

ショート形式とロング形式は相互に交換可能で、同じオプションに書き込みます。例: -r 1 -R は --remove 1 --reflink と同じです。

いつでも Ctrl+C を押すとスキャンが中止されます。TUIまたはGUIで重複が削除または変換される際、--no-confirm が設定されていない限り、確認ダイアログが誤った一括変更を防ぎます。

重複削除、シンボリックリンク、リリンク変換

dskDitto は、--remove で明示的に指示されない限り、何も削除または上書きしません。

  • ドライ/インタラクティブモード: デフォルト(または --text / --bullet 付き)では、ツールは重複を報告するだけです。
  • 余分なファイルの削除: グループごとに1つのファイルを保持して、残りを削除するには --remove <keep> を使用します。
  • 余分なファイルをシンボリックリンクに変換: 追加の重複を削除する代わりにシンボリックリンクに置き換えるには、--remove <keep> --link を組み合わせます。
  • 余分なファイルをリリンクに変換: 追加の重複を削除する代わりにコピーオンライトクローンに置き換えるには、--remove <keep> --reflink を組み合わせます。--link と --reflink は排他的です。

TUIでは、現在マークされているファイルをシンボリックリンクまたはリリンクに変換することもできます。重複をマークし、L(シンボリックリンク)または R(リリンク)を押して確認コードを入力します。各グループの置換は、そのグループ内のマークされていない1つのファイルを参照(またはクローン)します。パワーユーザーは --no-confirm を渡すことで、TUIおよびGUIでの確認コードをスキップできます。

Unix系システムでは、同じ基盤ファイルへの複数のハードリンクは、スキャン中に単一のエントリとして扱われます。dskDitto はコンテンツを一度だけハッシュ化し、それらのハードリンクパスを個別のスペースを無駄にする重複として報告しません。

--link を使用する場合、操作後のオンディスクレイアウトは、3つの同一ファイルのグループと --remove 1 --link の場合、次のようになります。

/path/to/keep/file.txt      # 元のファイルを保持
/path/to/dup/file-copy.txt  -> /path/to/keep/file.txt  (シンボリックリンク)
/another/location/file.txt  -> /path/to/keep/file.txt  (シンボリックリンク)

TUIでは、シンボリックリンクに変換されたファイルは [symlink] サフィックスで注釈付けされるため、どのエントリが変換されたかを確認できます。

リリンク(コピーオンライトクローン)変換

シンボリックリンクとは異なり、リリンクは実際の独立したファイルであり続けます。元のファイルと同じサイズとinodeで表示されるコンテンツを持ちますが、どちらかのコピーが変更されるまでディスクブロックを保持ファイルと共有します。この場合、ファイルシステムは変更されたブロックのみを透過的にコピーします。これは意味します:

  • 元の保持ファイルを削除または移動しても、リリンクされた重複は壊れません(シンボリックリンクのようなダングリングリンクはありません)。
  • 保持ファイルまたはリリンクされた重複のいずれかを編集しても、もう一方には影響しません。共有ブロックは、最初の書き込み時にコピーされます。
  • ディスク使用量は、シンボリックリンクと同様に、変換直後に減少しますが、各パスは、それを扱う他のすべてのツールにとって、完全に独立したファイルとして残ります。

リリンククローニングには、コピーオンライト対応ファイルシステムが必要です:APFS(macOS、clonefile(2)経由)またはBtrfs/XFS(reflink=1付き)(Linux、FICLONE ioctl経由)。ext4、FAT/exFAT、NTFSではサポートされておらず、保持ファイルと重複が異なるファイルシステム/ボリュームにある場合もサポートされません。指定されたファイルに対してクローニングが不可能な場合、dskDitto はそれをエラーとして報告し、削除せずにそのままにします。リリンク変換は、クローンに失敗した重複を削除することはありません。

--reflink を使用する場合、操作後のオンディスクレイアウトは、3つの同一ファイルのグループと --remove 1 --reflink の場合、次のようになります。

/path/to/keep/file.txt      # 元のファイルを保持
/path/to/dup/file-copy.txt  # 独立したファイル、file.txtからCOWクローン
/another/location/file.txt  # 独立したファイル、file.txtからCOWクローン

TUIでは、変換されたファイルは、ディスク上の通常のファイルとして残るため、[symlink] 注釈の代わりに REFLINK ステータスタグでマークされます。

シングルファイル重複検索

--file /path/to/original.ext を使用して特定のファイルを最初にハッシュ化し、次に指定されたディレクトリで同じコンテンツを持つ他のファイルをスキャンします。これらのディレクトリで重複が見つからない場合、dskDitto は正常に終了します。それ以外の場合、すべてのレポート/削除/エクスポートモードは、その単一の重複グループ(元のファイルが最初にリストされる)に制限されます。

シャローファイル名重複検索

--name-only を使用して、ファイルコンテンツをハッシュ化せずに、正確な最終ファイル名でファイルをグループ化します。たとえば、dir1/text1 と dir2/text1 は、コンテンツが異なっていても重複と見なされます。--name-only --file /path/to/text1 を組み合わせるか、--file-shallow /path/to/text1 を使用して、シャロー結果を1つの正確なファイル名に制限します。シャローターゲットがドットファイルの場合、dskDitto はそのスキャンのために隠しファイルとディレクトリを自動的に含めます。

同じ名前のファイルが異なるデータを含む可能性があるため、シャローファイル名一致ではバックアップの復元はサポートされていません。--backup が --name-only または --file-shallow と組み合わされた場合、dskDitto は警告を表示し、ファイルをスキャンまたは変更する前に終了します。

ファジーコンテンツマッチング(ニアデュプリケート)

--fuzzy を使用して、バイト単位で同一でなくても、類似したコンテンツを持つファイルを検索します。このモードはファイルコンテンツのシグネチャのみを比較します。ファイル名の一致性は使用しません。

デフォルトでは、ファジーモードは >=75% の類似性でグループを返します。

dskDitto --fuzzy ~/Downloads

必要に応じて類似性のカットオフを調整します。

dskDitto --fuzzy --fuzzy-threshold 90 ~/Downloads

ファジー比較を同じ拡張子を持つファイルに制限します。

dskDitto --fuzzy --fuzzy-same-ext ~/Downloads

--fuzzy の結果はレビュー専用のニアマッチです。自動変更フロー(--remove / --link)はファジーモードでは無効です。

ハッシュアルゴリズム

デフォルトで、dskDitto はコンテンツハッシュに SHA-256 を使用します。

  • SHA-256 (--hash sha256): 保守的で広くサポートされている選択肢で、強力な衝突保証があります。
  • BLAKE3 (--hash blake3): 多くの状況で、最新のCPUでは大幅に高速です。ただし、macOSでは SHA256 がファインチューニングされており、ほとんどの場合 BLAKE3 よりもパフォーマンスが優れています。そのため、現時点では SHA-256 をデフォルトのままにしています。

例

ホームディレクトリをスキャンし、重複をインタラクティブにレビューします。

dskDitto $HOME

実験的なRaylibウィンドウUIを使用します。

dskDitto --gui $HOME

デフォルトのインストールはCLI/TUIのみです。--gui がGUIサポートがビルドされていないと報告した場合、go install -tags gui github.com/jdefrancesco/dskDitto/cmd/dskDitto@latest で再インストールしてください。

ディレクトリ(またはファイル)をスキャンから除外します。

dskDitto --exclude $HOME/Library/Caches $HOME

1回のスキャンで複数のパスを除外します(--exclude を繰り返します)。

dskDitto \
  --exclude $HOME/Library/Caches \
  --exclude $HOME/.cache \
  --exclude $HOME/Downloads \
  $HOME

開始ファイルシステムに留まります。find -xdev または ncdu -x のように。

dskDitto --one-file-system /
dskDitto --xdev $HOME

スクリプトやgrep処理のために重複をリストします。TUIを起動せずに。

dskDitto --text ~/Pictures ~/Movies | grep "\.jpg$"

コンテンツを無視して、同じ正確なファイル名を持つファイルを見つけます。

dskDitto --name-only --text ~/Downloads ~/Documents

100 MiBを超える重複を安全に検索して削除します。グループごとに1つのコピーを保持します。

dskDitto --min-size 100MiB --remove 1 /mnt/big-disk

重複を削除する代わりにシンボリックリンクに変換して、メディアライブラリを縮小します。

dskDitto --remove 1 --link ~/Media

重複をコピーオンライトリリンクに変換してメディアライブラリを縮小します。各ファイルを独立してアドレス可能に保ちます。

dskDitto --remove 1 --reflink ~/Media

オフライン分析のために、重複情報をCSVまたはJSONにエクスポートします。

dskDitto --csv-out dupes.csv  ~/Photos
dskDitto --json-out dupes.json ~/Projects
レシピ
  • ダウンロードフォルダをクリーンアップし、各インストーラーのコピーを1つ保持する:

    dskDitto --min-size 10MiB --remove 1 ~/Downloads
    
  • シンボリックリンクを使用してディレクトリレイアウトを維持しながら、写真ドライブの重複を排除する:

    dskDitto --remove 1 --link /Volumes/photo-archive
    
  • APFS/Btrfs/XFSで写真ドライブの重複を排除し、各ファイルを独立してアドレス可能に保つ:

    dskDitto --remove 1 --reflink /Volumes/photo-archive
    
  • 大きな冗長メディアファイルを検索するだけ:

    dskDitto --min-size 500MiB --text ~/Movies ~/TV
    
  • BLAKE3を使用する

    注意: macOS では、Blake3 は実際には SHA256 よりもパフォーマンスが悪くなります。そのため、現時点ではデフォルトのままです。Blake3 の実装は将来改善され、SHA256 を上回る可能性があります。

    dskDitto --hash blake3 --min-size 10MiB --text /mnt/big-disk
    
  • CSV経由で別のツールに重複グループをフィードする:

    dskDitto --csv-out dupes.csv /data
    

結果表示メニュー

[画像: Screenshot: interactive TUI]

TUIには Bubble Tea が使用されています。

GUI結果表示

[画像: Screenshot: Raylib GUI duplicate review]

GUIは Raylib で構築されています。

ベンチマーク

固定の並列度値を選択する前に、マシンでディレクトリトラバーサルをベンチマークします。高速なAPFS SSDでは、最適な範囲は通常ワークロードに依存します。

go build -o dskDitto ./cmd/dskDitto
for w in 16 24 32 48 64 96 128; do
  /usr/bin/time -p ./dskDitto --time-only --dir-concurrency "$w" ~
done

より詳細なmacOS実行には、/usr/bin/time -l ./dskDitto --time-only ~ を使用します。--no-cache もデフォルトではベンチマーク専用です。通常コマンドで使用する前に、同じワークロードでテストしてください。

ソースからのビルド(開発)

以下が必要です。

  • go (1.22+)
  • gosec ( go install github.com/securego/gosec/v2/cmd/gosec@latest でインストール)
git clone https://github.com/jdefrancesco/dskDitto
cd dskDitto
make

生成されたバイナリは bin/dskDitto にあります。これを $PATH に追加するか、リポジトリのルートから実行してください。デフォルトの make パスはCLI/TUIバイナリをビルドします。Raylib GUIパスを明示的にビルドしてスモークテストするには、RaylibとCGoが利用可能であることを確認し、次を実行します。

make build-gui
make run-gui GUI_PATH=$HOME

ビルドされたバイナリをパス上のどこかにインストールします(デフォルトは /usr/local/bin)。

sudo make install PREFIX=/usr/local/bin

ユーザーローカルインストールを優先し、sudo をスキップしたい場合は、PREFIX をオーバーライドします(例: make install PREFIX=$HOME/.local/bin)。

make debug         # 開発ビルドを作成
make build-gui     # -tags gui でGUI対応バイナリをビルド
make run-gui       # GUI_PATH (デフォルト " .") に対してGUIをビルドして起動
make release-check # タグ/プッシュ/パブリックインストールリリースチェックリストを表示
make release-install-check # go install ...@latest が現在インストールするものを検証
make test          # go test ./...
make bench         # ベンチマークを実行(-benchmem を追加)
make bench-profile # リポジトリルートに cpu.prof および mem.prof をキャプチャ
make pprof-web     # 最新プロファイルの go tool pprof をHTTP UIで起動

アーキテクチャ

DittoDoc を参照してください。

設定

  • ログレベル: DSKDITTO_LOG_LEVEL を debug、info、warn などに設定します。
  • デフォルトオプション: 好みのデフォルト設定で dskDitto をシェルエイリアスまたはスクリプトでラップします。
  • プロファイリング: ツール実行中に Go の pprof エンドポイントを公開するには、--pprof host:port を指定します。

貢献

Issue および PR を歓迎します。改善、新しい出力モード、パフォーマンス調整のアイデアがあれば Issue を開いてください。私は空き時間のみでこれを開発しており、その時間はますます少なくなっています。このプロジェクトには新しい貢献者が間違いなく必要です。

ライセンス

このプロジェクトは Apache ライセンスの下でリリースされています。詳細は LICENSE を参照してください。