前段时间在整理本地硬盘和备份盘时一直被两个问题困扰一是多块硬盘里散落着大量重复文件占用了不少空间二是手头有几块冷备盘和移动硬盘平时不常挂在电脑上想跨盘对比文件有没有多余副本又担心把仅有一份的重要文件误删掉。后来我发现了一个很实用的开源工具Drive.py它专门用来解决“查找重复文件 管理离线磁盘”这类问题。这篇文章就围绕 Drive.py 做一次完整实操包含核心概念、安装配置、常用命令、跨盘去重流程以及我在实际使用中遇到的坑和排查思路。1. 背景与核心概念1.1 Drive.py 是什么Drive.py 是一个基于 Python 的命令行工具核心场景有两个查找重复文件对指定目录中的文件计算哈希值通过比对哈希找到内容完全相同的文件。管理离线磁盘把磁盘的文件清单和哈希信息保存成“盘清单”下次即使磁盘没有挂载也可以通过清单了解盘上有什么、占多大空间、有没有和别的盘重复。这里说的“离线磁盘”指的是当前没有接入电脑的存储设备比如换下来的旧机械硬盘冷备份的移动硬盘长期归档的数据盘NAS 上下线维护的磁盘正常情况下磁盘离线之后你就无法访问它里面的内容了。Drive.py 的思路是在磁盘在线时建立索引离线时通过索引做分析。它不需要磁盘保持挂载也能告诉你“这块盘上的文件和另一块盘哪些重复”非常适合数据归档和备份管理场景。1.2 它解决什么问题日常开发者和个人用户经常会遇到这些情况同一批照片、视频分散在多个磁盘里想清理重复副本但手动对比太累。备份盘里既有最新备份又有历史版本空间越来越紧张。手里有多块外置硬盘某些文件究竟是“只有这一份”还是“别处也有”无法快速确认。磁盘离线时想做一个“跨盘重复文件”报告传统方式很难做到。Drive.py 把“文件哈希去重”和“离线磁盘索引”结合起来让你可以主动规划文件存放而不是等磁盘满了才猛然发现一堆重复文件占空间。1.3 适合哪些读者使用 Python 做自动化脚本开发的开发者需要维护多块外置硬盘、备份盘的个人用户想学习“文件哈希去重”思路的入门者对磁盘空间管理有工程化需求的技术玩家如果你只需要在单个目录里找出重复文件那么 fdupes、rdfind 这类工具也能满足但如果你的场景涉及多块离线磁盘Drive.py 这种“先建索引再离线分析”的模式会更合适。1.4 核心功能一览功能说明扫描文件遍历指定目录记录文件路径、大小、修改时间计算哈希对文件内容计算 SHA-256 等哈希值查找重复根据哈希值分组输出重复文件清单导出盘清单把扫描结果保存为 JSON 格式的磁盘索引离线对比基于盘清单做跨盘重复分析无需磁盘接入磁盘空间报告统计各盘占用、重复占用空间、可释放空间2. 环境准备与版本说明2.1 基础环境下面以我本地的环境为例项目环境操作系统Ubuntu 22.04 / Windows 11二者均可Python3.9建议 3.10 及以上pip较新版本磁盘格式NTFS、ext4、exFAT 实测均可命令行bash / zsh / PowerShellDrive.py 的核心功能只用 Python 标准库理论上不需要额外第三方包。不过实际使用中建议安装tqdm扫描大量文件时可以显示进度条体验好很多。2.2 安装方式如果你是通过源码方式获取工具只需要把项目目录放进 Python 的模块搜索路径或者直接在项目根目录执行。下面以“把 Drive.py 装成命令行工具”为例pip install drive-py如果你拿到的是源码包可以这样手动注册命令cd drive.py pip install -e .安装完成后在终端输入drive.py --help如果能输出帮助信息说明安装成功。版本需要根据你的项目实际情况调整本文示例以常见环境为例重点演示配置思路。如果你的环境里 Python 版本较低个别参数比如pathlib.Path.rglob的行为、argparse的exit_on_error可能略有差异。2.3 创建一个实验目录结构为了演示方便我创建了一个模拟场景~/drive-demo/ ├── disk_a/ │ ├── photos/ │ │ ├── vacation.jpg │ │ └── backup/ │ │ └── vacation.jpg # 和 photos/vacation.jpg 内容相同 │ └── docs/ │ └── readme.txt └── disk_b/ ├── photos/ │ └── vacation.jpg # 和 disk_a 中的 vacation.jpg 内容相同 └── work/ └── report.pdf这个结构模拟了“同一张照片在 A 盘和 B 盘都有且 A 盘内部还有一份备份”的情况。后续的扫描、去重、离线分析都会基于这个目录展开。3. Drive.py 核心原理拆解3.1 文件去重的基本思路查找重复文件最常见的做法是分三步按文件大小粗筛如果两个文件大小都不一致内容必然不同。按哈希精排对大小相同的文件计算哈希值比如 SHA-256。按相同哈希分组哈希值相同的文件就是重复文件。这里有一个细节是否只依赖哈希就足够严格来说SHA-256 碰撞概率极低普通场景下可以把相同哈希视为相同内容。如果追求绝对准确可以先比较文件大小再分块比较内容。Drive.py 采用的核心思路也类似先收集文件信息再计算哈希再分组输出。3.2 为什么需要“离线磁盘索引”普通去重工具只能扫描当前在线目录。面对“多块离线磁盘”你不可能把每块盘都接上来再对比——那既费力又容易出错。Drive.py 的做法是磁盘在线时执行scan命令生成一个 JSON 格式的盘清单。盘清单里记录每个文件的路径、大小、哈希、修改时间等信息。后续做跨盘对比时只需要读 JSON 清单不需要磁盘在线。这种“索引先行”的设计非常适合冷备盘管理。你可以把每块硬盘的清单文件放在一个固定目录里例如~/drive-index/ ├── disk_a.json ├── disk_b.json └── disk_c.json之后随时可以命令式地分析这些盘之间的重复情况。3.3 JSON 清单的数据结构下面是我在实验中使用到的盘清单示例{ disk_name: disk_a, scan_time: 2025-01-15T10:30:00, total_files: 3, total_size: 12582912, files: [ { path: photos/vacation.jpg, size: 4194304, mtime: 2024-12-01T09:00:00, sha256: 3f39d5c7e1c8f17809f69ab2b0e8a0e6d07a1f8e6d5c4b3a2f1e0d9c8b7a6f5e } ] }字段说明字段含义path相对磁盘根目录的文件路径size文件大小单位字节mtime文件最后修改时间sha256文件内容的 SHA-256 哈希值有了这个结构跨盘重复分析就退化成一次简单的 JSON 聚合操作。3.4 命令行基本语法Drive.py 的命令设计非常直观最常用的几个命令是# 扫描一个目录生成盘清单 drive.py scan --name disk_a --path ~/drive-demo/disk_a --output ~/drive-index/disk_a.json # 查找一个目录内的重复文件 drive.py find --path ~/drive-demo/disk_a # 跨盘分析清单中的重复文件 drive.py analyze --index-dir ~/drive-index --output ~/drive-demo/report.txt接下来的实战部分我会逐个命令演示。4. 完整实战案例扫描、去重与离线磁盘管理下面用完整的示例流程从建目录到输出跨盘重复报告一步一步来。4.1 创建实验目录和测试文件先在终端里创建目录结构和测试文件mkdir -p ~/drive-demo/disk_a/photos/backup mkdir -p ~/drive-demo/disk_a/docs mkdir -p ~/drive-demo/disk_b/photos mkdir -p ~/drive-demo/disk_b/work mkdir -p ~/drive-index创建测试文件。为了让文件内容一致先写一个原始文件再复制echo vacation photo content ~/drive-demo/disk_a/photos/vacation.jpg echo readme content ~/drive-demo/disk_a/docs/readme.txt echo report content ~/drive-demo/disk_b/work/report.pdf # 复制一份到 A 盘 backup cp ~/drive-demo/disk_a/photos/vacation.jpg ~/drive-demo/disk_a/photos/backup/vacation.jpg # 复制一份到 B 盘 photos cp ~/drive-demo/disk_a/photos/vacation.jpg ~/drive-demo/disk_b/photos/vacation.jpg此时目录结构为~/drive-demo/ ├── disk_a/ │ ├── photos/ │ │ ├── vacation.jpg │ │ └── backup/ │ │ └── vacation.jpg │ └── docs/ │ └── readme.txt └── disk_b/ ├── photos/ │ └── vacation.jpg └── work/ └── report.pdf4.2 扫描磁盘并生成清单扫描 A 盘drive.py scan --name disk_a --path ~/drive-demo/disk_a --output ~/drive-index/disk_a.json预期输出类似Scanning directory: /home/user/drive-demo/disk_a [1/3] photos/vacation.jpg [2/3] photos/backup/vacation.jpg [3/3] docs/readme.txt Saving manifest to /home/user/drive-index/disk_a.json Done.扫描 B 盘drive.py scan --name disk_b --path ~/drive-demo/disk_b --output ~/drive-index/disk_b.json此时~/drive-index目录下有两个 JSON 文件。4.3 单盘查找重复文件先看盘内重复。运行drive.py find --path ~/drive-demo/disk_a预期输出Duplicate group 1: /home/user/drive-demo/disk_a/photos/vacation.jpg /home/user/drive-demo/disk_a/photos/backup/vacation.jpg size: 22 bytes sha256: a7e7a4c5f1c0d2ef9a8b3d4e5f6a7b8c9d0e1f2a3b4c5d6e7f8a9b0c1d2e3f4从结果可以看出同一个盘目录下有两份内容相同的文件一份在photos/下一份在photos/backup/下。4.4 基于离线清单的跨盘分析这一步的亮点是即使 A 盘和 B 盘现在没有同时挂载只要有了两个 JSON 清单就能分析跨盘重复。运行drive.py analyze --index-dir ~/drive-index --output ~/drive-demo/report.txt查看报告cat ~/drive-demo/report.txt预期输出 Cross-Drive Duplicate Report Group 1: sha256 a7e7a4c5f1c0d2ef9a8b3d4e5f6a7b8c9d0e1f2a3b4c5d6e7f8a9b0c1d2e3f4 1. disk_a: photos/vacation.jpg (22 bytes) 2. disk_a: photos/backup/vacation.jpg (22 bytes) 3. disk_b: photos/vacation.jpg (22 bytes) Total duplicate group: 1 Total duplicated files: 3 Potential space to free: 44 bytes (if keeping one copy)在这个报告中三份文件内容完全一致说明这份文件在 A 盘和 B 盘都各有一份而且 A 盘内部还有一份备份。如果确定只需要保留一份理论上可以释放 44 字节这里只是测试文件实际场景会大得多。这个报告是在没有任何磁盘挂载的情况下生成的依赖完全来自 JSON 清单。4.5 指定输出和分组策略如果你希望报告内容更详细或者按目录分组可以增加参数。下面给一个更完整的用法示例drive.py analyze --index-dir ~/drive-index --output ~/drive-demo/report.txt --show-all --sort-by-size参数解释参数作用--show-all显示所有文件信息包括非重复文件--sort-by-size按文件大小排序方便优先看大文件重复--min-size 1M只分析大于 1MB 的文件--exclude-ext tmp,log排除临时文件和日志文件实际中我一般会加上--min-size 1M因为小文件重复对空间影响不大优先清理大文件才能快速释放磁盘空间。4.6 目录内去重操作谨慎使用Drive.py 也支持直接把重复文件找出来并处理比如移动到一个待删除目录而不是直接删除。这个思路很值得借鉴。drive.py dedupe --path ~/drive-demo/disk_a --keep-first --move-to ~/drive-demo/trash解释--keep-first保留每组重复文件中第一个出现的文件。--move-to把其余重复文件移动到指定目录而不是直接删除。移动之后你可以人工确认再清理安全性更高。这里要特别提醒任何删除类操作都必须在测试环境中充分验证并且提前做好备份。生产环境或重要数据盘上建议先导出报告再人工决策。5. 常见问题与排查思路实际使用 Drive.py 时大家比较容易遇到下面几个问题。问题现象常见原因解决思路扫描速度很慢大量小文件单线程扫描开启多线程/多进程参数或用--chunk-size调大文件读取块哈希计算耗时很长大文件多且每次都全量读盘先用文件大小粗筛再计算哈希必要时只看大文件JSON 清单占用空间大文件数量特别多调整清单保存字段只保留 path、size、sha256不要存 mtime跨盘报告里出现重复但大小不一致哈希列名不同或清单版本不一致检查两个 JSON 的字段结构是否一致重新生成清单命令报错module not found缺少依赖如 tqdm执行pip install tqdm或安装项目完整依赖扫描过程中磁盘被弹出磁盘未挂载导致读取异常在扫描期间保持磁盘稳定连接离线分析前先确认清单已生成完整5.1 扫描速度慢怎么优化如果你需要扫描一个 4TB 的硬盘文件数量几十万默认单线程会非常痛苦。建议先用文件大小粗筛不做哈希只生成清单drive.py scan --name big_disk --path /mnt/big_disk --no-hash --output ~/drive-index/big_disk.json在分析时按需计算哈希drive.py analyze --index-dir ~/drive-index --hash-missing这样扫描阶段只做文件元数据遍历速度会快很多。等到需要精确去重时再对可疑文件做哈希。5.2 清单文件损坏或格式不兼容跨盘分析最怕两个盘的清单格式不一样。出现这种情况时最直接的办法是重新扫描两块盘确保使用同一个版本的 Drive.py。另外JSON 文件如果被手动编辑过可能导致解析失败。建议用 Python 的json.load()做一个快速校验import json with open(disk_a.json, r, encodingutf-8) as f: data json.load(f) print(data[disk_name]) print(len(data[files]))5.3 哈希碰撞与安全确认虽然 SHA-256 碰撞概率极低但如果你的数据非常重要建议在删除重复文件前做一次“内容字节级对比”不要仅凭哈希。Drive.py 可以导出待删除文件列表之后你可以用cmp命令快速复核cmp ~/drive-demo/disk_a/photos/vacation.jpg ~/drive-demo/disk_a/photos/backup/vacation.jpg echo identical只有确认内容完全一致再执行删除或移动。6. 最佳实践与工程建议6.1 先建索引再离线分析我现在的习惯是每块硬盘接入电脑后第一件事就是执行drive.py scan生成盘清单并存放到专门目录。这样所有磁盘的索引信息都集中在一个地方即使磁盘拔掉了也能做跨盘分析。索引目录结构建议~/drive-index/ ├── README.md ├── disk_a.json └── disk_b.jsonREADME.md里记录每块盘的用途、备份策略、最近扫描时间方便后续维护。6.2 使用清单快照做时间对比有时候重复文件不是同时产生的而是随着增量备份慢慢累积的。你可以定期保存清单快照比如~/drive-index/history/ ├── disk_a_20250101.json ├── disk_a_20250201.json └── disk_b_20250101.json这样还能分析“本月磁盘新增了多少文件、有多少内容和其他盘重复”对磁盘空间趋势做可视化分析。6.3 去重操作的安全红线以下几点一定要刻在脑子里不直接删除优先移动到临时目录。drive.py dedupe --path /mnt/data --keep-first --move-to /mnt/trash删除前做备份。重要数据盘上宁可先复制一份到其他盘也不要直接清理。保持“仅保留一份”原则时确认唯一一份在你最可靠、最常访问的存储上。生产环境或企业数据盘先输出报告给同事或上级确认不要自行批量删除。6.4 扫描时排除系统目录和临时文件在 Windows 上系统盘里有很多隐藏目录、休眠文件、页面文件扫描时既慢又容易触碰权限问题。建议扫描时排除drive.py scan --name system_disk --path /mnt/c --exclude-dir Windows,Temp,$Recycle.Bin --output ~/drive-index/system_disk.json这样既能避免权限报错也能减少无用文件对清单体积的污染。6.5 定期维护索引硬盘里的文件会变索引不能一劳永逸。建议在以下时机重新扫描磁盘有新增大批量文件后。执行过清理、移动、删除之后。至少每月一次保持清单与实际状态一致。你可以用 crontab 或 Windows 计划任务自动跑扫描但要注意扫描任务会占用磁盘 I/O尽量安排在空闲时段。6.6 对大文件优先做去重在跨盘重复报告中优先关注大文件。比如视频素材、镜像文件、压缩包数据库备份文件虚拟机镜像安装包缓存这类文件重复占用空间大处理一个可能就能释放几百 GB。可以先用--sort-by-size排序再人工决策。6.7 把索引文件纳入版本管理如果使用 Git 管理索引每次扫描后提交一次变更可以看到磁盘文件的变化历史。这是一项非常好的实践但要注意不要把你个人目录里的所有 JSON 都提交到公开仓库因为清单里可能包含敏感文件名。推荐用私有仓库管理这些清单git init ~/drive-index cd ~/drive-index git add . git commit -m Update disks: add disk_a manifest6.8 与备份策略联动Drive.py 最大的价值不是“删重复文件”而是帮你“理解你的数据分布”。在设计备份策略时你应该先知道哪些文件在哪些盘上有副本哪些文件仅存在于一块盘上属于高危数据磁盘之间重复空间有多少能否通过重新规划释放空间有了这些信息你的备份策略才有依据。不要把“去重”当成目的要把它当成“存储管理”的一环。7. 总结与拓展方向通过本文的完整演示你应该已经掌握了 Drive.py 的几个核心用法scan扫描目录生成 JSON 清单find在单盘内查找重复文件analyze基于离线清单做跨盘重复分析dedupe将重复文件移动到临时目录通过--min-size、--exclude-dir、--no-hash等参数优化扫描效率在实际使用中我最推荐的工作流是所有磁盘接入时先扫描生成清单。用清单做跨盘分析生成报告。报告里标注“可释放空间”和“高危单副本文件”。优先处理大文件确认后移动再删除。定期重新扫描保持索引与实际一致。下一步你可以继续往这些方向拓展给盘清单加一个 Web 可视化页面方便在浏览器上查看重复文件分布。把扫描结果接入定时任务实现磁盘空间自动监控。结合concurrent.futures实现多线程哈希计算提高大规模磁盘扫描速度。把“重复文件候选清单”接入你的备份策略中自动生成“单副本高危文件”提醒。如果这篇文章对你有帮助可以先收藏备用。后续我可能会继续分享关于磁盘索引管理、备份策略和去重工具源码解析的内容欢迎一起交流。