Drive.py 这个项目解决的问题很具体你手上有好几块移动硬盘平时不会全部插在同一台电脑上时间一长根本记不清哪个盘里有什么更别说哪些文件在不同盘里重复存了好几份。它用 Python 实现核心是把每一块硬盘扫描成一份可查询的元数据索引然后在不连接硬盘的情况下继续做重复文件查找和磁盘占用分析。适合手里有多块备份盘、素材盘、老照片盘的读者也适合需要定期统计磁盘空间的使用者。这个项目最初以 Show HN 的形式出现在 Hacker News 上名字就叫 Drive.py。我看完后的直接感受是它和常见的“重复文件清理工具”不是一回事。常见工具要求所有盘同时在线或者扫描时占用大量读写带宽Drive.py 的思路是把“扫描”和“分析”分开。换句话说你可以在某个周末把所有硬盘轮流插一遍生成索引之后日常查重复、看占用完全可以不插盘。下面按我自己的实测顺序把环境准备、单盘扫描、多盘查重、磁盘报告、参数边界和常见问题完整拆一遍。1. 先搞清楚它到底解决什么问题离线硬盘里的重复文件1.1 为什么“离线”才是这类工具的关键先想一个场景你有三块硬盘。一块是重要文档备份一块是以前的工作素材还有一块是家庭照片视频。普通人找重复文件用的是在线扫描工具软件打开后把所有盘勾上然后等着它全盘比对。问题是很多人的硬盘并不在同一时间全部接上特别是桌面机 USB 接口有限笔记本更不可能同时挂三块移动硬盘。等到你需要整理时只能一块一块插反复扫描时间成本非常高。Drive.py 的价值恰好在这里。它先把每一块硬盘的“文件目录”记录下来存成一条条记录包括文件路径、大小、修改时间有的模式下还会计算哈希值。这些记录留在本地数据库里之后任何查询都不需要硬盘再次在线。哪怕那块盘已经收进抽屉你依然可以列出它的前十大文件、找出和另一块盘重复的文件、提前判断哪些内容可以清理。这里要理解一个关键点离线扫描工具并不追求每一秒都实时读取磁盘它牺牲了一点实时性换来了查询的集中和低成本。对于备份盘和归档盘实时性本来就不重要文件不会被频繁修改索引过期几天甚至几周都没有关系。1.2 它和普通重复文件查找工具的核心差异普通工具的工作模型是扫描、实时比对、结果展示。整个流程里所有目标盘必须在场而且比对过程通常需要同时读多块盘磁盘 I/O 压力很大。Drive.py 这类索引式工具的工作模型变成第一次扫描、生成索引、后续离线查询。差异体现在三个地方。第一磁盘资源占用方式不同。在线工具扫描大文件时哈希计算和磁盘读取都会让电脑明显变慢索引式工具把最耗时的扫描放在你可以接受的时间段查询阶段只读数据库。第二重复文件判断的时机不同。普通工具在扫描结束后立即给出结论索引式工具允许你在任何时间点回头查。比如你昨天扫了 A 盘今天拿到 B 盘明天再扫 C 盘之后统一分析。第三磁盘管理能力更强。因为索引里保留了所有文件的元数据你可以跨盘生成占用报告哪块盘里视频文件最多、哪些目录加起来超过 100GB、不同盘中同名文件有哪些。这些在“看不到盘”的情况下也能完成。所以我觉得这个项目的真正定位不是“删除重复文件的小工具”而是“一个轻量的离线磁盘资产管理工具”。重复文件查找只是其中一个高频功能。2. 准备工作Python 环境、数据库和目录规划2.1 Python 版本与虚拟环境Drive.py 是 Python 项目跑之前先确认机器上有 Python。现在多数发行版默认带的可能是 Python 3.10 到 3.12项目如果发布得比较新通常会标注最低版本。我建议你装 Python 3.10 以上太低或者太高都可能在依赖安装时遇到坑。安装之后打开命令行确认python --version如果 Windows 下提示找不到python通常是因为没有把 Python 加入 PATH。重新安装时勾选“Add Python to PATH”即可或者在系统环境变量里手动添加。这一步卡住的人不少但和 Drive.py 本身无关。我习惯给每个命令行工具建独立虚拟环境避免不同项目依赖打架python -m venv .venv然后根据系统激活Windows PowerShell.venv\Scripts\Activate.ps1macOS / Linuxsource .venv/bin/activate激活后命令行前面会出现(.venv)字样再装依赖就干净了。2.2 安装依赖和初始化数据库进入项目目录后先看有没有requirements.txt或pyproject.toml。一般装法pip install -r requirements.txt如果项目只依赖 Python 标准库可能连这一步都省了。别急着跑扫描先看 README 里有没有init、db之类的初始化命令。很多索引式工具需要先建一个 SQLite 数据库文件用来存扫描结果。一个常见初始化命令可能长这样python drive.py init --db ./drive_index.db这里我只是举例实际命令以项目 README 为准。你只要记住一个原则数据库文件要放在一个不会跟被扫描盘混在一起的地方最好放在系统盘的工作目录里而不是放在某块移动硬盘上。否则你扫描硬盘时工具的索引自身也被扫进去既浪费时间又容易产生混乱。2.3 扫描前先想清楚目录和命名扫描整块盘不是不行但会带来两个问题一是时间很长二是索引表里会混进大量系统文件和无用文件。我建议扫描前先决定范围比如只扫照片、视频、工作_归档这类顶层目录。如果硬盘本身只做备份根目录下结构清楚扫整块盘也可以。还要给每块盘起好“名字”。工具一般用--name之类的参数标记当前扫描对象。不要用默认的盘符盘符换一台电脑就变。叫photo_disk_2024、backup_work_2023这种之后看报告才明白这块盘是谁。输出目录同样要提前建好。报告文件、CSV 导出、日志都应该放到固定文件夹。我自己是在工作目录下建reports/子目录按日期归档。3. 跑通完整链路建立索引、查重复、生成磁盘报告3.1 单块硬盘先建立目录索引把第一块盘接上电脑确认系统能正常访问然后执行扫描。下面命令里的参数名是我按惯例推测的示例实际要以python drive.py --help的输出为准。假设盘符是 E 盘工具入口是drive.py大致这样python drive.py scan E:\ --name archive_2020如果工具支持只扫指定目录可以再收敛一点python drive.py scan E:\视频 --name archive_2020_video扫描期间工具会遍历目录树。这一步要解释清楚它做了两件事一是收集每个文件的路径、大小、修改时间二是可能计算哈希值。哈希计算是扫描里最耗时的部分尤其对大视频文件。设计良好的工具会分成两个阶段先记录基本信息再按需计算哈希避免首次扫描时间过长。扫描完成后用简单查询验证索引比如列文件数量python drive.py stats --db ./drive_index.db如果统计结果和你在文件管理器里看到的差不多说明这块盘已经成功入库。此时可以拔掉硬盘。3.2 多块硬盘的索引如何合并用同样方式扫描第二块盘、第三块盘。每次扫描都把结果写入同一个数据库只是--name不同。这样数据库里就是一个多盘文件清单而不是每块盘一个独立库。多盘合并查询有一个很大的好处能跨盘找同名文件。比如2020年终总结.docx可能同时存在三块盘上路径各不相同但它们确实是同一个文件。你只有在多盘索引里搜索才能快速发现。如果工具支持指定不同的数据库文件你也可以选择“一库一盘”。但我个人不建议这样拆因为跨盘查重时还得合并多个库非常麻烦。除非你有隔离隐私数据的需求否则统一入库更实用。3.3 查找重复文件按大小分组再用哈希确认重复文件判断一般分两步。第一步按文件大小分组。相同大小的文件放到一个组里作为重复候选。这个阶段只读索引表不读文件速度很快。即使是几百万条文件记录SQL 按 size 分组也就几秒钟。第二步对同一大小组内的文件做哈希校验。如果两个文件的 MD5 或 SHA-1 完全一致基本可以认定内容相同。注意这里说的“内容相同”指的是字节级完全相同不是“看起来像同一份文件”。常见命令类似python drive.py duplicates --group-by size --verify hash --output dup_report.csv如果工具只支持快速筛选也建议先跑一个不校验哈希的快速结果看看候选数量多不多。候选组太多时文件哈希计算量大、耗时间长候选组很少时直接哈希校验更快。我自己处理素材盘的经验是照片视频这类文件先看大小再把超过 500MB 的大文件单独哈希校验少于 500MB 的小文件如果大小不同几乎不可能是重复文件可以先跳过大批同类文件。3.4 磁盘占用报告和删除规划索引建立后磁盘占用分析就变成数据库查询问题。你可以按盘、按目录、按文件类型统计占用。大致命令可能类似python drive.py report --top 100 --by path python drive.py report --by type多看几个维度而不是只看“哪块盘最大”。按目录统计能看出哪个项目文件夹膨胀速度最快按类型统计能看出是不是视频文件占了大头。报告还有一种用途提前规划删除不需要把硬盘插上就能确定要删什么。比如报告里显示archive_2020/临时导出目录有 80GB你记得这只是一批中转文件可以直接列出来检查。真正删除前再插上盘找到对应路径执行清理。4. 参数和边界哈希策略、库大小和文件系统差异4.1 快速模式与全量校验怎么选我把这个工具常用参数分为“快速模式”和“校验模式”两类。快速模式适合大范围筛选校验模式适合即将执行删除前确认。模式是否读文件内容速度准确性适用场景仅大小分组不读快只能给出候选第一次全盘筛选缩小范围哈希校验读文件并计算摘要慢高字节级确认准备删除前确认重复路径大小时间不读快中等可能误判了解大致相似性这里有一个常见误解哈希值一致一定代表文件重复。绝大多数情况下确实如此但如果工具采用部分哈希或者文件过大导致校验不完整也会漏判。所以删除前尽量在目标文件管理器里再确认一次路径。4.2 文件数量大时的内存和数据库压力扫描一块装满小文件的硬盘瓶颈通常不是数据库而是目录遍历本身。几万个小文件会让扫描时间显著拉长因为每个文件都要做一次元数据读取Windows 上可能还要解析长路径。索引数据库的大小也要有心理预期。每条文件记录大约会占用几百字节到 1KB一百万个文件数据库可能到几百 MB。对现代硬盘来说不算大但如果你打算做成在线服务或每五分钟自动扫描一次就要谨慎了。降低压力最简单的方法就是缩小扫描范围。把整块盘拆成几个大目录分别扫描后续分析仍然可以合并查询但扫描时可中断、可重试。4.3 网络盘、加密盘和文件系统差异索引工具能不能扫描网络盘取决于实现里是否把网络路径当作普通目录遍历。如果能扫要注意网络盘转移文件后路径失效索引会残留旧路径重扫一遍才能修复。加密盘必须在解锁状态下扫描。加密盘锁定时操作系统里根本看不到文件工具更不可能读到内容。如果你用 VeraCrypt、BitLocker记得先解锁再扫描否则索引里只会留下一个空目录。不同文件系统的差异主要体现在链接文件和权限上。NTFS 的符号链接、macOS 的扩展属性、Linux 的软链接都可能让扫描结果偏离预期。一般工具对特殊文件会跳过或者报权限错误如果你发现某个目录一直在报错大概率是遇到了系统保护目录或链接目录不用太纠结。5. 常见报错与排查顺序5.1 扫描中断或进度丢失碰到的第一个常见问题是扫描中途断开。外接硬盘的 USB 接口不稳定、系统休眠、驱动器自动睡眠都会中断扫描。有些工具会把已扫描的记录即时写入数据库中断后重新扫描只需补剩下的部分有些工具则要求必须从头再扫。遇到这种情况我的排查顺序是先看日志报错时停留在哪个目录、哪个文件上。确认硬盘连接换一个 USB 口关掉系统硬盘节能。看数据库里已有的记录数如果记录在实时增长那重新扫描成本不高。如果工具不支持断点续扫就直接缩小目标目录再扫避免再次中断。不要一口咬定是工具 bug。很多中断是硬件和操作系统的原因先排除环境因素。5.2 重复文件误判和漏判误判指报告里说重复实际不是重复。最常见原因是只用了大小分组没有做哈希校验。两个文件恰好一样大但内容完全不同快速模式就会把它们标成候选。处理办法很简单删除前跑哈希校验。漏判指实际上重复但工具没查出来。最常见的三个原因扫描时文件被占用或没有读取权限导致哈希计算失败。文件在扫描后被修改索引里的信息和实际文件不一致。遇到超大文件扫描进程被中断记录不完整。所以不要把所有信任都放在一次扫描上。重要清理操作前对目标文件再做一次直接对比。5.3 路径、编码、权限问题Windows 下最常见的问题是中文路径和超过 260 字符的长路径。部分 Python 工具直接使用普通文件 API天然处理不了长路径。解决办法是启用 Windows 长路径支持或者在扫描时避开深层目录。CSV 导出打开乱码通常不是工具坏了而是编码问题。中文 Windows 默认 Excel 打开 CSV 经常按 GBK 解析但工具可能输出 UTF-8。用记事本或 VS Code 打开另存为带 BOM 的 UTF-8再放回 Excel 就正常了。这也是很多人在“报告生成成功但打不开”时最容易忽略的问题。权限问题就更直接了工具以普通用户身份运行时访问系统目录会报 Permission denied。如果只是整理个人文件扫描时排除C:\Windows、/System这类目录就好。6. 从单次扫描到定期维护自动化与管理习惯6.1 把扫描做成定时任务如果你的备份盘经常在线可以给扫描加上定时任务。Windows 用任务计划程序macOS 和 Linux 用 cron。但前提是定时任务触发时硬盘确实在线。对完全离线存储的硬盘定时扫描意义不大更适合“插上盘顺便扫一下”的使用习惯。定时任务脚本里建议先检查盘符或挂载点是否存在不存在就跳过避免扫描失败生成一堆没用的日志。加个简单判断比直接执行靠谱得多if [ -d /media/backup1 ]; then python drive.py scan /media/backup1 --name backup1 fi6.2 对比快照知道新增和删除了什么磁盘管理不只是在某一刻看占用更重要的是一段时间内的变化。我的做法是每隔一个月导出一份全量报告对比两次差集能看出哪些数据新增、哪些被删、哪些目录增长最快。如果工具提供快照对比命令直接用。如果没有导出 CSV 后用 Python 脚本自己对比也很快。关键是要保留历史报告不能每次覆盖建议报告文件名带日期python drive.py report --output reports/20250115_disk_report.csv6.3 对非技术用户打包成可执行程序Python 打包成 exe 是很多读者的实际需求放到这个项目上也成立。如果 Drive.py 要分享给不太会命令行的同事可以用 PyInstaller 打包 Windows 可执行文件pip install pyinstaller pyinstaller -F drive.py实际打包时要注意-F单文件模式在运行时需要解压到临时目录启动会更慢如果你有数据库、配置文件建议把配置和数据目录放在 exe 外部。另外 PyInstaller 打包出来的程序容易被杀毒软件误报打包后先在自己机器上运行一遍确认输出正常再分发给别人。7. 落地建议先小盘测试再整库扫描7.1 第一次运行建议先扫一个目录无论工具宣传得多好第一次使用都别上来就扫整块 4TB 硬盘。找一个几百 MB 或 1GB 的小目录确认扫描、查询、报告生成全部正常再扩大范围。这个习惯能省掉大量排查时间。小目录测试时重点看三样东西索引里有没有正确记录文件数量和总大小重复文件查询能不能返回结果报告有没有生成成功。都正常说明工具本身没问题接下来可以放心扫描正式数据。7.2 删除文件前先做安全确认磁盘管理工具最怕的不是扫描慢而是误删。我看到很多工具提供“删除重复文件”功能但我的建议永远是不要直接在工具里批量删除。先导出重复文件清单人工检查一遍路径再用文件管理器或移动到回收站的方式处理。如果你的系统支持删除前可以先把目标文件移动到单独的待清理目录放上几天确认没有程序依赖再彻底清理。这个流程比任何“智能清理”都安全。7.3 我的个人使用顺序最后整理一下我自己使用这类工具的完整顺序给第一次上手的人参考安装 Python创建虚拟环境安装依赖。初始化数据库放在系统盘工作目录。接上一块硬盘用--name标记盘名做一次扫描。扫描完成后立即查询统计确认索引正常。重复扫描其他硬盘统一写入同一个数据库。用快速模式跑重复文件候选导出 CSV。对候选文件执行哈希校验确认真正重复。生成按目录、按类型的磁盘占用报告标记可清理项。只在真正需要删除时接上对应硬盘人工确认后清理。这个顺序的核心逻辑是扫描是最重的操作集中在可接受的时段做查询和分析是轻量操作随时做删除是危险操作留到最后人工确认。踩过几次之后我发现很多问题不是工具能力不够而是前置环境和输入材料没有处理干净。把磁盘命名、扫描范围、数据库位置、报告归档这几件事提前理顺Drive.py 这类工具才能真正变成一块硬盘一块硬盘的资产管理台账。如果你手里正好有几块长期吃灰的移动硬盘不妨先从一个小目录开始试把索引建起来过一个月再回来看报告你会明显感觉到磁盘空间管理不再靠猜。