大文件 MD5 校验又慢又吃内存？用 SparkMD5 增量计算 5 分钟搞定
大文件 MD5 校验又慢又吃内存用 SparkMD5 增量计算 5 分钟搞定【免费下载链接】js-spark-md5Lightning fast normal and incremental md5 for javascript项目地址: https://gitcode.com/gh_mirrors/js/js-spark-md5SparkMD5 是一个基于 JKM MD5 算法优化的 JavaScript 库核心能力是快速与增量两种模式下的 MD5 计算浏览器与 Node.js 通用尤其适合大文件校验、分片上传等内存敏感场景。下面我用一个真实的工作流带你把它用起来。先看一个让人头疼的场景假设你要给一个 2GB 的视频文件算 MD5 用于上传校验。最直觉的写法是FileReader.readAsArrayBuffer(file)把整个文件一次性读进内存——浏览器瞬间多占 2GB 内存轻则卡顿重则直接崩溃即便在 Node 里fs.readFile同样会把你宝贵的服务端内存掏空。问题的根源在于MD5 根本不关心你一次喂给它多少数据。它本质上是把数据切成 64 字节的块滚动计算最后拼出一个 32 位十六进制串。既然如此为什么不边读边算呢SparkMD5 的增量模式干的就是这件事内存占用恒定文件多大都不慌。它凭什么快且省与其听我吹不如看几个硬数字关注点SparkMD5 的做法对你意味着什么体积压缩版约 10KB单文件零依赖一个script标签就能引入速度源自 JKM MD5曾被 jsperf 评为最快的 JS 实现普通字符串秒出结果内存增量模式按 2MB 分块喂入2GB 文件占用仍只有几 MB兼容CommonJS / AMD / 浏览器全局 / Web Worker 全支持一套代码两端跑能力自动 UTF8 转换、getState/setState断点续算结果与服务端算法对齐可做断点续传其中增量模式是最值钱的设计append()只管收数据算到一半也不怕end()时才收尾。配合getState()还能把中间状态存下来下次从断点继续——这在弱网环境下做超大文件上传时是救命功能。5 分钟快速上手两种模式的极简用法先安装npm install spark-md5模式一一次性算完整字符串var SparkMD5 require(spark-md5); var hexHash SparkMD5.hash(Hi there); console.log(hexHash); // 输出: d9385462d3deff78c352ebb3f941ce12模式二增量计算重点var spark new SparkMD5(); spark.append(Hello, ); spark.append(World!); var hexHash spark.end(); console.log(hexHash); // 输出: 65a8e27d8879283831b664bd8b7f0ad4看到没核心就三个方法append()喂数据、end()出结果、reset()重置。浏览器里直接用script srcspark-md5.min.js/script引入后全局会挂一个SparkMD5对象用法完全一致。实战拆解分片上传前的 MD5 校验这是 SparkMD5 最典型的应用上传大文件前前端分片读文件、算 MD5发给后端做秒传/去重判断。完整代码如下直接复制即可跑通document.getElementById(file).addEventListener(change, function () { var file this.files[0], chunkSize 2 * 1024 * 1024, // 每片 2MB内存友好的关键 chunks Math.ceil(file.size / chunkSize), currentChunk 0, spark new SparkMD5.ArrayBuffer(), // ArrayBuffer 模式专门处理二进制 fileReader new FileReader(); function loadNext() { var start currentChunk * chunkSize, end Math.min(start chunkSize, file.size); fileReader.readAsArrayBuffer(file.slice(start, end)); // 只读一片 } fileReader.onload function (e) { console.log(正在读取第 (currentChunk 1) / chunks 片); spark.append(e.target.result); // 算完这片立即丢弃内存不累积 currentChunk; if (currentChunk chunks) { loadNext(); } else { console.log(文件 MD5:, spark.end()); // 全部算完输出最终值 } }; fileReader.onerror function () { console.warn(读取文件失败); }; loadNext(); });每一步在解决什么问题说透chunkSize 2MB让内存占用封顶在一片的大小而不是整个文件SparkMD5.ArrayBufferFileReader 读出来的是 ArrayBuffer用对应模式避免类型转换开销file.slice(start, end)浏览器原生分片 API不整读文件spark.append()后不缓存上一片的数据被消化进内部状态随即被 GC 回收。如果是在 Node 端给命令行工具或后端服务算校验值套路同样只是把 FileReader 换成流var spark new SparkMD5.ArrayBuffer(), stream fs.createReadStream(video.mp4, { highWaterMark: 256 * 1024 }); stream.on(data, function (chunk) { spark.append(chunk); }); stream.on(end, function () { console.log(spark.end()); });避坑指南 FAQ新手最容易踩的坑我按杀伤力排序end()之后再append()无效。end()是收尾操作想重新算必须先reset()或者直接new一个新的实例。中文内容结果对不上。SparkMD5 会自动把字符串转 UTF8这通常是对的但如果你自己先encodeURIComponent或手动转字节再传入就会造成双重编码结果和服务端不一致。统一用库的默认行为别手动转。Chrome 的file://限制。用本地 HTML 文件测分片读取时Chrome 默认禁止本地文件访问报错先别怀疑代码改用本地静态服务器或给 Chrome 加--allow-file-access-from-files启动参数。Firebug 开着测性能不准。README 特意提醒过调试工具会吃掉大量内存和 CPU基准测试请关掉它。FAQQ算出来的 MD5 和在线工具不一样A九成是输入编码不一致检查你喂进去的是不是原始字节以及有没有做多余的编码转换。Qend(true)是什么A返回原始二进制串raw hash而非十六进制串需要拿原始字节做进一步处理时才用。Q文件传一半断了怎么办A用getState()保存中间状态下次用setState(state)恢复继续append()剩余分片即可无需重算。想验证结果的正确性可以看项目的单元测试 test/specs.js里面覆盖了字符串、二进制串、ArrayBuffer 三种输入的已知答案比对分片读文件的完整示例在 test/file_reader.html。另外destroy()方法可以在大量计算后手动释放内部缓冲区长驻页面里记得调用。一句话总结如果你要处理大文件、分片上传、流式计算这类内存敏感的 MD5 场景SparkMD5 是浏览器端的首选但如果你只在 Node 后端算几个小字符串、又特别在意性能Node 自带的crypto模块或许更省事——选型就这么简单。【免费下载链接】js-spark-md5Lightning fast normal and incremental md5 for javascript项目地址: https://gitcode.com/gh_mirrors/js/js-spark-md5创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
