无损压缩算法完整教程：哈夫曼编码与游程编码从原理到实战
无损压缩算法完整教程哈夫曼编码与游程编码从原理到实战【免费下载链接】leetcodeLeetCode Solutions: A Record of My Problem Solving Journey.( leetcode题解记录自己的leetcode解题之路。)项目地址: https://gitcode.com/gh_mirrors/le/leetcode你有没有遇到过这种尴尬一张手机截图动辄好几 MB邮件附件传半天还是转圈一个满是重复字段的日志文件把服务器磁盘塞得满满当当。想要压缩却担心数据丢失——这时候无损压缩算法就是你的救星。它能在解压后 100% 还原原始数据是 PNG、GIF、PDF、ZIP 等格式共同的基石。这篇文章专为新手设计不堆公式、不绕弯子带你用一个下午的时间把无损压缩里最经典的两招——游程编码RLE和哈夫曼编码Huffman从原理到实战彻底吃透。一个真实场景传不出去的大文件假设你在运营一个每日一图项目每天要上传几百张 BMP 格式的截图。BMP 是未经压缩的原始位图一张 1920×1080 的纯色界面截图就能轻松突破 5 MB。服务器快满了用户打开图片也卡。你想压缩但截图里的文字、数字一个都不能少——这就是典型的无损需求。先分清两种压缩有损压缩如 JPEG通过丢弃人眼不易察觉的细节换体积适合照片无损压缩则保证解压后与原数据分毫不差适合文字、程序、图纸等不允许失真的内容。我们这篇文章讨论的全部属于后者。那么问题来了无损压缩算法到底靠什么把数据变瘦观察真实数据你会发现冗余通常来自两个地方空间冗余字符紧挨着连续重复比如AAAAA频率冗余某些字符出现极多、某些极少比如英文文本里e远多于z。两个问题两把武器——对应游程编码和哈夫曼编码。我们逐个来拆。第一件武器游程编码——把紧挨着的重复折叠起来先想一个生活场景旅行打包行李时你绝不会把 5 双白袜散着丢进箱子而是叠成一摞心里记着这里有 5 双。游程编码的思路完全一样——与其写下 5 个相同的字符不如只写次数 字符。原始数据AAAAABBBBCCC 压缩结果5A4B3C5A表示连续 5 个 A4B表示连续 4 个 B3C表示连续 3 个 C。原来的 12 个字符被压缩到 6 个体积直接砍半。是不是很简单哪些场景最适合游程压缩游程编码的压缩效果完全取决于连续重复的密度。下面这些数据是它的天然主场典型场景为什么效果好大面积纯色的 BMP 图像一条扫描线可能全是同一种颜色传感器采集的连续数据数值长时间不变重复成串出现扫描的纯文本文档大片空白区域可以表示为次数空格传真图像黑白页面的长串同色像素极多这里有个易错点它也有失灵的时候如果数据根本不连续重复比如ABABABAB压缩后会变成1A1B1A1B1A1B1A1B反而膨胀了一倍。所以游程编码适合成串重复不适合交替排列。判断标准很简单先看数据里连续重复的部分占比高不高。第二件武器哈夫曼编码——给高频字符开小灶如果说游程编码靠折叠重复省钱那哈夫曼编码靠的是**按需分配**。请想象你的书架最常读的书你会放在伸手就够到的那一层一年才翻一次的旧书就塞进最高处。哈夫曼编码的原理一模一样——高频字符用最短的编码低频字符用最长的编码从而把整段数据的平均编码长度压到最低。它是一种可变长度编码而 ASCII 之类的固定长度编码无论字符多常见都一视同仁地占 8 位浪费了大量空间。3步构建最优编码树哈夫曼编码的实现可以拆成清晰的三步统计频率数一遍每个字符在数据里出现了多少次反复合并最小节点把每个字符当成一棵只有一个节点的树每次挑出权值最小的两棵合并成一棵新树父节点权值两者之和重复直到只剩一棵树。为了高效取出最小值通常用最小堆优先队列来做遍历生成编码从根出发走左子树记 0、走右子树记 1走到某个字符所在的叶节点时这条路径就是它的二进制编码。下面举个具体例子。假设我们统计出某段文本中字符频率如下字符频率a5b9c12d13e16f45按上面的步骤反复合并最小的两棵节点就能得到一棵最优二叉树哈夫曼树最终每个字符被分配到的编码是字符频率编码a51100b91101c12100d13101e16111f450看到没出现频率最高的f只用了 1 位而最罕见的a用了 4 位。我们来算一笔账如果固定用 3 位编码表示这 6 个字符100 个字符要 300 位用哈夫曼编码平均每个字符只需(5×4 9×4 12×3 13×3 16×3 45×1) ÷ 100 2.24位整体节省约 25%。频率分布越悬殊收益越明显。为什么编码不会串台前缀编码来保证你可能好奇f的编码是0c的编码是100解码时遇到连续的100怎么确定该读成f 别的东西还是c答案是哈夫曼树把每个字符都放在叶节点上所以任何一个字符的编码都不可能是另一个字符编码的前缀。这种前缀编码保证了解码结果唯一不会有歧义——这也是莫尔斯电码需要停顿符而哈夫曼不需要的根本原因。两把武器如何选一张表看懂差异对比维度游程编码哈夫曼编码核心思想折叠连续重复压缩频率不均实现难度极低几行代码中等需要建树擅长数据成串重复大色块、连续信号频率分布悬殊自然语言、日志明显弱点数据交替排列时反而膨胀需要额外存储频率表/树结构是否无损是是一句话总结看到成串重复想游程看到有的字符特别多想哈夫曼。但真实世界的数据往往两种冗余同时存在于是就有了第三招——组合拳。组合拳先游程、后哈夫曼的双重压缩实战中成熟的无损压缩算法几乎从不单打独斗而是采用双重压缩流水线第一遍游程编码先把AAAAABBBBCCC变成5A4B3C消除空间冗余第二遍哈夫曼编码再对游程编码的结果按频率重新分配编码长度消除频率冗余。两道工序处理的是不同层面的冗余所以效果可以叠加。几乎所有主流无损格式都在走这条路线PNG 使用 Deflate其内部就包含哈夫曼编码思想并对扫描线做了类似游程的预处理、GIF 使用 LZW、PDF 和 ZIP 也内嵌了哈夫曼变体。这也是为什么它们被称为无损压缩的黄金组合。动手练LeetCode 900 题RLE 迭代器纸上得来终觉浅我们用一道真实题目来巩固游程编码。LeetCode 第 900 题RLE 迭代器要求你实现一个遍历游程编码序列的迭代器数组A中成对存放数据偶数下标记录重复次数相邻下标记录数值本身。比如A [3, 8, 0, 9, 2, 5]它表示的原始序列是[8, 8, 8, 5, 5]——三个 8零个 9两个 5。迭代器每次调用next(n)要消耗接下来的n个元素并返回最后一个被消耗的值不够就返回-1。所以next(2)→ 8next(1)→ 8next(1)→ 5next(2)→ -1这道题的巧妙之处在于不要真的把序列展开而是维护一个指针在A上跳跃移动。这样哪怕原始序列长达百万级内存占用也恒定真正体现了游程编码用元数据代替数据的威力。完整的题目分析和参考代码都在 problems/900.rle-iterator.md 里。总结与下一步行动回顾一下我们今天掌握的要点无损压缩算法靠识别数据冗余来瘦身两大主力分别是——游程编码用次数字符折叠连续重复简单高效但怕交替数据哈夫曼编码用短码配高频、长码配低频通过最优二叉树实现前缀编码、无歧义解码两者组合成先游程、后哈夫曼的双重压缩正是 PNG、GIF、ZIP 等格式背后的通用配方。学完之后你可以立刻做这几件事来巩固通读 thinkings/run-length-encode-and-huffman-encode.md这里有更完整的算法分析与扩展讨论在本地把 LeetCode 900 题独立做一遍体验迭代器写法动手写一个迷你版文件压缩器先用游程编码处理你的日志文件再对结果做哈夫曼编码亲手对比压缩前后的字节数拿一个 PNG 文件用查看器拆开它的数据块验证一下先游程、后哈夫曼的压缩链路。做完这些你就不仅能看懂压缩工具的工作原理还能为实际场景挑选合适的压缩策略——甚至在面试中把什么是哈夫曼树游程编码适合什么数据这类问题答得头头是道。现在就打开编辑器开始你的压缩算法实战吧【免费下载链接】leetcodeLeetCode Solutions: A Record of My Problem Solving Journey.( leetcode题解记录自己的leetcode解题之路。)项目地址: https://gitcode.com/gh_mirrors/le/leetcode创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
)
)
