《信息论基础》第三章学习笔记（3.4–3.6）

《信息论基础》第三章学习笔记3.4–3.6参考教材翟明岳《信息论基础》清华大学出版社版权声明本文为个人课程学习总结所有内容均为个人理解、重新语言梳理整理无教材原文摘抄仅用于学习交流禁止任何商业用途。专业概念版权归原作者及出版社所有。如有侵权问题可联系删除。在上一节中我们掌握了最简单的离散单符号信源模型。但在实际的通信场景中信源输出往往不是单个独立符号而是一串连续的符号序列。第三章3.4、3.5、3.6小节依次拓展了无记忆扩展信源、离散平稳信源、马尔可夫信源三种进阶模型从简单独立序列过渡到有关联、有记忆的真实信源完善了离散信源的整套分析体系是信源编码学习的重要铺垫。3.4 离散无记忆扩展信源离散单符号信源只能描述单次输出的符号无法描述连续传输的符号组因此教材引入了扩展信源的概念。离散无记忆N次扩展信源就是将原始单符号信源连续输出N个符号组合成一个新的复合符号序列。这类信源的核心特点是无记忆性。序列里的每一个符号输出概率都互不影响、相互独立完全继承原始信源的概率分布不会因为前后符号变化改变自身概率。简单来说扩展信源只是把单个符号批量组合符号之间依旧没有关联性。在信息度量上扩展信源的熵有着固定规律。N次扩展信源的总熵等于原始单符号信源熵的N倍。这个性质极大简化了计算不用单独计算每一组序列的信息量直接通过基础熵值就能推算出序列整体的平均信息量。该小节让我们学会批量分析符号序列为后续信源压缩、编码效率计算打下基础。3.5 离散平稳信源现实中绝大多数信源都不是完全无记忆的比如文字、语音序列前后符号存在固定关联为此教材引入了离散平稳信源模型用来描述有记忆、但统计特性稳定的信源。平稳信源的核心定义是统计平稳性信源输出符号的概率分布、关联规律不会随着时间推移发生改变。无论从哪个时刻截取符号序列它的概率特性、平均不确定性都是一致的。和无记忆信源最大的区别是平稳信源前后符号存在依赖关系前序符号会影响后序符号的出现概率。本节重点区分了平稳信源的熵特性。因为符号存在关联性后一个符号的不确定性会被前序符号降低所以平稳信源的平均符号熵会小于无记忆扩展信源的符号熵。符号关联性越强冗余信息越多单位符号承载的有效信息量就越少。同时教材引入了极限熵的概念用来描述符号长度趋于无穷时平稳信源最终稳定的平均信息量。极限熵是衡量平稳有记忆信源信息效率的核心指标也是后续判断信源压缩极限的重要依据。3.6 马尔可夫信源马尔可夫信源是平稳有记忆信源中最常用、最贴近实际的模型也是本章重难点。普通平稳信源只知道符号有关联而马尔可夫信源精准定义了关联规则信源下一时刻的符号只和最近有限个符号有关和更早的符号无关。最基础的是一阶马尔可夫信源即当前符号仅由前一个符号决定更早的历史符号不产生任何影响。这种特性被称为“无后效性”完美适配日常文本、语音、编码序列的规律是工程中应用最广的信源模型。本节核心学习了马尔可夫信源的状态与状态转移。信源的每一个符号对应一个状态符号的交替输出就是状态的不断转移且所有状态转移概率固定不变保证了信源的平稳特性。依托转移概率我们可以精准计算条件熵、稳态熵量化有记忆信源的不确定性。对比前面的信源模型马尔可夫信源弥补了无记忆模型脱离实际的缺陷用有限记忆简化了复杂信源的计算难度兼顾了真实性和可计算性。章节小节总结3.4至3.6三节内容层层递进完成了信源模型的完整升级。从无记忆扩展信源的独立符号序列到离散平稳信源的整体记忆特性最后落地到马尔可夫信源的精准状态关联模型逐步贴合真实通信场景。整体逻辑非常清晰无记忆扩展信源解决了“批量符号计算”的问题平稳信源引入了“符号关联”的真实特性马尔可夫信源给出了“量化关联规律”的可行方法。这三类信源的熵值变化规律是核心考点——符号关联性越强信源冗余越大有效信息量越少可压缩空间也就越大。