1. 信息量不确定性的量化信息量是信息论中最基础的概念它衡量了一个事件发生时所携带的信息多少。举个生活中的例子如果天气预报说明天会下雨这在干旱地区是一个重大消息信息量大而在雨季则是稀松平常的事信息量小。从数学上看信息量定义为I(x) -log p(x)这个公式揭示了事件概率与信息量的反比关系。当p(x)1必然事件时信息量为0当p(x)→0时信息量趋近于无穷大。就像开篇的三门问题主持人打开一扇门后剩余门的中奖概率从1/3骤升到2/3这个变化带来了巨大的信息量。在编码理论中信息量对应着最优编码长度。假设我们要对字母A出现概率1/2、B1/4、C1/8、D1/8进行二进制编码A只需要1位0B需要2位10C和D需要3位110和111 这就是著名的哈夫曼编码每个符号的编码长度正好等于其信息量。2. 信息熵系统的混乱程度信息熵是信息量的期望值表示整个系统的不确定性。对于离散随机变量X其熵定义为H(X) -Σ p(x)log p(x)熵的性质非常有趣当所有事件等概率时熵最大最不确定当某个事件概率为1时熵为0完全确定对于n个可能的事件熵的范围是[0, logn]举个例子一个公平的骰子的熵是log6≈2.585而一个作弊骰子某个数字概率50%的熵会低很多。在机器学习中我们常用熵来衡量数据集的纯度——熵越高意味着分类越不确定。3. 条件熵与信息增益条件熵H(Y|X)表示在已知随机变量X的条件下Y的不确定性。它与信息熵的关系是H(Y|X) H(X,Y) - H(X)这个公式直观理解就是联合熵减去X的熵等于在X已知时Y的剩余不确定性。信息增益则是熵的减少量IG(Y|X) H(Y) - H(Y|X)它衡量了特征X对预测Y的贡献程度。决策树算法如ID3正是用信息增益来选择划分特征的。比如在判断是否打网球的例子中湿度特征可能比风速带来更大的信息增益。4. 互信息变量间的依赖关系互信息I(X;Y)衡量两个随机变量的依赖程度I(X;Y) H(X) - H(X|Y) H(Y) - H(Y|X)它的性质包括当X和Y独立时I(X;Y)0对称性I(X;Y)I(Y;X)非负性I(X;Y)≥0在特征选择中互信息可以找出与目标变量最相关的特征。比如在文本分类中计算每个词与类别的互信息选择值最高的那些词作为特征。5. 交叉熵与KL散度交叉熵H(p,q)是用分布q的最佳编码来编码分布p时的期望长度H(p,q) -Σ p(x)log q(x)而KL散度相对熵衡量两个分布的差异DKL(p||q) H(p,q) - H(p)它们的关系如下图所示 [熵、交叉熵与KL散度的关系示意图]在机器学习中交叉熵常被用作损失函数。比如分类任务中p是真实标签的one-hot分布q是模型预测的softmax输出 最小化交叉熵等价于最大化似然估计。6. JS散度对称的分布距离JS散度解决了KL散度不对称的问题JS(p||q) 1/2 DKL(p||(pq)/2) 1/2 DKL(q||(pq)/2)它的取值范围是[0,1]在GAN等生成模型中非常有用。不过当两个分布完全不重叠时JS散度会饱和这时Wasserstein距离可能是更好的选择。7. 实际应用案例模型评估交叉熵损失函数在分类任务中的表现通常优于MSE特征选择互信息可以过滤掉无关特征提高模型效率文本分析TF-IDF算法本质上是KL散度的应用生成模型GAN使用JS散度WGAN使用Wasserstein距离决策树ID3算法使用信息增益C4.5使用信息增益比在NLP领域这些概念尤为重要。比如机器翻译中BLEU分数与交叉熵结合可以更好地评估翻译质量在词向量训练中负采样本质上是在优化互信息的下界。