上篇学习了熵交叉熵相对熵KL散度在机器学习、深度学习中KL散度常用于变分自编码器中(Variational AutoEncoder,简称VAE)、EM算法、GAN网络中。KL散度定义KL散度的定义是建立在熵Entropy的基础上的此处以离散随机变量为例子先给出熵的定义再给出KL散度的定义若一个离散随机变量X的可能取值为X{x1,x2,⋯,xn}而对应的概率Pip(Xxi),则随机变量X的熵定义为规定当p(xi)0时,p(xi)logp(xi)0若有两个随机变量P,Q且概率分布分别为且概率分布分别为p(x)、q(x)则p相对q的相对熵为之所以称为相对熵是因为可以通过两随机变量的交叉熵以及信息熵推导得到针对上述离散变量的概率分布p(x)、q(x)而言其交叉熵定义为在信息论中交叉熵可认为是对预测分布q(x)用真实分布p(x)来进行编码时所需要的信息量大小。因此KL散度或相对熵可通过下式得出KL散度具有的性质正定性和不对称性这个在上一个文章中有写这里就不写了从不同角度解读KL散度的定义统计学上的KL散度定义从统计学来看KL散度是衡量两个分布的差异程度。二者差异越小KL散度越小。在二者分布完全相等的时候,KL散度为0.正是因为其可以衡量两个分布之间的差异所以在VAE、EM、GAN中均有使用到KL散度。信息论角度的KL散度KL散度在信息论中的专业术语为相对熵。其可理解为编码系统对信息进行编码时所需要的平均附加信息量。其中信息量的单位随着计算公式中loglog运算的底数而变化。好的接下来我们来看如果是连续型随机变量的话,KL散度应该如何推导这两个我对于连续型如何推导打算写一个帖子