交叉熵

在信息论中，基于相同事件测度的两个概率分布${\displaystyle p}$相对于的)。

对于离散分布${\displaystyle p}$和${\displaystyle q}$，这意味着：

对于连续分布也是类似的。我们假设${\displaystyle p}$和${\displaystyle q}$在测度 ${\displaystyle r}$上是绝对连续的(通常 ${\displaystyle r}$是Lebesgue measure on a Borel σ-algebra)。设${\displaystyle P}$和${\displaystyle Q}$分别为${\displaystyle p}$的${\displaystyle q}$在测度 ${\displaystyle r}$上概率密度函数。则

在信息论中, 以直接可解编码模式通过值${\displaystyle x_i}$编码一个信息片段，使其能在所有可能的${\displaystyle X}$集合中唯一标识该信息片段，Kraft–McMillan theorem确保这一过程可以被看作一种${\displaystyle X}$上的隐式概率分布${\displaystyle q(x_i)=2^{-<!--\; -\; -->l_i}}$，从而使得${\displaystyle l_i}$是${\displaystyle x_i}$的编码位长度。 因此, 交叉熵可以看作每个信息片段在错误分布${\displaystyle Q}$下的期望编码位长度，而信息实际分布为${\displaystyle P}$。这就是期望${\displaystyle E_p}$是基于${\displaystyle P}$而不是${\displaystyle Q}$的原因。

在大多数情况下，我们需要在不知道分布${\displaystyle p}$的情况下计算其交叉熵。例如在语言模型中, 我们基于训练集${\displaystyle T}$创建了一个语言模型, 而在测试集合上通过其交叉熵来评估该模型的准确率。${\displaystyle p}$是语料中词汇的真实分布，而${\displaystyle q}$是我们获得的语言模型预测的词汇分布。由于真实分布是未知的，我们不能直接计算交叉熵。在这种情况下，我们可以通过下式来估计交叉熵:

${\displaystyle N}$是测试集大小，${\displaystyle q(x)}$是在训练集上估计的事件${\displaystyle x}$发生的概率。我们假设训练集是从${\displaystyle p(x)}$的真实采样，则此方法获得的是真实交叉熵的蒙特卡洛估计。