交叉熵

✍ dations ◷ 2025-07-09 15:25:10 #信息学熵

在信息论中,基于相同事件测度的两个概率分布 p {\displaystyle p} 相对于的)。

对于离散分布 p {\displaystyle p} q {\displaystyle q} ,这意味着:

对于连续分布也是类似的。我们假设 p {\displaystyle p} q {\displaystyle q} 在测度 r {\displaystyle r} 上是绝对连续的(通常 r {\displaystyle r} 是Lebesgue measure on a Borel σ-algebra)。设 P {\displaystyle P} Q {\displaystyle Q} 分别为 p {\displaystyle p} q {\displaystyle q} 在测度 r {\displaystyle r} 上概率密度函数。则

在信息论中, 以直接可解编码模式通过值 x i {\displaystyle x_{i}} 编码一个信息片段,使其能在所有可能的 X {\displaystyle X} 集合中唯一标识该信息片段,Kraft–McMillan theorem确保这一过程可以被看作一种 X {\displaystyle X} 上的隐式概率分布 q ( x i ) = 2 l i {\displaystyle q(x_{i})=2^{-l_{i}}} ,从而使得 l i {\displaystyle l_{i}} x i {\displaystyle x_{i}} 的编码位长度。 因此, 交叉熵可以看作每个信息片段在错误分布 Q {\displaystyle Q} 下的期望编码位长度,而信息实际分布为 P {\displaystyle P} 。这就是期望 E p {\displaystyle {E}_{p}} 是基于 P {\displaystyle P} 而不是 Q {\displaystyle Q} 的原因。

在大多数情况下,我们需要在不知道分布 p {\displaystyle p} 的情况下计算其交叉熵。例如在语言模型中, 我们基于训练集 T {\displaystyle T} 创建了一个语言模型, 而在测试集合上通过其交叉熵来评估该模型的准确率。 p {\displaystyle p} 是语料中词汇的真实分布,而 q {\displaystyle q} 是我们获得的语言模型预测的词汇分布。由于真实分布是未知的,我们不能直接计算交叉熵。在这种情况下,我们可以通过下式来估计交叉熵:

N {\displaystyle N} 是测试集大小, q ( x ) {\displaystyle q(x)} 是在训练集上估计的事件 x {\displaystyle x} 发生的概率。我们假设训练集是从 p ( x ) {\displaystyle p(x)} 的真实采样,则此方法获得的是真实交叉熵的蒙特卡洛估计。

相关

  • 待分类的广泛性发展障碍待分类的广泛性发展障碍(Pervasive Developmental Disorder Not Otherwise Specified;简称PDD-NOS),亦作非典型自闭症,泛指一般有自闭症倾向,但不能透过其特征而归类为更具体的
  • 外兴安岭斯塔诺夫山脉(俄语:Становой хребет),中文名外兴安岭(满语:ᡥᡳᠩᡴᠠᠨ ᠠᠯᡳᠨ,穆麟德:hingkan alin),是俄罗斯远东联邦管区的一个山脉,位于黑龙江以北,阿穆尔州北端,穿
  • 间隙缺陷间隙缺陷是点缺陷的一种,指代的是一个原子占据了晶体晶格中本不应该存在原子的位置,或是两个或者更多的原子共同分享一个或者多个晶格格位,但这些原子的数量总是大于其所占的晶
  • Clsub2/subOsub2/sub二氧化二氯是一种氯的氧化物,是大气层中氟利昂参与光化学反应的中间体之一,可由两个一氧化氯自由基结合而形成。
  • 满汉文化交流满汉文化指满族文化经过汉族文化冲突与融合之后所产生各具两族特色的清代文化,大部分情况下亦指清朝文化之实体,并且延续影响民国建立之后。三百多前,满族(女真)文化就开始了由原
  • 自我决定论自我决定论(英语:Self-determination theory,简称SDT)是一个有关于人类个性与动机的理论,考量到个人与生俱来的天赋资质与心理需求。 主旨在探讨人发自内心的动机,排除外在诱因与
  • 澳大利亚国家男子篮球队澳洲篮球国家队(英语:Australia national basketball team),是代表澳洲参加国际篮球赛事的篮球国家队。澳洲是世界篮坛强队之一,经常能够取得参加奥运会及世锦赛的资格。他们在
  • 氯化镍二氯化镍,是化学式为NiCl2的化合物。无水二氯化镍为黄色,但它在自然界中很少见,仅在水氯镍石这样的矿石中可以发现,而更为人们所熟悉的是绿色的六水合二氯化镍(NiCl2·6H2O)。二氯
  • 菝葜属菝葜属(学名:),又名牛尾菜属,是菝葜科下的一个属,为攀援状灌木植物。该属共有约300种,分布于热带和亚热带地区。
  • 小阿尔克谢·盖尔曼小阿尔克谢·阿列克谢维奇·盖尔曼(俄语:Алексей Алексеевич Герман;1976年9月4日-)是俄罗斯电影导演。小阿尔克谢·盖尔曼的父亲为苏联电影工作者阿尔克