交叉熵

✍ dations ◷ 2025-04-03 17:07:57 #信息学熵

在信息论中,基于相同事件测度的两个概率分布 p {\displaystyle p} 相对于的)。

对于离散分布 p {\displaystyle p} q {\displaystyle q} ,这意味着:

对于连续分布也是类似的。我们假设 p {\displaystyle p} q {\displaystyle q} 在测度 r {\displaystyle r} 上是绝对连续的(通常 r {\displaystyle r} 是Lebesgue measure on a Borel σ-algebra)。设 P {\displaystyle P} Q {\displaystyle Q} 分别为 p {\displaystyle p} q {\displaystyle q} 在测度 r {\displaystyle r} 上概率密度函数。则

在信息论中, 以直接可解编码模式通过值 x i {\displaystyle x_{i}} 编码一个信息片段,使其能在所有可能的 X {\displaystyle X} 集合中唯一标识该信息片段,Kraft–McMillan theorem确保这一过程可以被看作一种 X {\displaystyle X} 上的隐式概率分布 q ( x i ) = 2 l i {\displaystyle q(x_{i})=2^{-l_{i}}} ,从而使得 l i {\displaystyle l_{i}} x i {\displaystyle x_{i}} 的编码位长度。 因此, 交叉熵可以看作每个信息片段在错误分布 Q {\displaystyle Q} 下的期望编码位长度,而信息实际分布为 P {\displaystyle P} 。这就是期望 E p {\displaystyle {E}_{p}} 是基于 P {\displaystyle P} 而不是 Q {\displaystyle Q} 的原因。

在大多数情况下,我们需要在不知道分布 p {\displaystyle p} 的情况下计算其交叉熵。例如在语言模型中, 我们基于训练集 T {\displaystyle T} 创建了一个语言模型, 而在测试集合上通过其交叉熵来评估该模型的准确率。 p {\displaystyle p} 是语料中词汇的真实分布,而 q {\displaystyle q} 是我们获得的语言模型预测的词汇分布。由于真实分布是未知的,我们不能直接计算交叉熵。在这种情况下,我们可以通过下式来估计交叉熵:

N {\displaystyle N} 是测试集大小, q ( x ) {\displaystyle q(x)} 是在训练集上估计的事件 x {\displaystyle x} 发生的概率。我们假设训练集是从 p ( x ) {\displaystyle p(x)} 的真实采样,则此方法获得的是真实交叉熵的蒙特卡洛估计。

相关

  • 开放阅读框架开放阅读框(英语:Open reading frame;缩写:ORF;其他译名:开放阅读框架、开放读架等)是指在给定的阅读框架中,不包含终止密码子的一串序列。这段序列是生物个体的基因组中,可能作为蛋
  • 遗传系谱学遗传系谱学或称遗传家谱学(英语:genetic genealogy)是应用遗传学来研究传统的家谱学。利用DNA的分析,建立出个体之间的系谱关系。可用于追溯母系或父系祖先、民族起源、生物地理
  • 旗舰旗舰(英语:Flagship)亦称指挥舰,是海军舰队、海上舰艇编队的指挥所,或是舰队、编队司令官所在的舰。由于海军传统,会把本舰指挥官官职旗(英语:rank flag)悬挂于桅杆,而舰队司令官也有
  • 龚昌德龚昌德(1932年7月19日-),江苏南京人,中国物理学家。曾任南京大学教授、南京大学理学院院长。长期从事固体物理的理论研究。现任浙江师范大学数理信息学院,全职教授、海峡两岸统计
  • 减毒病毒减毒活病毒(英语:attenuated virus,又译弱化病毒)是指致病性被削弱的病毒,这些病毒在毒性降低的同时,仍保有活性,也就是并未被杀死。制造这类病毒的主要目的是为了生产疫苗。与其相
  • 兽医学系兽医学系是隶属于农学院或是兽医学院下的一个科系,以培养动物方面的医疗人才和基础兽医研究人员为目标。由兽医学系毕业的学生通过国家考试取得兽医资格后,往临床医学方面,可到
  • 尤里·奥尔洛夫尤里·费奥多罗维奇·奥尔洛夫(俄语:Юрий Фёдорович Орлов,英语:Yuri Feodorovich Orlov,1924年8月13日-)生于苏俄莫斯科,是康乃尔大学物理学与政府学教授,前苏联
  • Stand Up (BIGBANG迷你专辑)《Stand Up》是韩国男子音乐组合BIGBANG推出的第三张韩语迷你专辑,由YG娱乐制作发布,在2008年8月8日正式发行。专辑至今已累积超过20万张的销售量,其中收录的主打曲〈一天一天(
  • Lucid Dream《Lucid Dream》(韩语:루시드 드림)是2017年2月22日上映的一部韩国悬疑片,讲述一名为了守护家园的父亲,透过梦中助手的帮助,找到绑架儿子的犯人及其犯罪线索的故事。
  • 佩约·博伊奇诺夫佩约·博伊奇诺夫(保加利亚语:Пейо Бойчинов),保加利亚男子羽毛球运动员。2016年8月,希肖夫与亚历克斯·弗拉尔合作出战保加利亚羽毛球公开赛男子双打项目,在决赛中以