交叉熵

✍ dations ◷ 2025-07-08 20:15:58 #信息学熵

在信息论中,基于相同事件测度的两个概率分布 p {\displaystyle p} 相对于的)。

对于离散分布 p {\displaystyle p} q {\displaystyle q} ,这意味着:

对于连续分布也是类似的。我们假设 p {\displaystyle p} q {\displaystyle q} 在测度 r {\displaystyle r} 上是绝对连续的(通常 r {\displaystyle r} 是Lebesgue measure on a Borel σ-algebra)。设 P {\displaystyle P} Q {\displaystyle Q} 分别为 p {\displaystyle p} q {\displaystyle q} 在测度 r {\displaystyle r} 上概率密度函数。则

在信息论中, 以直接可解编码模式通过值 x i {\displaystyle x_{i}} 编码一个信息片段,使其能在所有可能的 X {\displaystyle X} 集合中唯一标识该信息片段,Kraft–McMillan theorem确保这一过程可以被看作一种 X {\displaystyle X} 上的隐式概率分布 q ( x i ) = 2 l i {\displaystyle q(x_{i})=2^{-l_{i}}} ,从而使得 l i {\displaystyle l_{i}} x i {\displaystyle x_{i}} 的编码位长度。 因此, 交叉熵可以看作每个信息片段在错误分布 Q {\displaystyle Q} 下的期望编码位长度,而信息实际分布为 P {\displaystyle P} 。这就是期望 E p {\displaystyle {E}_{p}} 是基于 P {\displaystyle P} 而不是 Q {\displaystyle Q} 的原因。

在大多数情况下,我们需要在不知道分布 p {\displaystyle p} 的情况下计算其交叉熵。例如在语言模型中, 我们基于训练集 T {\displaystyle T} 创建了一个语言模型, 而在测试集合上通过其交叉熵来评估该模型的准确率。 p {\displaystyle p} 是语料中词汇的真实分布,而 q {\displaystyle q} 是我们获得的语言模型预测的词汇分布。由于真实分布是未知的,我们不能直接计算交叉熵。在这种情况下,我们可以通过下式来估计交叉熵:

N {\displaystyle N} 是测试集大小, q ( x ) {\displaystyle q(x)} 是在训练集上估计的事件 x {\displaystyle x} 发生的概率。我们假设训练集是从 p ( x ) {\displaystyle p(x)} 的真实采样,则此方法获得的是真实交叉熵的蒙特卡洛估计。

相关

  • 查理十世查理十世(法语:Charles X;1757年10月9日-1836年11月6日),本名查理-菲利普(法语:Charles-Philippe),是法国波旁复辟后的第二个法兰西及纳瓦尔国王(1824年8月16日–1830年8月2日在位)。他
  • 农林水产省内部部局: 大臣官房消费·安全局食料产业局生产局经营局农村振兴局政策统括官审议会等: 农业资材审议会食料·农业·农村政策审议会兽医事审议会农林渔业保险审查会农林物资规
  • 杜丽杜丽(1982年3月5日-),中国女子射击运动员,山东淄博沂源人,2004年雅典奥运会首金获得者和2008年北京奥运会50米运动步枪三姿冠军。其丈夫是奥运冠军庞伟。2016年8月12日,宣布退役,不
  • 皮耶罗·斯拉法皮耶罗·斯拉法(意大利语:Piero Sraffa,1898年8月5日-1983年9月3日),生于意大利都灵,著名经济学家,专长于政治经济学。他是新李嘉图学派的建立者,对剑桥学派有很大的影响力。皮耶罗·
  • 幸存者偏误幸存者偏差(英语:survivorship bias),另译为“生存者偏差 ”,是一种逻辑谬误,选择偏差(英语:selection bias)的一种。过度关注“幸存了某些经历”的人事物,忽略那些没有幸存的(可能因为
  • 通用数据保护条例《通用数据保护条例》(英语:General Data Protection Regulation,缩写作 GDPR;欧盟法规编号:(EU) 2016/679),是在欧盟法律中对所有欧盟个人关于数据保护和隐私的规范,涉及了欧洲境外
  • 2020年加勒比海地震2020年加勒比海地震,是2020年1月28日发生于古巴南部加勒比海海域的一场地震,震中位于北纬19.46度、西经78.79度,震级为MW 7.7级、MS 7.6级,震源深度约为10千米。本次地震同时是2
  • 铝镍钴合金永久磁铁铝镍钴合金(Alnico)是一种铁合金,除了铁以外,还添加了铝(Al)、镍(Ni)、钴(Co)以及少量其他增强磁性的成分。英文术语名“Alnico”是由三个主要添加物的元素符号合并而成。铝镍
  • 台布台布(满语:ᡨᠠᡳᠪᡠ,穆麟德:),清朝蒙古正蓝旗人,军机大臣。任内阁学士,乾隆六十年(1796年),在军机处学习行走,迁任工部左侍郎。嘉庆元年(1796年)六月,改任户部右侍郎,十一月到浙江江西办差
  • 应用科学学士应用科学学士(英语:Bachelor of Applied Science),常简写为B.AS.、BAS、BSAS、BASc、B.ASc.或BAppSc等,是一种本科学位。应用科学学士学位经常要求学生需主修其应用科学课程,并专