交叉熵

✍ dations ◷ 2025-07-31 04:25:38 #信息学熵

在信息论中,基于相同事件测度的两个概率分布 p {\displaystyle p} 相对于的)。

对于离散分布 p {\displaystyle p} q {\displaystyle q} ,这意味着:

对于连续分布也是类似的。我们假设 p {\displaystyle p} q {\displaystyle q} 在测度 r {\displaystyle r} 上是绝对连续的(通常 r {\displaystyle r} 是Lebesgue measure on a Borel σ-algebra)。设 P {\displaystyle P} Q {\displaystyle Q} 分别为 p {\displaystyle p} q {\displaystyle q} 在测度 r {\displaystyle r} 上概率密度函数。则

在信息论中, 以直接可解编码模式通过值 x i {\displaystyle x_{i}} 编码一个信息片段,使其能在所有可能的 X {\displaystyle X} 集合中唯一标识该信息片段,Kraft–McMillan theorem确保这一过程可以被看作一种 X {\displaystyle X} 上的隐式概率分布 q ( x i ) = 2 l i {\displaystyle q(x_{i})=2^{-l_{i}}} ,从而使得 l i {\displaystyle l_{i}} x i {\displaystyle x_{i}} 的编码位长度。 因此, 交叉熵可以看作每个信息片段在错误分布 Q {\displaystyle Q} 下的期望编码位长度,而信息实际分布为 P {\displaystyle P} 。这就是期望 E p {\displaystyle {E}_{p}} 是基于 P {\displaystyle P} 而不是 Q {\displaystyle Q} 的原因。

在大多数情况下,我们需要在不知道分布 p {\displaystyle p} 的情况下计算其交叉熵。例如在语言模型中, 我们基于训练集 T {\displaystyle T} 创建了一个语言模型, 而在测试集合上通过其交叉熵来评估该模型的准确率。 p {\displaystyle p} 是语料中词汇的真实分布,而 q {\displaystyle q} 是我们获得的语言模型预测的词汇分布。由于真实分布是未知的,我们不能直接计算交叉熵。在这种情况下,我们可以通过下式来估计交叉熵:

N {\displaystyle N} 是测试集大小, q ( x ) {\displaystyle q(x)} 是在训练集上估计的事件 x {\displaystyle x} 发生的概率。我们假设训练集是从 p ( x ) {\displaystyle p(x)} 的真实采样,则此方法获得的是真实交叉熵的蒙特卡洛估计。

相关

  • 弗朗索瓦丝·巴尔-西诺西弗朗索瓦丝·巴尔-西诺西(法语:Françoise Barré-Sinoussi,1947年7月30日-)生于巴黎,是一位法国病毒学家,巴黎巴斯德研究所逆转录病毒感染调控研究小组主任。她主要从事反转录病毒
  • 末日之钟末日钟,又叫末日时钟(英语:Doomsday Clock)是一虚构钟面,由芝加哥大学的《原子科学家公报(英语:Bulletin of the Atomic Scientists)》杂志于1947年设立,每年一月进行一次评估,标示出
  • 阿弥陀经《佛说阿弥陀经》(梵:Sukhāvatī-vyūha)或称《小无量寿经》、《称赞净土佛摄受经》,大乘佛教经典之一,为净土宗所尊崇,被列为净土三经之一。此经为佛经中极少数非由佛陀弟子提问
  • 鲁戈瓦易卜拉欣·鲁戈瓦(阿尔巴尼亚语:Ibrahim Rugova,1944年12月2日-2006年1月21日),出生于第二次世界大战意大利王国占领下的南斯拉夫,阿尔巴尼亚族,科索沃共和国国父。是前科索沃总统及
  • 蛇蛉目广翅亚目 Megaloptera 蛇蛉亚目 Raphidioptera 蛟蛉亚目 Planipennia脉翅目(学名:Neuroptera)包括草蛉、蚁蛉、长角蛉等,属于完全变态的昆虫。这个目的成虫有两对膜状的的翅膀,前
  • 1988年洛克比空难阴谋论洛克比空难(英语:Lockerbie Air Disaster)发生于1988年12月21日,事故导致270人(机上乘客243人、机组人员16人,共259人;地面11人)遇难,其中一名乘务员被发现时尚有生命迹象。当日,泛美
  • 李诫李诫(?-1110年2月23日),一说李诚,字明仲,郑州管城县(今河南省郑州新郑市)人,北宋著名建筑师。李诫的曾祖父李惟寅,曾任尚书虞部员外郎赠紫金光录大夫。李诫的祖父李惇裕,曾任尚书祠部员
  • 纳贺蒙尼德摩西·本· 纳贺蒙(西班牙语:Mosé ben Nahmán .mw-parser-output .script-hebrew,.mw-parser-output .script-Hebr{font-size:1.15em;font-family:"Ezra SIL","Ezra SIL SR"
  • 可微函数在微积分学中,可微函数是指那些在定义域中所有点都存在导数的函数。可微函数的图像在定义域内的每一点上必存在非垂直切线。因此,可微函数的图像是相对光滑的,没有间断点、尖点
  • 紫苑Yuu紫苑Yuu(日语:紫苑 ゆう/しおん ゆう ,本名:渡辺 奈津子,1959年3月25日-),原宝冢歌剧团星组主演男役、现在是宝冢音乐学校讲师。兵库县神戸市滩区出身。“因为喜欢演戏所以想要学习