相对熵

✍ dations ◷ 2025-07-29 12:53:19 #概率与统计,应用数学,概率论,信息论,信息学熵

KL散度(Kullback-Leibler divergence,简称KLD),在讯息系统中称为相对熵(relative entropy),在连续时间序列中称为随机性(randomness),在统计模型推断中称为讯息增益(information gain)。也称讯息散度(information divergence)。

KL散度是两个概率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数。典型情况下,P表示数据的真实分布,Q表示数据的理论分布、估计的模型分布、或P的近似分布。

对于离散随机变量,其概率分布 和 的KL散度可按下式定义为

等价于

即按概率求得的和的对数商的平均值。KL散度仅当概率和各自总和均为1,且对于任何皆满足 Q ( i ) > 0 {\displaystyle Q(i)>0} 和可按积分方式定义为

其中和分别表示分布和的密度。

更一般的,若和为集合的概率测度,且关于绝对连续,则从到的KL散度定义为

其中,假定右侧的表达形式存在,则 d Q d P {\displaystyle {\frac {{\rm {d}}Q}{{\rm {d}}P}}} 关于的R–N导数。

相应的,若关于绝对连续,则

即为关于的相对熵。

相对熵的值为非负数:

由吉布斯不等式可知,当且仅当 P = Q {\displaystyle P=Q} 到的距离通常并不等于从到的距离。


自信息和KL散度


互信息和KL散度


信息熵和KL散度


条件熵和KL散度


交叉熵和KL散度

相关

  • 美国国家职业安全卫生研究所美国国家职业安全卫生研究所(英语:National Institute for Occupational Safety and Health,简称NIOSH)是美国国内的一个联邦机构,负责对与工作相关的伤害和疾病进行研究以及提供
  • 顺反异构物脯氨酸(Proline,缩写为Pro 或P )是一个α-氨基酸,20个DNA编码的其中之一。其对应密码子为CCU,CCC,CCA和CCG。脯氨酸不是一种必需氨基酸,人体可以自行合成。在20个蛋白质形成氨基酸
  • 六腑六府,又作六腑,中医术语,代表人身中的六个器官:大肠、小肠、胃、膀胱、三焦、胆,与五脏相应。六府的起源很早,在《吕氏春秋》中就有提到。府的意思,是宫府,居室。因为它们流转受纳,所
  • 主小行星带小行星带是太阳系内介于火星和木星轨道之间的小行星密集区域。在已经被编号的120,437颗小行星中,有98.5%是在这里被发现的。小行星是由岩石或金属组成,围绕着太阳运动的小天体
  • 亚摩利人幼发拉底河 · 底格里斯河乌鲁克 · 乌尔 · 埃利都 启什 · 拉格什 · 尼普尔 阿卡德帝国 · 库提 乌尔第三王朝 · 伊辛第一王朝 · 拉尔萨 · 伊辛第二王朝古巴比
  • 达勒姆 (北卡罗来纳州)达勒姆(英语:Durham,又译德罕)是一座位于美国北卡罗来纳州达勒姆县的城市,也是该县的县治所在地。达勒姆是美国东岸的大学城之一,著名的私立学校杜克大学就位于该市。人口204,845
  • 流亡流亡或逃亡,指任何人或团体,因为自然灾害、受到侵略、迫害(包括政治迫害)或其他负面因素而离开出生或定居的国家、地区。流亡未必指在国外流亡,如唐玄宗幸蜀,也可以称做流亡。
  • 基基·卡马雷纳恩里克·S·“基基”·卡马雷纳·萨拉萨尔(西班牙语:Enrique S. "Kiki" Camarena Salazar;1947年7月26日-1985年2月9日)是墨西哥裔美国人,供职于美国缉毒局并担任卧底特工一职。在
  • 明日的与一!DVD第一卷封面《明日的与一!》是源悠(みなもと悠)所作的漫画,也是他的首个连载作品。从2006年6月号开始连载于《月刊少年Champion》,2011年完结,单行本全15卷。电视动画于2009年1
  • 松涛园线松涛园线(朝鲜语:송도원선/松濤園線  */?)是朝鲜民主主义人民共和国的一条铁道线路,站点为三路站到松涛园站,目的在于将江原道元山市和著名观光地松涛园联结起来,方便游人的往来