相对熵

✍ dations ◷ 2025-09-10 14:18:44 #概率与统计,应用数学,概率论,信息论,信息学熵

KL散度(Kullback-Leibler divergence,简称KLD),在讯息系统中称为相对熵(relative entropy),在连续时间序列中称为随机性(randomness),在统计模型推断中称为讯息增益(information gain)。也称讯息散度(information divergence)。

KL散度是两个概率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数。典型情况下,P表示数据的真实分布,Q表示数据的理论分布、估计的模型分布、或P的近似分布。

对于离散随机变量,其概率分布 和 的KL散度可按下式定义为

等价于

即按概率求得的和的对数商的平均值。KL散度仅当概率和各自总和均为1,且对于任何皆满足 Q ( i ) > 0 {\displaystyle Q(i)>0} 和可按积分方式定义为

其中和分别表示分布和的密度。

更一般的,若和为集合的概率测度,且关于绝对连续,则从到的KL散度定义为

其中,假定右侧的表达形式存在,则 d Q d P {\displaystyle {\frac {{\rm {d}}Q}{{\rm {d}}P}}} 关于的R–N导数。

相应的,若关于绝对连续,则

即为关于的相对熵。

相对熵的值为非负数:

由吉布斯不等式可知,当且仅当 P = Q {\displaystyle P=Q} 到的距离通常并不等于从到的距离。


自信息和KL散度


互信息和KL散度


信息熵和KL散度


条件熵和KL散度


交叉熵和KL散度

相关

  • 生物分布区世界生物地理分区是指在历史发展过程中形成而在现代生态条件下存在的许多生物类型的总体,是在历史因素和生态因素共同作用下形成的。动植物的种或其他分类类群,最初是从一个地
  • 甲酰肼甲酰肼是一种有机化合物,化学式为CH4N2O,为白色极易潮解的晶体。甲酰肼易溶于水,溶于乙醇。熔点54 °C。
  • 刘侠刘侠(1942年4月12日-2003年2月8日),已故中华民国作家,北投国小毕业。据其自述,因家乡在陕西省扶风县杏林镇(今属陕西省宝鸡市),也为了纪念自己一辈子与医院结下的“不解之缘”(因为杏
  • 巴西利卡巴西利卡(拉丁语:Basilica,希腊语:Βασιλική)是古罗马的一种公共建筑形式,其特点是平面呈长方形,外侧有一圈柱廊,主入口在长边,短边有耳室,采用条形拱券作屋顶。后来的教堂建筑
  • 田鸡腿田鸡腿,又称青蛙腿,中国南方地区的人称为田鸡腿。是一道以蛙类为主的菜,这是一道很常见的法国和中国菜,在世界上的其它地方像加勒比海地区、波兰、美国的部分地区,人们也食用它。
  • 加告兹人.mw-parser-output ruby.zy{text-align:justify;text-justify:none}.mw-parser-output ruby.zy>rp{user-select:none}.mw-parser-output ruby.zy>rt{font-feature-settings:
  • 大小笔架山笔架山位于中国辽宁省锦州市南35公里的辽东湾中,紧邻锦州港,是一座近海中的陆连岛。南北长1.5公里,东西宽0.8公里,总面积约1平方公里。岛上三峰,形如笔架,故名。另有一座位于其东
  • 长谷部言人长谷部言人(日语:長谷部言人 ,1882年6月10日-1969年12月3日),出生于东京都。人类学家、解剖学家,日本学士院成员。
  • 美国学生贷款美国的学生贷款是一种财政援助,与其他形式的财政援助(如奖学金和助学金)不同,必须偿还。学生贷款在美国高等教育中发挥非常大的作用。每年约有2000万美国人就读大学,当中约六成(即
  • 地下钱庄地下钱庄,又称“影子银行”、“融资店”,是从事地下经济活动的组织,它们的功能有如非法银行和财务公司,表面以合法组织作伪装,例如找换店、当铺、银楼等。地下钱庄多从事非法活动