相对熵

✍ dations ◷ 2025-09-18 03:37:13 #概率与统计,应用数学,概率论,信息论,信息学熵

KL散度(Kullback-Leibler divergence,简称KLD),在讯息系统中称为相对熵(relative entropy),在连续时间序列中称为随机性(randomness),在统计模型推断中称为讯息增益(information gain)。也称讯息散度(information divergence)。

KL散度是两个概率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数。典型情况下,P表示数据的真实分布,Q表示数据的理论分布、估计的模型分布、或P的近似分布。

对于离散随机变量,其概率分布 和 的KL散度可按下式定义为

等价于

即按概率求得的和的对数商的平均值。KL散度仅当概率和各自总和均为1,且对于任何皆满足 Q ( i ) > 0 {\displaystyle Q(i)>0} 和可按积分方式定义为

其中和分别表示分布和的密度。

更一般的,若和为集合的概率测度,且关于绝对连续,则从到的KL散度定义为

其中,假定右侧的表达形式存在,则 d Q d P {\displaystyle {\frac {{\rm {d}}Q}{{\rm {d}}P}}} 关于的R–N导数。

相应的,若关于绝对连续,则

即为关于的相对熵。

相对熵的值为非负数:

由吉布斯不等式可知,当且仅当 P = Q {\displaystyle P=Q} 到的距离通常并不等于从到的距离。


自信息和KL散度


互信息和KL散度


信息熵和KL散度


条件熵和KL散度


交叉熵和KL散度

相关

  • 1619年重要事件及趋势重要人物
  • 三鹰事件三鹰事件,是指1949年7月15日晚上,在日本东京都北多摩郡三鹰町,中央本线三鹰站的一辆无人驾驶的空列车(63系)从车站停车库突然窜出,以时速60公里冲向车站,连带冲击到线路旁的商店街,
  • 帕维尔·内德维德帕维尔·内德维德(捷克语:Pavel Nedvěd,1972年8月30日-)生于捷克共和国的海布,世界足坛最佳捷克巨星之一。场上司职中场(左路或中路)。曾效力于捷克的布拉格杜克拉(1991年-92年)、布
  • 红牛二队红牛第二车队(Scuderia Toro Rosso,简称红牛二队,或为与红牛车队区别而被称作小红牛或小牛,或是直接将队名音译为托罗罗索车队,2020年起,车队将会更名为阿尔法托利车队)是红牛饮品
  • 博彩监察协调局博彩监察协调局(简称博监局;葡文:Direcção de Inspecção e Coordenação de Jogos,葡文缩写:DICJ)是澳门特别行政区政府经济财政司辖下的局级部门,前身为澳门回归前成立的博彩
  • 费尔法克斯费尔法克斯市(Fairfax /ˈfɛr.fæks/ FERR-faks);官方称呼为City of Fairfax)是美国维吉尼亚州北部的一个独立城市。费尔法克斯市原为由原先费尔法克斯县所辖的镇,1961年6月30
  • 杭嘉湖平原杭嘉湖平原是浙江省内最大的平原,面积约7620平方千米,地理上为长江三角洲的组成部分。位于太湖以南,钱塘江和杭州湾以北,天目山以东。包括嘉兴市全部,湖州市大部以及杭州市的东北
  • 环境和性取向环境和性取向的研究是指环境可能对人类性取向产生的影响,一些学者将环境影响和激素影响分开。但也有一些学者将生物学上的影响,如产前激素影响视为环境影响的一部分。科学家至
  • 本杰明·西斯科本杰明·西斯科(Benjamin Sisko)是科幻剧集《星际迷航:深空九号》中的一名主要角色,由艾弗里·布鲁克斯(Avery Brooks)饰演。本杰明·西斯科(Benjamin Sisko)于2332年出生于新奥尔良
  • 无根藤属无根藤属 (或称为无根草属, L.) 为樟科植物的一个属,寄生性的藤本植物。广泛布于热带地区。无根藤属植物的茎具缠绕性,藉吸器寄生于多种乔木及灌木植株上。植株体内具黏液,绿色