相对熵

✍ dations ◷ 2025-06-29 05:18:33 #概率与统计,应用数学,概率论,信息论,信息学熵

KL散度(Kullback-Leibler divergence,简称KLD),在讯息系统中称为相对熵(relative entropy),在连续时间序列中称为随机性(randomness),在统计模型推断中称为讯息增益(information gain)。也称讯息散度(information divergence)。

KL散度是两个概率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数。典型情况下,P表示数据的真实分布,Q表示数据的理论分布、估计的模型分布、或P的近似分布。

对于离散随机变量,其概率分布 和 的KL散度可按下式定义为

等价于

即按概率求得的和的对数商的平均值。KL散度仅当概率和各自总和均为1,且对于任何皆满足 Q ( i ) > 0 {\displaystyle Q(i)>0} 和可按积分方式定义为

其中和分别表示分布和的密度。

更一般的,若和为集合的概率测度,且关于绝对连续,则从到的KL散度定义为

其中,假定右侧的表达形式存在,则 d Q d P {\displaystyle {\frac {{\rm {d}}Q}{{\rm {d}}P}}} 关于的R–N导数。

相应的,若关于绝对连续,则

即为关于的相对熵。

相对熵的值为非负数:

由吉布斯不等式可知,当且仅当 P = Q {\displaystyle P=Q} 到的距离通常并不等于从到的距离。


自信息和KL散度


互信息和KL散度


信息熵和KL散度


条件熵和KL散度


交叉熵和KL散度

相关

  • 成功大学国立成功大学校务基金 20,518,898,000元国立成功大学(英语:National Cheng Kung University,缩写为NCKU或 National Koxinga University),简称成大、成功大学,是一所位于台湾台南
  • 冷凝凝结(英语:condensation),或称凝析,是气体遇冷而变成液体,如水蒸气遇冷变成水。温度越低,凝结速度越快。在水循环中常提到凝结。像空气中的水蒸气接触到其他固体、液体表面,或是接触
  • 离子束射束(英语:Beam),是一道粒子或能量的流束,较细的射束(beam)也被称为射线(ray)。
  • 滋贺县滋贺县(日语:滋賀県/しがけん Shiga ken */?)是日本近畿地方的一个县份,为日本8个无海岸线的内陆县份之一。首府大津市。滋贺县是日本面积第10小的县份。在内陆县份中,面积仅大
  • 效果律效果律(英语:law of effect),1905年美国心理学家爱德华·桑代克以(尚未发展完全的)行为制约背后的一个概念为基底所提出的理论。而那个行为制约背后的概念,是“在一个特定的情境
  • 1983年被中华人民共和国处决的死刑犯列表1983年被中华人民共和国处决的死刑犯列表,旨在列出1983年被中华人民共和国处决的死刑犯。
  • 网站镜像镜像,原意是光学里指的物体在镜面中所成之像。引申到计算机网络上,网站镜像是指对网站内容的拷贝。镜像通常用于为相同信息内容提供不同的源,特别是在下载量大的时候提供了一种
  • 克莉丝汀·钱诺维斯克莉丝汀·钱诺维斯(Kristin Chenoweth,1968年7月24日-),是一名美国歌手、演员,出生于美国奥克拉荷马州断剑城(英语:Broken Arrow, Oklahoma)。以百老汇音乐剧女演员身份著名。身高15
  • 戈兰·桑纳维戈兰·桑纳维(瑞典语:Göran Sonnevi,1939年10月3日-)是一位瑞典诗人、翻译家。1939年10月3日出生于瑞典斯科讷省的隆德,童年与少年时期在哈尔姆斯塔德度过。他在隆德大学学习文学
  • 俄勒冈州众议院俄勒冈州众议院(英语:Oregon House of Representatives)是美国俄勒冈州议会的下议院。俄勒冈州众议院共有60名议员,每届任期2年。俄勒冈州众议院领导人为众议院发言人。现任众议