相对熵

✍ dations ◷ 2025-12-03 04:31:17 #概率与统计,应用数学,概率论,信息论,信息学熵

KL散度（Kullback-Leibler divergence，简称KLD），在讯息系统中称为相对熵（relative entropy），在连续时间序列中称为随机性（randomness），在统计模型推断中称为讯息增益（information gain）。也称讯息散度（information divergence）。

KL散度是两个概率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数。典型情况下，P表示数据的真实分布，Q表示数据的理论分布、估计的模型分布、或P的近似分布。

对于离散随机变量，其概率分布和的KL散度可按下式定义为

等价于

即按概率求得的和的对数商的平均值。KL散度仅当概率和各自总和均为1，且对于任何皆满足 $Q(i)>0$ 和可按积分方式定义为

其中和分别表示分布和的密度。

更一般的，若和为集合的概率测度，且关于绝对连续，则从到的KL散度定义为

其中，假定右侧的表达形式存在，则 ${\frac {{\rm {d}}Q}{{\rm {d}}P}}$ 关于的R–N导数。

相应的，若关于绝对连续，则

即为关于的相对熵。

相对熵的值为非负数：

由吉布斯不等式可知，当且仅当 $P=Q$ 到的距离通常并不等于从到的距离。

自信息和KL散度

互信息和KL散度

信息熵和KL散度

条件熵和KL散度

交叉熵和KL散度

相关

混合菌纲混合菌纲（学名：Mixiomycetes）是担子菌门柄锈菌亚门下的一个纲。该纲仅包含一个目（混合菌目，Mixiales），此目下有一个科（混合菌科，Mixiaceae），此科下又仅有一个单型属（混合菌属，Mixia）。Mixi
阴道分泌物阴道分泌物（英语：vaginal discharge），是一类从阴道流出或分泌出的生物体液。它可能是多种颜色，通常为白色、淡黄色或绿色。大多数的分泌物都是正常并反映出不同时期的月经周期，但
汪灏汪灏可能指下列人物：
宗教战争宗教战争是战争中的一个类别，由宗教作出发点的原因或目的所引发的战争。其狭义上是指以宗教名义进行的，广义上是指由“思想、主义”所主宰的战争。宗教战争也是宗教斗争中的一
新选组始末记《新选组始末记》（日语：新撰组始末记；英语：Shinsengumi Chronicles）是1963年1月3日日本上映的时代剧电影，原作为子母泽宽1928年同名著作，叙述幕末的武士组织“新选组”与讨幕人士的
2013年摩纳哥大奖赛2013年摩纳哥大奖赛是2013年世界一级方程式锦标赛的第六场分站赛事，于5月23日至26日在摩纳哥蒙特卡洛的摩纳哥赛道举行。这也是第72届摩纳哥大奖赛。梅赛德斯AMG车队德国车手
太平洋橡树学院太平洋橡树学院（Pacific Oaks College）是位于美国加利福尼亚州帕萨迪纳的一所私立大学，成立于1945年。该学院在加利福尼亚州的奇科、萨克拉门托、萨利纳斯及圣塔克鲁兹有授课点
MIOMIO可以是下列的意思：
马利厄斯丘陵马利厄斯丘陵（Marius Hills）是位于月球风暴洋的一组熔岩穹丘。一般认为形成这些穹丘的熔岩比形成月海的有更高的黏度。这些穹丘的高度大约是200到500米。该区域的名称来自附近
2008年2月逝世人物列表2008年2月逝世人物列表，是用于汇总2008年2月期间逝世人物的列表。