相对熵

✍ dations ◷ 2025-11-30 15:08:05 #概率与统计,应用数学,概率论,信息论,信息学熵

KL散度（Kullback-Leibler divergence，简称KLD），在讯息系统中称为相对熵（relative entropy），在连续时间序列中称为随机性（randomness），在统计模型推断中称为讯息增益（information gain）。也称讯息散度（information divergence）。

KL散度是两个概率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数。典型情况下，P表示数据的真实分布，Q表示数据的理论分布、估计的模型分布、或P的近似分布。

对于离散随机变量，其概率分布和的KL散度可按下式定义为

等价于

即按概率求得的和的对数商的平均值。KL散度仅当概率和各自总和均为1，且对于任何皆满足 $Q(i)>0$ 和可按积分方式定义为

其中和分别表示分布和的密度。

更一般的，若和为集合的概率测度，且关于绝对连续，则从到的KL散度定义为

其中，假定右侧的表达形式存在，则 ${\frac {{\rm {d}}Q}{{\rm {d}}P}}$ 关于的R–N导数。

相应的，若关于绝对连续，则

即为关于的相对熵。

相对熵的值为非负数：

由吉布斯不等式可知，当且仅当 $P=Q$ 到的距离通常并不等于从到的距离。

自信息和KL散度

互信息和KL散度

信息熵和KL散度

条件熵和KL散度

交叉熵和KL散度

相关

色矛纲色矛纲（学名：Chromadorea）之下只有色矛亚纲（学名：Chromadoria）一个分类单元，包括下列八个目：原来的蛔虫目（Ascaridida）及旋尾目（Spirurida）已被分别降为蛔形下目及旋尾下目。
抽水马桶抽水马桶，又称冲水马桶，约翰·哈林顿（Dr. John Harington）被认为是第一个发明抽水马桶的人，1778年由约瑟夫·布拉梅（英语：Joseph Bramah）发明，是以杠杆原理把定量水由水箱拉下，把排泄
抽水蓄能发电抽蓄发电（Pumped-storage hydroelectricity），又称抽水蓄能电站，是一种特殊的水力发电厂。它将离峰电力以水的势能储存起来的大型装置，在用电的尖峰时间再用来发电。换言之，这类“
卡罗尔·吉利根卡罗尔·吉利根（Carol Gilligan，1936年11月28日－）是美国女权主义者、伦理学家和心理学家。她对于柯尔伯格的道德发展阶段论(Theory of Moral Development)及以正义(Justice)和权
鱼素者鱼素主义（Pescetarianism）是指戒食红肉、禽类肉食，但仍进食海鲜（以鱼为主）的饮食习惯。鱼素者对各类型病菌、禽流感等疾病、肥胖、过敏等健康方面的担忧，因而放弃红白肉，改以鱼类来
交易媒介交易媒介是在交易中用以避免以物易物系统造成的不便的媒介。在现代交易媒介多为货币。
JR西日本271系电力动车组271系列车是西日本旅客铁路的一款直流电特急型列车，用于连接关西国际机场至新大阪、京都、米原的“遥号”特急列车。本列车于2020年3月14日投入服务。遥号自1994年开始运营以
沙河口站沙河口站是位于中国辽宁省大连市沙河口区的一座火车站，建于1909年，现为沈阳铁路局管辖的三等站，到大连港的货运线在本站分岔。候车室一座，2台3道，其中一座侧式站台、一座岛式站台
桑斋多尔济桑斋多尔济（蒙古语：Санжайдорж，1731年－1778年），喀尔喀蒙古土谢图汗部人，博尔济吉特氏。清朝将领。蒙古族。达延汗巴图蒙克后裔，智勇亲王丹津多尔济之孙，母亲和硕和惠公主，额
坎达瓦自治市坎达瓦自治市 (拉脱维亚语：Kandavas novads)，是拉脱维亚的一个自治市，设立于1999年。坎达瓦自治市位于该国西部，人口10,057人，面积650.9平方公里，人口密度约15人/km2。