相对熵

✍ dations ◷ 2025-11-24 21:34:22 #概率与统计,应用数学,概率论,信息论,信息学熵

KL散度（Kullback-Leibler divergence，简称KLD），在讯息系统中称为相对熵（relative entropy），在连续时间序列中称为随机性（randomness），在统计模型推断中称为讯息增益（information gain）。也称讯息散度（information divergence）。

KL散度是两个概率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数。典型情况下，P表示数据的真实分布，Q表示数据的理论分布、估计的模型分布、或P的近似分布。

对于离散随机变量，其概率分布和的KL散度可按下式定义为

等价于

即按概率求得的和的对数商的平均值。KL散度仅当概率和各自总和均为1，且对于任何皆满足 $Q(i)>0$ 和可按积分方式定义为

其中和分别表示分布和的密度。

更一般的，若和为集合的概率测度，且关于绝对连续，则从到的KL散度定义为

其中，假定右侧的表达形式存在，则 ${\frac {{\rm {d}}Q}{{\rm {d}}P}}$ 关于的R–N导数。

相应的，若关于绝对连续，则

即为关于的相对熵。

相对熵的值为非负数：

由吉布斯不等式可知，当且仅当 $P=Q$ 到的距离通常并不等于从到的距离。

自信息和KL散度

互信息和KL散度

信息熵和KL散度

条件熵和KL散度

交叉熵和KL散度

相关

卟啉病卟啉症（英语：Porphyria，又称噗瑳症、紫质症或吡咯卟啉症），是因卟啉堆积而引起的一系列疾病，会对皮肤及神经系统造成负面影响。影响神经系统的这一类卟啉症，症状发作十分迅速，持续时
万有引力定律牛顿的万有引力定律（英语：Newton's law of universal gravitation），通称万有引力定律，定律指出，两个质点彼此之间相互吸引的作用力，是与它们的质量乘积成正比，并与它们之间的距离成
草酸盐草酸盐是草酸形成的盐类，含有草酸根离子（C2O42−或(COO)22−）。由于草酸是二元酸，因此草酸盐分为正盐草酸盐与酸式盐草酸氢盐两类，后者含有HC2O4−。草酸根离子（见右图）可作配体，与
欧洲中世纪中世纪（公元5世纪-公元15世纪）是欧洲历史三大传统划分（“古典时代”、“中世纪”和“近现代”）的一个中间时期，始于西罗马帝国（公元476年）的灭亡，终于东罗马帝国（公元1453年）的灭亡，最
软水剂软水剂，是可将硬水软化的物质，例如磷酸钠、六偏磷酸钠、胺的醋酸衍生物（EDTA）等。由于肥皂或清洁剂遇到硬水中的钙镁离子时，容易抛弃作为亲水端的钠离子，转而和钙镁离子结合，导致新
邓大量邓大量，籍贯河南洛阳，生于台湾，地质物理学家。1959年毕业于国立台湾大学地理系，1966年取得美国加州理工学院地理与应用数学博士学位。1967年进入南加州大学地理系任教。1990年当
西洋参花旗参（学名：）是人参的一种。原产于美国北部到加拿大南部一带，以威斯康辛州为主。美国旧称为花旗国，花旗参由此得名。此外，它又称为洋参、西洋参、野山泡参、广东人参，为粉光参的
胡大国胡大国（1921年5月21日－2011年2月17日）圣名奥斯定，天主教石阡监牧区主教，不被中国大陆政府承认。 1921年5月21日（一说1922年5月14日），胡大国生于中国贵州省平塘县通州镇的一个天主
林方一林方一（1883年12月6日－1932年12月10日），生于日本山口县佐波郡柚野村，台湾日本时期商人，台南林百货创办者。林方一出身贫苦农村，其母在他四岁时过世，其父林泷吉在他七岁时过世，依靠
圣埃尔莫要塞圣埃尔莫要塞（马耳他语：Forti Sant'Iermu）是位于马耳他首都瓦莱塔的一座要塞。要塞始建于1417年，现在是一个观光景点。