相对熵

✍ dations ◷ 2025-04-02 13:15:50 #概率与统计,应用数学,概率论,信息论,信息学熵

KL散度（Kullback-Leibler divergence，简称KLD），在讯息系统中称为相对熵（relative entropy），在连续时间序列中称为随机性（randomness），在统计模型推断中称为讯息增益（information gain）。也称讯息散度（information divergence）。

KL散度是两个概率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数。典型情况下，P表示数据的真实分布，Q表示数据的理论分布、估计的模型分布、或P的近似分布。

对于离散随机变量，其概率分布和的KL散度可按下式定义为

等价于

即按概率求得的和的对数商的平均值。KL散度仅当概率和各自总和均为1，且对于任何皆满足 $Q(i)>0$ 和可按积分方式定义为

其中和分别表示分布和的密度。

更一般的，若和为集合的概率测度，且关于绝对连续，则从到的KL散度定义为

其中，假定右侧的表达形式存在，则 ${\frac {{\rm {d}}Q}{{\rm {d}}P}}$ 关于的R–N导数。

相应的，若关于绝对连续，则

即为关于的相对熵。

相对熵的值为非负数：

由吉布斯不等式可知，当且仅当 $P=Q$ 到的距离通常并不等于从到的距离。

自信息和KL散度

互信息和KL散度

信息熵和KL散度

条件熵和KL散度

交叉熵和KL散度

相关

液滴模型液滴模型是一个关于原子核的模型。魏茨泽克公式将原子核的束缚能，表示成数个项之和。式中有部分常项由实验确定，变数则由理论推导出。一个原子核的束缚能可表示为：其中A为质量
根瘤蚜总科根瘤蚜总科（学名：Phylloxeroidea）属半翅目胸喙亚目，是一种寄生于葡萄的害虫的集合，原产于北美洲东部，因商旅关系带回欧洲，现在已遍布世界各地，包括加拿大、法国、以色列及中国等。曾
柳约400种柳，或柳树，是对柳属（Salix）植物的统称，其下共有四百多种物种，常见于北半球的寒带及温带。柳属植物要进行杂交非常容易，不论是天然或是人工的混种都很普遍。Salix × sepulcr
r̥齿龈颤音是辅音的一种类型, 在很多语言中使用，如俄语、藏语、西班牙语、亚美尼亚语和波兰语、意大利语、瑞典语、德语、阿拉伯语、挪威语、冰岛语、芬兰语、马来语、蒙古语、
北投温泉博物馆北投温泉博物馆（英语：Beitou Hot Spring Museum）是位于台湾台北市北投区的史迹保存类博物馆，过去是北投温泉的公共温泉浴场，因此又名北投温泉浴场。北投温泉浴场建于1913年6月17
渲染图渲染（英语：render，或称为绘制）在电脑绘图中，是指以软件由模型生成图像的过程。模型是用语言或者数据结构进行严格定义的三维物体或虚拟场景的描述，它包括几何、视点、纹理、照明和
财付通财付通（英文：Tenpay）是由腾讯公司创办的第三方在线支付平台，由财付通支付科技有限公司运营。财付通与拍拍网、易迅网、腾讯QQ有着很好的融合。深圳市腾讯计算机系统有限公司持有
艾尔本·W·巴克利阿尔本·威廉·巴克利（Alben William Barkley，1877年12月24日－1956年4月30日），美国律师、政治家。曾任四届美国肯塔基州联邦参议员，在1948年大选中作为哈利·S·杜鲁门的搭档参选
自由意志保守主义自由意志保守主义（Libertarian conservatism）是一种结合了右派自由意志主义和保守主义的政治思想和意识形态。自由意志保守主义的优先价值是实现社会和文化上的消极自由，反对自
柯奈尔·海门斯柯奈尔‧海门斯（法语：Corneille Jean François Heymans，1892年－1968年），比利时医学家，因发现了颈动脉窦和主动脉弓调节呼吸的作用，于1939年获得1938年度的诺贝尔生理学或医学奖。