相对熵

✍ dations ◷ 2025-12-06 13:17:12 #概率与统计,应用数学,概率论,信息论,信息学熵

KL散度（Kullback-Leibler divergence，简称KLD），在讯息系统中称为相对熵（relative entropy），在连续时间序列中称为随机性（randomness），在统计模型推断中称为讯息增益（information gain）。也称讯息散度（information divergence）。

KL散度是两个概率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数。典型情况下，P表示数据的真实分布，Q表示数据的理论分布、估计的模型分布、或P的近似分布。

对于离散随机变量，其概率分布和的KL散度可按下式定义为

等价于

即按概率求得的和的对数商的平均值。KL散度仅当概率和各自总和均为1，且对于任何皆满足 $Q(i)>0$ 和可按积分方式定义为

其中和分别表示分布和的密度。

更一般的，若和为集合的概率测度，且关于绝对连续，则从到的KL散度定义为

其中，假定右侧的表达形式存在，则 ${\frac {{\rm {d}}Q}{{\rm {d}}P}}$ 关于的R–N导数。

相应的，若关于绝对连续，则

即为关于的相对熵。

相对熵的值为非负数：

由吉布斯不等式可知，当且仅当 $P=Q$ 到的距离通常并不等于从到的距离。

自信息和KL散度

互信息和KL散度

信息熵和KL散度

条件熵和KL散度

交叉熵和KL散度

相关

衰变能量放射性或辐射性是指某元素的放射性同位素从不稳定的原子核自发地放出射线（如α射线、β射线、γ射线等）而衰变形成另一种同位素（衰变产物），这种现象称为放射性。衰变时放出的能量
私法私法，相对于公法，一般而言指的是规范私权关系的法律。目前区分公、私法并未有一个统一的标准理论，但比较多数人采的是所谓的“新主体说”，这一个说法的区分标准是：如果一个法律关
阿方斯·比拉姆·德康多尔阿方斯·比拉姆·德康多尔（Alphonse Pyramus de Candolle，1806年10月28日－1893年4月4日）为法国-瑞士植物学家。
潮池潮池（英语：Tide pool），亦作岩池（Rock pool），是一种在海岸地形较低陷而且充满岩石和海水的地方。这些地方当涨潮时，海水会涌进其间，甚或淹没有潮水之下；退潮时，残留在岩石间的潮水形成一
普世人性普世文化通则，或普世人性指的是在世界上所有的文化当中的都出现的元素、模式、特质或制度等。演化心理学认为所有文化当中都出现的行为或特质，有可能是演化适应的结果；另外，一些
白垩纪﹣古近纪灭绝事件白垩纪-古近纪灭绝事件（简称K-Pg事件、K-Pg灭绝），俗称“恐龙大灭绝”，旧称为白垩纪﹣第三纪灭绝事件（简称K-T事件、K-T灭绝），是地球历史上的第五次以及最后一次大规模物种灭绝事件，也
中华龙鸟属中华龙鸟属（属名：，意为“中国的蜥蜴翅膀”，早期也译为中国蜥翼龙）是目前所发现拥有化石化羽毛痕迹的恐龙中，年代最早而且最原始的，也是辽宁省热河群第一个发现的恐龙化石。中华龙鸟
夏季奥林匹克运动会袋棍球比赛袋棍球有争议的在1904年和1908年成为夏季奥林匹克运动会项目。这两次都只开放给男性参赛，两次都由加拿大夺得金牌。在第一年，两个国家派出三队参赛。第二次只有两个国家。• =
前轮驱动前轮驱动是汽车设计中的一种传动方式或动力分配方式，引擎只驱动车辆前轮。大多数现代的前轮驱动的车辆会使用横置的引擎布局，而不是像后轮驱动及四轮驱动那样通常使用纵置的引
陈炽陈炽（1855年－1900年6月9日），字克昌，号次亮，又号瑶林馆主。江西瑞金瑞林乡塘横背人。清末官员，经济学家。陈炽12岁中秀才，19岁拔贡为一等四名，钦点七品京官。光绪八年（1882年）中举人，任职