相对熵

✍ dations ◷ 2025-12-01 00:28:52 #概率与统计,应用数学,概率论,信息论,信息学熵

KL散度（Kullback-Leibler divergence，简称KLD），在讯息系统中称为相对熵（relative entropy），在连续时间序列中称为随机性（randomness），在统计模型推断中称为讯息增益（information gain）。也称讯息散度（information divergence）。

KL散度是两个概率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数。典型情况下，P表示数据的真实分布，Q表示数据的理论分布、估计的模型分布、或P的近似分布。

对于离散随机变量，其概率分布和的KL散度可按下式定义为

等价于

即按概率求得的和的对数商的平均值。KL散度仅当概率和各自总和均为1，且对于任何皆满足 $Q(i)>0$ 和可按积分方式定义为

其中和分别表示分布和的密度。

更一般的，若和为集合的概率测度，且关于绝对连续，则从到的KL散度定义为

其中，假定右侧的表达形式存在，则 ${\frac {{\rm {d}}Q}{{\rm {d}}P}}$ 关于的R–N导数。

相应的，若关于绝对连续，则

即为关于的相对熵。

相对熵的值为非负数：

由吉布斯不等式可知，当且仅当 $P=Q$ 到的距离通常并不等于从到的距离。

自信息和KL散度

互信息和KL散度

信息熵和KL散度

条件熵和KL散度

交叉熵和KL散度

相关

血清型血清型是指病毒和细菌中特定不同的亚种。这些微生物一般都由细胞表层的抗原来分类命名的。但是在同一种类的微生物里也会有分支和不同。血清型的决定是由很多种类的因素而形
威廉·约翰森威廉·约翰森（丹麦语：Wilhelm Johannsen，1857年2月3日－1927年11月11日），丹麦植物学家、植物生理学家、遗传学家，以发明“基因”、“表型”、“基因型”等术语而知名。1909年出版有
零号病人指示病例（英语：index case），又称为原发病例（英语：primary case），俗称零号病人或零号感染源（英语：patient zero），在流行病学调查中是指在一定人群中的最初的病例。指示病例可能表示疾病的
德拉瓦湾特拉华湾（英语：Delaware Bay）位于美国东北部海岸，是特拉华河的出海口，面积约782平方英里（2,030平方千米），混合了淡水与大西洋中的咸水。
死亡蛇 Loveridge, 1948死亡蛇（学名：，英语：death adder），也译作南棘蛇，是死亡蛇属的生物。死亡蛇是澳洲本土的特有种，是世界上攻击速度最快的毒蛇，也是在众多蛇类之中毒性最强的蛇种之一。
短鼻粗尾袋鼠属短鼻粗尾袋鼠属（学名）是更新世澳洲的一属袋鼠。它们的体型很大，如小型短脸袋鼠的重量就超过118公斤。
石中英 (学者)石中英（1967年－），安徽寿县人，曾任北京师范大学教育学部部长，现任清华大学教育研究院常务副院长、教授、博士生导师。1991年6月，毕业于安徽师范大学教育系。1994年6月和1997年6月，分
立花美凉立花美凉（日语：たちばな · みすず，英语：Tachibana Misuzu，1988年5月15日－）是日本AV女优。所属T-Powers事务所。
团队 (歌曲)《团队》（英语：Team）是新西兰歌手洛德演唱的一首歌曲，出自其首张专辑《纯粹女英雄（英语：Pure Heroine）》。这首歌曲是这张专辑在澳大利亚和新西兰的第三支单曲，2013年9月13日由新西
槟城州城镇列表下表列出了马来西亚槟城州的地名，包括城镇、花园住宅区及特定区域。关于乔治市街道的名称，请参见乔治市街道名称列表。