相对熵

✍ dations ◷ 2025-04-26 17:13:35 #概率与统计,应用数学,概率论,信息论,信息学熵

KL散度(Kullback-Leibler divergence,简称KLD),在讯息系统中称为相对熵(relative entropy),在连续时间序列中称为随机性(randomness),在统计模型推断中称为讯息增益(information gain)。也称讯息散度(information divergence)。

KL散度是两个概率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数。典型情况下,P表示数据的真实分布,Q表示数据的理论分布、估计的模型分布、或P的近似分布。

对于离散随机变量,其概率分布 和 的KL散度可按下式定义为

等价于

即按概率求得的和的对数商的平均值。KL散度仅当概率和各自总和均为1,且对于任何皆满足 Q ( i ) > 0 {\displaystyle Q(i)>0} 和可按积分方式定义为

其中和分别表示分布和的密度。

更一般的,若和为集合的概率测度,且关于绝对连续,则从到的KL散度定义为

其中,假定右侧的表达形式存在,则 d Q d P {\displaystyle {\frac {{\rm {d}}Q}{{\rm {d}}P}}} 关于的R–N导数。

相应的,若关于绝对连续,则

即为关于的相对熵。

相对熵的值为非负数:

由吉布斯不等式可知,当且仅当 P = Q {\displaystyle P=Q} 到的距离通常并不等于从到的距离。


自信息和KL散度


互信息和KL散度


信息熵和KL散度


条件熵和KL散度


交叉熵和KL散度

相关

  • 细胞分裂素细胞分裂素(Cytokinins,缩写CK)是一类植物激素,,可促进植物根和芽中的细胞分裂或细胞质分裂(英语:Cytokinesis)。它们主要参与细胞生长和细胞分化,但也影响顶端优势,腋芽生长,和叶子衰
  • 米尼美尼斯是传说中第一位将古埃及统一起来的统治者。通常认为他于公元前3100年前创立了古埃及第一王朝。如同古罗马的罗慕路斯,美尼斯被视为古埃及历史的创建者。根据传说,将上下
  • 路易-约瑟夫 (法国王太子)法国王太子路易·约瑟夫,全名路易·约瑟夫·泽维尔·弗兰索瓦(法语:Louis Joseph Xavier François de France;1781年10月22日-1789年6月4日),法国国王路易十六和玛丽·安托瓦内特
  • 人民中国《人民中国》(日语:人民中国,英语:People's China)是中国外文局旗下的一份日文杂志,由人民中国杂志社出版发行。截至2013年,该杂志是中国唯一一本在中日两国公开发行的国家级日文综
  • Gossip Girl (Rainbow迷你专辑)“Gossip Girl”是韩国的女子组合Rainbow的首张迷你专辑。2009年11月12日由DSP Media发售。以专辑同名歌曲“Gossip Girl”为派台歌、“Not your Girl”为第二派台歌。2011
  • 花间派花间派是指作品为五代词集《花间集》所收录的词家。代表人物有温庭筠、韦庄、张泌等。一般认为花间派起源于唐代温庭筠,而繁荣于五代时后蜀。严格意义上讲并不能成为一派。一
  • 帕科班巴区坐标:13°31′01″S 72°48′00″W / 13.51694°S 72.80000°W / -13.51694; -72.80000帕科班巴区(西班牙语:Distrito de Pacobamba),是秘鲁的一个区,位于该国南部阿普里马克大区
  • 疾速备战《疾速备战》(英语:,或称作)是一部2019年美国新黑色动作惊悚片,由查德·史塔赫斯基执导,德瑞克·柯斯达、谢伊·哈登、克里斯·柯林斯(英语:Chris Collins (writer))及马可·阿布拉姆
  • 罗德里格旋转公式在三维旋转理论体系中,罗德里格旋转公式是在给定转轴和旋转角度后,旋转一个向量的有效算法。这个公式以欧林·罗德里格(英语:Olinde Rodrigues)命名。罗德里格于1840年发表此公式
  • 代理服务器代理(英语:Proxy)也称网络代理,是一种特殊的网络服务,允许一个网络终端(一般为客户端)通过这个服务与另一个网络终端(一般为服务器)进行非直接的连接。一些网关、路由器等网络设备具