相对熵

✍ dations ◷ 2025-04-03 13:06:42 #概率与统计,应用数学,概率论,信息论,信息学熵

KL散度(Kullback-Leibler divergence,简称KLD),在讯息系统中称为相对熵(relative entropy),在连续时间序列中称为随机性(randomness),在统计模型推断中称为讯息增益(information gain)。也称讯息散度(information divergence)。

KL散度是两个概率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数。典型情况下,P表示数据的真实分布,Q表示数据的理论分布、估计的模型分布、或P的近似分布。

对于离散随机变量,其概率分布 和 的KL散度可按下式定义为

等价于

即按概率求得的和的对数商的平均值。KL散度仅当概率和各自总和均为1,且对于任何皆满足 Q ( i ) > 0 {\displaystyle Q(i)>0} 和可按积分方式定义为

其中和分别表示分布和的密度。

更一般的,若和为集合的概率测度,且关于绝对连续,则从到的KL散度定义为

其中,假定右侧的表达形式存在,则 d Q d P {\displaystyle {\frac {{\rm {d}}Q}{{\rm {d}}P}}} 关于的R–N导数。

相应的,若关于绝对连续,则

即为关于的相对熵。

相对熵的值为非负数:

由吉布斯不等式可知,当且仅当 P = Q {\displaystyle P=Q} 到的距离通常并不等于从到的距离。


自信息和KL散度


互信息和KL散度


信息熵和KL散度


条件熵和KL散度


交叉熵和KL散度

相关

  • 苏联最高苏维埃主席团苏联主题苏联最高苏维埃主席团是前苏联最高权力机关苏联最高苏维埃的常设机构,在最高苏维埃休会期间执行其职权。主席团首脑为“苏联最高苏维埃主席团主席”,同时也是苏联的国
  • 世界卫生组织的必备药物清单世界卫生组织基本药物标准清单(法语:Listes modèles OMS des médicaments essentiels;英语:WHO Model List of Essential Medicines;简称EML)是世界卫生组织(WHO或称世卫组织)的出
  • 发声能力发音(英语:Pronunciation)是指:一个词语在不同的个体与群组有着不同的发音方式,取决于很多因素,譬如他们发展的时间、词语发展地、使用者的成长地、使用者的现居地、社会阶层和教
  • 概率空间概率空间是概率论的基础。概率的严格定义基于这个概念。概率空间(Ω, F, P)是一个总测度为1的测度空间(即P(Ω)=1).第一项Ω是一个非空集合,有时称作“样本空间”。Ω 的集合元
  • 煨桑煨桑,是藏人的祭祀习俗,即焚烧谷物、松柏枝等产生烟雾祭祀鬼神的活动,直译为“烟祭”。原本是本土苯教的祭礼,后被藏传佛教吸收用于礼敬佛菩萨。煨桑是藏语音译,“煨”的意义是烟
  • 北京工商大学北京工商大学(Beijing Technology and Business University),简称北工商,由原北京商学院、北京轻工业学院以及机械工业学院合并成立的北京市重点大学。学校现有教职工1525人。学
  • 草虾草虾(学名:Penaeus monodon)或称黑虎虾、鬼虾、牛形对虾,是对虾属下的一种虾。是对虾科中的最大种,最大体长可达33厘米。草虾分布于印度洋-太平洋海域,东至日本海、西至非洲西海岸
  • 贝斯 (埃及神祇)贝斯(Bes)是古埃及的一个神祇。祂身材矮小,一双脚是畸形的。祂整天都是高兴的,爱管闲事,是一个保护家庭、孩子和工作的家神。此外,祂还保护婚礼和分娩,也是一位保护音乐和舞蹈的神
  • 1-萘甲酸1-萘甲酸是一种有机化合物,化学式为C10H7CO2H。它是C-H键活化反应的常见底物。它可以由1-溴萘的格氏试剂的羧基化反应或1-甲基萘的氧化反应制得。
  • 西瓜鬼西瓜鬼,是台湾传说中的鬼怪,会变成西瓜以捉弄他人。西瓜鬼喜欢变成一颗西瓜出现在河边,让经过的人以为是其他人掉的而去拿,并在他们拿起来的时候从他们的手里溜走。据说过去有一