相对熵

✍ dations ◷ 2025-07-06 03:21:46 #概率与统计,应用数学,概率论,信息论,信息学熵

KL散度(Kullback-Leibler divergence,简称KLD),在讯息系统中称为相对熵(relative entropy),在连续时间序列中称为随机性(randomness),在统计模型推断中称为讯息增益(information gain)。也称讯息散度(information divergence)。

KL散度是两个概率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数。典型情况下,P表示数据的真实分布,Q表示数据的理论分布、估计的模型分布、或P的近似分布。

对于离散随机变量,其概率分布 和 的KL散度可按下式定义为

等价于

即按概率求得的和的对数商的平均值。KL散度仅当概率和各自总和均为1,且对于任何皆满足 Q ( i ) > 0 {\displaystyle Q(i)>0} 和可按积分方式定义为

其中和分别表示分布和的密度。

更一般的,若和为集合的概率测度,且关于绝对连续,则从到的KL散度定义为

其中,假定右侧的表达形式存在,则 d Q d P {\displaystyle {\frac {{\rm {d}}Q}{{\rm {d}}P}}} 关于的R–N导数。

相应的,若关于绝对连续,则

即为关于的相对熵。

相对熵的值为非负数:

由吉布斯不等式可知,当且仅当 P = Q {\displaystyle P=Q} 到的距离通常并不等于从到的距离。


自信息和KL散度


互信息和KL散度


信息熵和KL散度


条件熵和KL散度


交叉熵和KL散度

相关

  • 凯泽在物理学里,波数是波动的一种性质,定义为每 2π 长度的波长数量(即每单位长度的波长数量乘以 2π)。更明确地说,波数是每 2π 长度内,波动重复的次数(一个波动取同样相位的次
  • 普及流行文化(英语:Popular Culture或Pop Culture),又称为通俗文化及大众文化,指在现代社会中盛行的地区上文化,包括想法、观点、态度、迷因、图像及其他现象等。在中文里没有对应词,只
  • 斯蒂夫·沃兹尼亚克史蒂芬·加里·沃兹尼亚克(英语:Stephen Gary Wozniak,1950年8月11日-),美国电脑工程师,曾与斯蒂夫·乔布斯合伙创立苹果电脑(今苹果公司)。沃兹尼亚克在1970年代中期创造出第一代苹
  • 1561年
  • 深圳高级中学深圳高级中学(集团)中心校区位于广东省深圳市福田区春田路2号,原名福田中心区重点中学。深圳市高级中学由深圳市委、深圳市政府在1995年1月开始筹建,并于1997年9月开始招生,于201
  • 波兰国家图书馆波兰国家图书馆(波兰语:Biblioteka Narodowa)是波兰的中央图书馆,直接受波兰文化和国家遗产部管辖。除了波兰国家图书馆之外,在波兰只有雅盖隆图书馆也享有国家图书馆的地位。波
  • 硫化硼硫化硼是一种无机化合物,化学式为B2S3。它曾在“高科技”玻璃与制备有机硫化合物方面受到重视。和硫化硅、硫化磷一样,硫化硼可以和水(或者潮湿的空气)反应,放出硫化氢。因此,硫化
  • 首尔地下铁首尔地下铁(朝鲜语:서울 지하철/서울 地下鐵  */?)是位于韩国首尔的城市轨道交通系统,属于首都圈电铁的一部分。目前拥有9条路线,分别由2间公司营运。首尔地下铁分为9条线路。其
  • 半村良半村 良(1933年-2002年),本名清野平太郎,日本小说家。1933年10月27日,半村良于东京都出生,东京都立两国高等学校毕业。1971年,半村良出版《石头的血脉》,开创了日后风行不衰的“传奇S
  • 东安江东安江,流经中国广西壮族自治区东部和广东省西部,是贺江右岸支流,发源于贺州市八步区南部大桂山东麓,向南流经苍梧县沙头镇、石桥镇、木双镇,于广东省封开县大洲镇汇入贺江。干流