相对熵

✍ dations ◷ 2025-04-04 11:19:45 #概率与统计,应用数学,概率论,信息论,信息学熵

KL散度(Kullback-Leibler divergence,简称KLD),在讯息系统中称为相对熵(relative entropy),在连续时间序列中称为随机性(randomness),在统计模型推断中称为讯息增益(information gain)。也称讯息散度(information divergence)。

KL散度是两个概率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数。典型情况下,P表示数据的真实分布,Q表示数据的理论分布、估计的模型分布、或P的近似分布。

对于离散随机变量,其概率分布 和 的KL散度可按下式定义为

等价于

即按概率求得的和的对数商的平均值。KL散度仅当概率和各自总和均为1,且对于任何皆满足 Q ( i ) > 0 {\displaystyle Q(i)>0} 和可按积分方式定义为

其中和分别表示分布和的密度。

更一般的,若和为集合的概率测度,且关于绝对连续,则从到的KL散度定义为

其中,假定右侧的表达形式存在,则 d Q d P {\displaystyle {\frac {{\rm {d}}Q}{{\rm {d}}P}}} 关于的R–N导数。

相应的,若关于绝对连续,则

即为关于的相对熵。

相对熵的值为非负数:

由吉布斯不等式可知,当且仅当 P = Q {\displaystyle P=Q} 到的距离通常并不等于从到的距离。


自信息和KL散度


互信息和KL散度


信息熵和KL散度


条件熵和KL散度


交叉熵和KL散度

相关

  • 髌骨髌骨(拉丁语:patella)是一个很厚的、形状介乎于三角形和圆形之间的骨骼,与股骨相连,包裹并保护膝关节的前关节面。髌骨在许多四足动物身上都有出现,如鼠、猫、鸟等,但鲸、大部分爬
  • 温凯亚·奈都穆普珀沃勒普·温凯亚·奈都(英语:Muppavarapu Venkaiah Naidu,1949年7月1日-),是印度第13任副总统。曾担任印度城市发展部长。于2017年8月11日宣誓就任印度副总统。
  • 突厥突厥(土耳其语:Türk;维吾尔语:تۈرك / Türk),是生活在欧亚大陆,使用突厥语族语言的民族群体,狭义的突厥人专指曾建立突厥汗国那部分古突厥人(即以阿史那部落为核心的部落联盟);广
  • 东京足球俱乐部东京足球俱乐部(F.C. Tokyo,一般称作东京FC)是日本职业足球联赛的球队之一。东京FC俱乐部的总部位于东京,于1999年加入日本职业足球联赛。现时以味之素体育场作为主场,在1999-2000
  • 纳许维尔纳什维尔(英语:Nashville, Tennessee),位于美国田纳西州戴维森县坎伯兰河畔,以美国独立战争期间阵亡的将军弗朗西斯·纳什命名,是该州首府,也是仅次于孟菲斯的第二大城市。根据美国
  • 巴里·夏普莱斯卡尔·巴里·夏普莱斯(英语:K. Barry Sharpless,1941年4月28日-),美国化学家,前麻省理工学院化学系正教授,2001年诺贝尔化学奖得主。基于他对点击化学的突出贡献,汤森路透预测他将二
  • 马先登马先登(1807年-1876年),字伯岸,号龙坊,清朝官员。陕西大荔县东小坡人。马先登幼时家贫,父马腾蛟为诸生,以教授童蒙为生。其父开馆授业时,先登也随其读书。后来家境更加贫寒,经常断炊,但
  • 亚历山大·伊万诺维奇·克里尼茨基亚历山大·伊万诺维奇·克里尼茨基(俄语:Алекса́ндр Ива́нович Крини́цкий,1894年8月28日(9月9日)-1937年10月30日)是全联盟共产党(布尔什维克)中央组
  • 宫原武熊宫原武熊(日语:みやはら · たけくま,英语:Miyahara Takekuma,1874年(明治7年)12月13日- ?),日本鹿儿岛县人,前后就读于日本爱知医学校、东京帝国大学医科、慕尼黑大学、柏林大学、奥
  • 线粒体分裂线粒体分裂是线粒体增殖的过程,在真核细胞内持续进行并受到高度调控。线粒体它使得细胞内不同区域的线粒体明确分工,并分裂在线粒体分布方面有重要作用(对细胞分裂后保证线粒体