相对熵

✍ dations ◷ 2025-06-07 12:29:47 #概率与统计,应用数学,概率论,信息论,信息学熵

KL散度(Kullback-Leibler divergence,简称KLD),在讯息系统中称为相对熵(relative entropy),在连续时间序列中称为随机性(randomness),在统计模型推断中称为讯息增益(information gain)。也称讯息散度(information divergence)。

KL散度是两个概率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数。典型情况下,P表示数据的真实分布,Q表示数据的理论分布、估计的模型分布、或P的近似分布。

对于离散随机变量,其概率分布 和 的KL散度可按下式定义为

等价于

即按概率求得的和的对数商的平均值。KL散度仅当概率和各自总和均为1,且对于任何皆满足 Q ( i ) > 0 {\displaystyle Q(i)>0} 和可按积分方式定义为

其中和分别表示分布和的密度。

更一般的,若和为集合的概率测度,且关于绝对连续,则从到的KL散度定义为

其中,假定右侧的表达形式存在,则 d Q d P {\displaystyle {\frac {{\rm {d}}Q}{{\rm {d}}P}}} 关于的R–N导数。

相应的,若关于绝对连续,则

即为关于的相对熵。

相对熵的值为非负数:

由吉布斯不等式可知,当且仅当 P = Q {\displaystyle P=Q} 到的距离通常并不等于从到的距离。


自信息和KL散度


互信息和KL散度


信息熵和KL散度


条件熵和KL散度


交叉熵和KL散度

相关

  • 波萝勉省波萝勉省(高棉语:ខេត្តព្រៃវែង,高棉语发音:.mw-parser-output .IPA{font-family:"Charis SIL","Doulos SIL","Linux Libertine","Segoe UI","Lucida Sans Unicode",
  • 约瑟夫·沃尔普约瑟夫·沃尔普(英语:Joseph Wolpe,1915年4月20日-1997年12月4日),是南非的一位精神病学家和行为治疗家,为最具影响力的人物之一。沃尔普在南非长大,就读于帕克敦男子高中并从威特沃
  • 蔓越莓蔓越橘(英语:Cranberry),又称蔓越莓、小红莓,是杜鹃花科越橘属红莓苔子亚属(学名:拉丁语:Oxycoccus),又名毛蒿豆亚属的俗称,此亚属的物种均为常绿灌木,主要生长在北半球气候较清凉的温带
  • 内消旋体内消旋化合物是含有超过两个手性碳原子但没有旋光性的化合物。例如,酒石酸的一种异构体就是内消旋化合物,这是由于其分子有对称平面。一般情况下,如果分子含有超过两个手性碳原
  • 隆都话广东省中山市沙溪、大涌、南蓢、三乡及火炬开发区等地;中山闽语是汉藏语系汉语族闽语支闽南语在广东省境内的一种方言,通行于古香山县之隆都、得能都、四大都、谷都和恭常都等
  • 襄阳市襄阳市,简称襄,曾称襄州、襄樊,是中华人民共和国湖北省下辖的地级市,位于湖北省北部,汉水中游。市境西界十堰市、神农架林区,西南邻宜昌市,东南接荆门市,东毗随州市,北达河南省南阳市
  • 伊萨·本·阿里·阿勒哈利法伊萨·本·阿里·阿勒哈利法(1848年至1932年)是从1869年开始统治的巴林国王,一直统治到他逝世为止,他的头衔是巴林哈基姆。他是该地区的在位时间最长的君主,统治长达63年。1923年
  • 李蓓芬李蓓芬(1950年4月-),上海人,中华人民共和国政治人物、外交官。曾任外交部新闻司处长、参赞。2004年,接替王信石担任中华人民共和国驻贝宁大使。期间被授予贝宁国家荣誉勋章。2008
  • 玛丽·阿黛拉伊德 (卢森堡大公)玛丽·阿黛拉伊德女大公(全名玛丽·阿黛拉伊德·特雷丝·希尔达·威廉敏娜;卢森堡语:Marie Adélaïde Theresia Hilda Antonia Wilhelmina,1894年6月14日 – 1924年1月24日),威廉
  • 王宗诚王宗诚(1763年-1837年),字中孚,号廉甫,安徽青阳人。清朝嘉庆、道光年间政治人物。王宗诚之父王懿修为乾隆三十一年(1766年)进士,官至礼部尚书、太子少保。他本人于乾隆五十五年(1790年