相对熵

✍ dations ◷ 2024-12-23 11:35:35 #概率与统计,应用数学,概率论,信息论,信息学熵

KL散度（Kullback-Leibler divergence，简称KLD），在讯息系统中称为相对熵（relative entropy），在连续时间序列中称为随机性（randomness），在统计模型推断中称为讯息增益（information gain）。也称讯息散度（information divergence）。

KL散度是两个概率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数。典型情况下，P表示数据的真实分布，Q表示数据的理论分布、估计的模型分布、或P的近似分布。

对于离散随机变量，其概率分布和的KL散度可按下式定义为

等价于

即按概率求得的和的对数商的平均值。KL散度仅当概率和各自总和均为1，且对于任何皆满足 $Q(i)>0$ 和可按积分方式定义为

其中和分别表示分布和的密度。

更一般的，若和为集合的概率测度，且关于绝对连续，则从到的KL散度定义为

其中，假定右侧的表达形式存在，则 ${\frac {{\rm {d}}Q}{{\rm {d}}P}}$ 关于的R–N导数。

相应的，若关于绝对连续，则

即为关于的相对熵。

相对熵的值为非负数：

由吉布斯不等式可知，当且仅当 $P=Q$ 到的距离通常并不等于从到的距离。

自信息和KL散度

互信息和KL散度

信息熵和KL散度

条件熵和KL散度

交叉熵和KL散度

相关

三氧化氮三氧化氮是一种不稳定的氮氧化物，化学式为NO3。它是五氧化二氮气相分解的中间产物：该物质存在时间很短，但吸收光谱能检测到它的存在。实验证明它具有顺磁性。它还与五氧化二氮
曾庆存北京大学（本科）曾庆存（1935年5月4日－），中国气象学家、大气科学家和地球流体力学家。现任中国科学院大学大气物理研究所研究员、博士生导师。1935年5月，曾庆存出生于广东省阳江市的
嘉靖大地震嘉靖大地震，也称华县大地震，是中国明朝嘉靖三十四年腊月十二（1556年1月23日）发生的一次大型地震，震中位于陕西省华县，测算地震震级8.25级，陕西、山西、河南、甘肃等地的101个县受灾
兰科菌根兰菌根（英语：Orchid mycorrhiza, OM）是兰科植物与真菌所形成的一种菌根。兰菌根对许多兰科植物种子的萌发相当重要，因为许多兰科的种子不具有任何养分储备，完全以菌异养的方式透
拳霸《拳霸》（泰语：องค์บาก）是一部于2003年上映的泰国电影，片中打斗场面均为真功夫，并未使用替身、吊钢线或电脑图像。由巴猜·平桥（泰语：ปรัชญา ปิ่นแก้ว）执导。
梯梯又称梯子，指的是一种用于垂直移动的建筑或工具。具体细分之，梯的种类包括：广义上的：
计算机成像计算机产生图像（英文：Computer-generated imagery，缩写：CGI），简称计算机成像，旧称计算机绘图（英文：Computer Graphics，缩写：CG），是指使用计算机产生的影像，更精确的如应用在影片中的三维特
科尔玛·冯·德·戈尔茨威廉·利奥波德·科尔玛·冯·德·戈尔茨男爵（Wilhelm Leopold Colmar Freiherr von der Goltz，1843年8月12日－1916年4月19日），又称戈尔茨帕夏，普鲁士陆军元帅和军事作家。1843年
两杆大烟枪《两杆大烟枪》（英语：）是一部1998年英国黑色喜剧电影，由盖伊·里奇执导、编剧。导演盖伊·里奇以本片赢得国际赞誉，片中演员维尼·琼斯（前威尔士国际足球选手）与杰森·斯坦森也因而
弗尔迪·拉斯洛弗尔迪·拉斯洛（匈牙利语：Földy László，1934年9月30日－2015年2月17日），匈牙利男子乒乓球运动员。他曾获得2枚欧洲乒乓球锦标赛金牌。