条件熵

✍ dations ◷ 2025-07-02 11:18:24 #信息学熵,信息论

在信息论中，条件熵描述了在已知第二个随机变量 $X {\displaystyle X}$ 可以理解，对于确定的 >0，表达式 0 log 0 和 0 log (/0) 应被认作等于零。

当且仅当 $Y {\displaystyle Y}$ 和确定的组合系统的联合熵为 $\mathrm {H} (X,Y)$ ：

链式法则接着上面条件熵的定义：

条件熵的贝叶斯规则（英语：Bayes' rule）表述为

$H(Y|X)=H(X,Y)-H(X)$ $H(Y|X)=H(X,Y)-H(X)$ and $H(X|Y)=H(Y,X)-H(Y)$ $H(X|Y)=H(Y,X)-H(Y)$ 。对称性意味着 $H(X,Y)=H(Y,X)$ $H(X,Y)=H(Y,X)$ 。将两式相减即为贝叶斯规则。

在量子信息论中，条件熵都概括为量子条件熵。

相关

刺身刺身（日语：刺身／さしみ sashimi *；或音译沙西米），多指生鱼片，但也可用鸡肉、马肉或是任何可以切成片状食用的食材制作，是一种常见的日本料理。其做法是以新鲜的鱼贝类生切成片，蘸酱
塞拉尼拉浅滩塞拉尼拉浅滩（西班牙语：Banco Serranilla）也作小塞拉纳岛，是加勒比海西部海域一组无人居住的珊瑚礁，现属于哥伦比亚圣安德列斯-普罗维登西亚省管辖，洪都拉斯、尼加拉瓜和美国也对
FeIsub3/sub碘化铁是一种无机化合物，化学式为FeI3。碘化铁是通过在氩气气氛下，二碘化四羰基合铁(II)的稀溶液与过量的碘在正己烷溶液中反应得到：碘化铁可溶于二氯甲烷，形成黑紫色溶液。碘化
日朝关系日本－朝鲜关系是指日本与朝鲜民主主义人民共和国两国之间的关系。目前日本与朝鲜民主主义人民共和国没有建立外交关系并且在很多领域存在着分歧。1948年8月15日，大韩民国成立
格尔尼卡格尔尼卡（西班牙语：Guernica y Luno，巴斯克语：Gernika-Lumo）是西班牙中北部一城镇，位于巴斯克自治区，毕尔巴鄂东北。1937年4月西班牙内战中，纳粹德国的空军轰炸了该镇。这个事件激发
巴儿速孛罗巴儿速孛罗（蒙古语：Барсболд；1490年－1531年），清朝译作巴尔斯博罗特，蒙古大汗，达延汗的第三子，封为济农。达延汗本来指定长子图鲁博罗特的长子博迪为继承人。然而，在1517年达延
美利坚合众国宪法第二条修正案宪法正文I ∙ II ∙ III ∙ IV ∙ V ∙ VI ∙ VII其它修正案 XI ∙ XII ∙ XIII ∙ XIV ∙ XV XVI ∙ XVII ∙ XVIII ∙ XIX ∙ XX XXI ∙ XXII ∙ XXIII ∙
棘刺龙虾Palinurus vulgaris Latreille, 1803棘刺龙虾（Palinurus elephas）是龙虾科中有名的成员，也是十分常见的海产之一。分布于地中海及东大西洋（挪威南部至摩洛哥）。棘刺龙虾为龙虾科
阿塔罗斯柱廊阿塔罗斯柱廊（Στοά του Αττάλου）是位于雅典古市集的一个宏伟的柱廊，由帕加马国王阿塔罗斯二世（公元前159至138年在位）兴建。这座柱廊是典型的希腊化时期建筑，比起古
安全系数安全系数（Factor of safety或是safety factor，简称SF，但通常以FS表示）是指一个结构或是机械所能负荷的负载可以超过预期负载的程度。安全系数为大于等于1的数值，安全系数越高，表示