条件熵

✍ dations ◷ 2025-07-26 03:30:21 #信息学熵,信息论

在信息论中,条件熵描述了在已知第二个随机变量 X {\displaystyle X} 可以理解,对于确定的 >0,表达式 0 log 0 和 0 log (/0) 应被认作等于零。

当且仅当 Y {\displaystyle Y} 和 确定的组合系统的联合熵为 H ( X , Y ) {\displaystyle \mathrm {H} (X,Y)}

链式法则接着上面条件熵的定义:

条件熵的贝叶斯规则(英语:Bayes' rule)表述为

H ( Y | X ) = H ( X , Y ) H ( X ) {\displaystyle H(Y|X)=H(X,Y)-H(X)} and H ( X | Y ) = H ( Y , X ) H ( Y ) {\displaystyle H(X|Y)=H(Y,X)-H(Y)} 。对称性意味着 H ( X , Y ) = H ( Y , X ) {\displaystyle H(X,Y)=H(Y,X)} 。将两式相减即为贝叶斯规则。

在量子信息论中,条件熵都概括为量子条件熵。

相关

  • 犹太教犹太教(希伯来语:.mw-parser-output .script-hebrew,.mw-parser-output .script-Hebr{font-size:1.15em;font-family:"Ezra SIL","Ezra SIL SR","Keter Aram Tsova","Taamey A
  • 语言相对论语言相对论(英语:linguistic relativity),也称为萨丕尔-沃夫假说(英语:Sapir–Whorf hypothesis),由语言学家兼人类学家爱德华·萨丕尔(Edward Sapir)及其学生本杰明·李·沃夫(Benjami
  • 巴勒斯坦人黎凡特人、迦南人、海上民族与地中海民族。巴勒斯坦人(阿拉伯语:الشعب الفلسطيني‎,ash-shaʼb al-filasTīni)或称为巴勒斯坦阿拉伯人(阿拉伯语:الفلسطين
  • 碧海蓝天《碧海蓝天》(法语:Le Grand Bleu),是法国电影导演卢·贝松于1988年完成与首映的经典作品。情节讲述法国知名潜者贾克马攸(Jacques Mayol)的故事,但多为虚构情节。其风格有别于新浪
  • 曼尼希反应曼尼希反应(Mannich反应,简称曼氏反应),也称作胺甲基化反应,是含有活泼氢的化合物(通常为羰基化合物)与甲醛和二级胺或氨缩合,生成β-氨基(羰基)化合物的有机化学反应。一般醛亚胺与α
  • 肌卫星细胞肌卫星细胞(Myosatellite cell)是一种位于骨骼肌中的细胞。肌卫星细胞呈扁平形,有突起,通常附着在肌纤维表面。当肌纤维受损伤后,肌卫星细胞可增殖分化,参与肌纤维的修复,具有干细
  • Animelo Summer LiveAnimelo Summer Live(日语:アニメロサマーライブ,直译为“动画旋律的夏季演唱会”),简称“Ani Summer”(アニサマ),是由开设动画歌曲专门的手机来电答铃网站“Animelomix”的DWANGO
  • 约翰·莫顿小约翰·莫顿(英语:John Morton Jr.,1967年5月18日-),美国NBA联盟前职业篮球运动员。他在1989年的NBA选秀中第1轮第25顺位被克利夫兰骑士选中。
  • 红千层红千层(学名:)为桃金娘科红千层属下的常绿小乔木,原生于澳洲,一般高度及树冠阔度只有2米。树皮呈灰褐色,与亲缘关系相近的千层树同样有可剥落树皮,但不呈海绵状而较坚实。叶是长线
  • 亚历山德里娅·奥卡西奥-科尔特斯亚历山德里娅·奥卡西奥-科尔特斯(英语:Alexandria Ocasio-Cortez,1989年10月13日-),昵称“AOC”,美国政治人物、社会运动人士,第116届美国众议院议员,代表纽约州第14选区。她支持民