熵率

✍ dations ◷ 2025-12-03 16:30:41 #信息论,熵,马尔可夫模型

在概率的数学理论中,非正式地说,一个随机过程的熵率或信源信息率是在一个随机过程的平均信息的时间密度。对于一个索引可数的随机过程,熵率 Η() 是 个 过程作为成员的联合熵,在 趋向无穷时的极限:

前提是该极限存在。另一种相关量为:

对于强平稳随机过程, H ( X ) = H ( X ) {\displaystyle \mathrm {H} (X)=\mathrm {H} '(X)} 的马尔可夫链 ,Η() 由下式给出:

其中 是该链的平稳分布。

此定义的一个简单结果是,一个独立同分布的随机过程的熵率与该过程中的任何个别成员的熵相同。

相关

  • 资讯信息(英语:Information),又称情报,是一个严谨的科学术语,其定义不统一,是由它的极端复杂性决定的,获取信息的主要方法为六何法。信息的表现形式多不胜数:声音、图片、温度、体积、颜
  • 立毛肌立毛肌是哺乳动物附着在毛囊上的小块肌肉,这些肌肉的收缩会使毛发直立,俗称鸡皮疙瘩。立毛肌由平滑肌纤维以束状组成,受到自律神经系统的交感神经支配,故其收缩为非自主行为,例如
  • 既定观点用词既定观点词语(Loaded Words, loaded language, loaded term)、情感性用语(emotive language)、或偏见性用语(prejudicial language),系指使用带有情感、评价意义的字词描述客观事实
  • 伊斯兰教法伊斯兰教法,音译为沙里亚(阿拉伯语:شريعة‎,Šarīʿa,.mw-parser-output .IPA{font-family:"Charis SIL","Doulos SIL","Linux Libertine","Segoe UI","Lucida Sans Unicod
  • 1169年重要事件及趋势重要人物
  • 松子松子(英语:pine nut、意大利语:pinoli)即松科植物的种子,又名松仁、松仁子或松子仁,可入药、做菜,炒熟后可作小吃。 平日常食用的松子有从红松的种子,也有来自意大利石松的种子,其形
  • 腹胚亚目见内文抱卵亚目(学名:Pleocyemata),又称腹胚亚目,是甲壳亚门十足目中的一个亚目,它是1963年由马丁·布尔肯罗德(Martin Burkenroad)提出的。通过引入抱卵亚目,布尔肯罗德使用单系群的
  • 1991年大西洋飓风季1991年大西洋飓风季是24年来首个没有任何一场飓风是由东风波发展而成的大西洋飓风季,而大部分北大西洋热带气旋的源头都是东风波。本次飓风季于6月1日正式开始,持续到11月30日
  • 三圃制三圃制是指农民把土地分成三部分,进行轮作,假如第一块地某年种植小麦(通常是秋播),则第二块土地该年种植大麦(通常是春播),第三块土地则当年休息,隔年三块土地上的作物轮换,三年为一个
  • 约瑟夫·布罗伊尔约瑟夫·布罗伊尔(Josef Breuer,1842年1月15日-1925年6月20日),一位在1880年代紧密地和西格蒙德·弗洛伊德一起工作的奥地利心理医生,并且企图以催眠来减轻病人的神经官能症。