熵率

✍ dations ◷ 2025-11-30 15:33:06 #信息论,熵,马尔可夫模型

在概率的数学理论中,非正式地说,一个随机过程的熵率或信源信息率是在一个随机过程的平均信息的时间密度。对于一个索引可数的随机过程,熵率 Η() 是 个 过程作为成员的联合熵,在 趋向无穷时的极限:

前提是该极限存在。另一种相关量为:

对于强平稳随机过程, H ( X ) = H ( X ) {\displaystyle \mathrm {H} (X)=\mathrm {H} '(X)} 的马尔可夫链 ,Η() 由下式给出:

其中 是该链的平稳分布。

此定义的一个简单结果是,一个独立同分布的随机过程的熵率与该过程中的任何个别成员的熵相同。

相关

  • 假病毒科假病毒属 Pseudovirus 半病毒属 Hemivirus假病毒科(Pseudoviridae),又译作伪病毒科,是一种拥有反转录酶的单链RNA病毒。该类病毒主要感染真菌和无脊椎动物。其下有二属:
  • 科学大纲 §社会科学以下大纲是科学的主题概述:科学(英语:Science,希腊语:Επιστήμη)是通过经验实证的方法,对现象(原来指自然现象,现泛指包括社会现象等现象)进行归因的学科。科学活动所得的知识
  • 阿富汗中华民国与阿富汗关系是指中华民国与阿富汗伊斯兰共和国之间的关系。两国于1944-1950年有官方外交关系,断交后,目前没有在对方首都互设具大使馆性质的代表机构。对阿富汗的相关
  • 低温发电朗肯循环(英语:Rankine Cycle)也被称为兰金循环,是一种将热能转化为功的热力学循环。郎肯循环从外界吸收热量,将其闭环的工质,通常使用水加热做功。郎肯循环产生世界上90%的电力,包
  • 报任安书《报任少卿书》是司马迁给其友任少卿(姓任名安, 字少卿)的一封回信。因从回信中可以见到太史公司马迁写史记的理想,故为后代所传颂。汉武帝征和二年(前91年)发生巫蛊之祸,司马迁之
  • 贾克·大地贾克·大地(Jacques Tati,原名为Jacques Tatischeff)是一位法国电影导演与演员,代表作为《我的舅舅》、《于洛先生的假期》和《游戏时间》。一生仅拍了六部长片与三部短片。在学
  • 弦乐器弦乐器是指以弦振动而发出声音的乐器之总称。依使弦发声的方法,可分为下列三种:中乐 - 琵琶及二胡
  • 隆头鱼属隆头鱼属(学名:)是隆头鱼目隆头鱼科的一个属,其下生物分布于大西洋东部至地中海、黑海海域。本属属于隆头鱼亚科,其下共有四种:
  • 伯翰·加利昂伯翰·加利昂(阿拉伯语: برهان غليون),叙利亚裔法国政治学教授兼作家,任教于巴黎第三大学,2011年8月29日担任叙利亚全国委员会主席。他于2012年5月下旬由于受到批评而
  • 麦斯卡拉姆杜格麦斯卡拉姆杜格(约公元前27世纪后期在位)(英语:Meskalamdug)乌尔国王。其墓被莱昂纳多·伍利爵士发现并发掘。出土了一盏贝壳形状的金油灯和一盏精致的金头盔。