熵率

✍ dations ◷ 2025-09-09 13:57:50 #信息论,熵,马尔可夫模型

在概率的数学理论中,非正式地说,一个随机过程的熵率或信源信息率是在一个随机过程的平均信息的时间密度。对于一个索引可数的随机过程,熵率 Η() 是 个 过程作为成员的联合熵,在 趋向无穷时的极限:

前提是该极限存在。另一种相关量为:

对于强平稳随机过程, H ( X ) = H ( X ) {\displaystyle \mathrm {H} (X)=\mathrm {H} '(X)} 的马尔可夫链 ,Η() 由下式给出:

其中 是该链的平稳分布。

此定义的一个简单结果是,一个独立同分布的随机过程的熵率与该过程中的任何个别成员的熵相同。

相关

  • 种子植物种子植物是由可产生种子的植物所组成的,有胚植物的一个子类群。它是所有植物中最进化的一个物种。无论在物种数量和地理分布也是最多最广的。现存的种子植物可以分为五种类群
  • 第10大进口国这是一个各国及地区进口列表,数据基于世界贸易组织,采用CIF统计各国及地区货物进口额。
  • 沙漠疣猪荒漠疣猪(Phacochoerus aethiopicus),亦称沙漠疣猪,是一种生活在非洲的哺乳动物,属于猪科疣猪属的一种。荒漠疣猪主要分布在肯尼亚北部、索马里,吉布提、厄立特里亚和埃塞俄比亚也
  • 天下文化出版社天下文化出版公司,简称天下文化,是台湾一家综合性出版社,为“远见·天下文化事业群”的核心成员。由经济学家高希均先生与新闻人王力行女士于1982年创立,以“传播进步观念、丰富
  • 性健康生殖健康(reproductive health)或是性健康(sexual health)是指在人生各阶段中的生殖过程、生殖机能以及生殖系统的健康,而 世界卫生组织对健康的定义是:“健康不仅为疾病或虚弱之
  • 医学人文研究院/公共教学部北京大学医学部公共教学部承担北京大学医学部所有非医学课程的教学任务,包括人文科学、政治类课程、心理学课程、数学、英语以及体育课的教学等,成立于2002年7月。北京大学医
  • 结构 (数理逻辑)在数学学科模型论中,语言 L {\displaystyle {\mathcal {L}}} 的结构
  • 朝鲜肃宗朝鲜肃宗(朝鲜语:조선 숙종/朝鮮 肅宗 ;1661年-1721年),名李焞(朝鲜语:이순/李焞 ),幼名龙祥,字明普,是朝鲜王朝的第19代君主,1674年至1720年在位。显宗二年八月十五日,王妃金氏在庆德宫会
  • 平出修平出修(1878年4月3日~1914年3月17日)是一位日本作家,出生于日本新潟县中蒲原郡石山村(现新潟市)。
  • 俄罗斯形式主义俄罗斯形式主义,是指二十世纪10年代到30年代时期,在俄国盛行的一个有影响的文艺评论流派。它包含了许多颇具影响的俄国和苏联学者的作品,例如维克托·什克洛夫斯基、提尼雅诺夫