熵率

✍ dations ◷ 2025-12-08 17:07:30 #信息论,熵,马尔可夫模型

在概率的数学理论中,非正式地说,一个随机过程的熵率或信源信息率是在一个随机过程的平均信息的时间密度。对于一个索引可数的随机过程,熵率 Η() 是 个 过程作为成员的联合熵,在 趋向无穷时的极限:

前提是该极限存在。另一种相关量为:

对于强平稳随机过程, H ( X ) = H ( X ) {\displaystyle \mathrm {H} (X)=\mathrm {H} '(X)} 的马尔可夫链 ,Η() 由下式给出:

其中 是该链的平稳分布。

此定义的一个简单结果是,一个独立同分布的随机过程的熵率与该过程中的任何个别成员的熵相同。

相关

  • 逆问题逆问题是一个关于如何将观测和测量的结果转换为物体或系统的信息的广义框架。比如,如果我们有一个关于地球重力场的测量结果,我们就会问:“利用现有的信息,我们能否得到地球的密
  • 戎克船戎克船,又称为“䑸”,中国古帆船的一种。日文汉字“戎克”为马来语“dgong”或“jong”的音译;也有说法是音译自葡萄牙文“junco”(意为冲锋)。中国史学家朱维干考查证据,是由闽南
  • 人造板人造板是由以木质材料或其他植物纤维为主要原料,通过专门的加工工艺,在一定的条件下压制而成的板材或型材。 按照不同工艺流程,主要分为胶合板、刨花板、纤维板和复合人造板。
  • 威尔士地方政府政治主题威尔士的行政区划分两个层级,分别是主要地区(principal area)和社区(community)。主要地区为单一层级(single-tier)的行政区,似单一管理区,政府有原先县和区2级行政区的权限
  • 庄他武里府 small(尖竹汶府)/small庄他武里府(泰语:จังหวัดจันทบุรี,皇家转写:Changwat Chanthaburi,泰语发音:),是泰国东部府份,华人又称其为尖竹汶府。在泰-柬边界,靠近柬埔寨的马德望和拜林省。北到南
  • 英雄儿女《英雄儿女》是1964年中国摄制的一部抗美援朝题材的电影,由长春电影制片厂摄制,与《上甘岭》《奇袭白虎团》和《冰血长津湖》为同一类型电影。电影《英雄儿女》是由巴金的小说
  • 在路上《在路上》(英语:On the Road) 是美国“垮掉的一代”作家杰克·凯鲁亚克创作于1957年的小说。这部小说绝大部分是自传性的,基于作者横穿20世纪中期的美国大陆的经历。它一经问世
  • 2005年世界博览会2005年日本世界博览会(The 2005 World Exposition, Aichi, Japan,简称EXPO 2005)是2005年3月25日至2005年9月25日在日本爱知县濑户市、丰田市和长久手市举办的世界博览会。森林
  • 2013年美国驻土耳其大使馆爆炸案2013年2月1日,一名自杀式爆炸者袭击了美国驻土耳其安卡拉大使馆,造成一名保安死亡,另有三人受伤。爆炸袭击发生后,土耳其和美国都谴责了这一恐怖主义行为。2013年2月1日,约13:15
  • Agnez Mo《Agnez Mo》是印度尼西亚女歌手Agnes Monica的第二张录音室专辑,于2013年6月1日推出。自同名专辑推出她的新,这在以前被称为“艾格尼丝莫妮卡”。它最初被记录为它发给了唱片