熵率

✍ dations ◷ 2025-11-28 00:57:08 #信息论,熵,马尔可夫模型

在概率的数学理论中,非正式地说,一个随机过程的熵率或信源信息率是在一个随机过程的平均信息的时间密度。对于一个索引可数的随机过程,熵率 Η() 是 个 过程作为成员的联合熵,在 趋向无穷时的极限:

前提是该极限存在。另一种相关量为:

对于强平稳随机过程, H ( X ) = H ( X ) {\displaystyle \mathrm {H} (X)=\mathrm {H} '(X)} 的马尔可夫链 ,Η() 由下式给出:

其中 是该链的平稳分布。

此定义的一个简单结果是,一个独立同分布的随机过程的熵率与该过程中的任何个别成员的熵相同。

相关

  • 认知语言学认知语言学是语言学的一门颇新分支,它脱胎自认知心理学或认知科学,大约在1980年代后期至1990年代开始成型。认知语言学涉及电脑自然语言理解、人工智能、语言学、心理学、神经
  • 克里斯汀·德·迪夫克里斯汀·德·迪夫(法语:Christian René de Duve,1917年10月2日-2013年5月4日)),出生于英国的细胞学家与生物化学家,是比利时移民的后裔。1920年,他与家人一起回到比利时。他主要
  • 犬齿犬齿,俗称尖牙,是很多哺乳动物口腔中,位于门齿和臼齿之间的牙齿。每侧上下颚各有一枚,一共四枚。犬齿的外形一般呈尖锥形,其牙根比门齿长而粗大,深入牙槽骨中。犬齿因其形状,犬齿更
  • 监护征赋制监护征赋制(西班牙语:Encomienda)或直译委任制度,是一种依赖体系,最初出现在罗马帝国统治下的西班牙,武力强大的人保护武力弱小的人,以换取他们的服务。后来西班牙王室在菲律宾和美
  • 阿瑜陀耶王国阿瑜陀耶(1351年-1463年) 彭世洛 (1463年-1488年) 阿瑜陀耶 (1463年-1666年) 华富里 (1666年-1688年) 阿瑜陀耶 (1688-1767)大部分信仰上座部佛教 少部分信仰泰国中部:泰国北部:泰国南
  • 里斯顿里斯顿(Reston)是美国弗吉尼亚州费尔法克斯县的一个普查规定居民点,位于华盛顿特区都会区内。2010年人口58,404 人。这是一个国际知名的规划社区,成立于1964年。它更新了第二次
  • 凉粉 (中国北方)凉粉,一种中国食品,以大米、豌豆或绿豆为主要材料制作而成,色泽乳白色,凝胶状。成品会因制作容器的不同,而形成不同的形状。通常切成扁平的长方块,经过调味后,通常是咸味和辣味的。
  • 爱许兰 (肯塔基)爱许兰(Ashland)是美国的一座城市。位于肯塔基州博伊德县。据2010年的人口普查,爱许兰有人口21,684人。爱许兰也是亨廷顿-爱许兰大都市区的一部分。
  • 阿尔登·埃伦瑞奇阿尔登·迦勒·埃伦瑞奇(英语:Alden Caleb Ehrenreich,1989年11月22日-) 是一位美国男演员,他出演的第一部电影是独立制片《柯波拉之家族秘辛(英语:Tetro)》,知名作品有2013年理查·拉
  • 新兴镇 (彭州市)新兴镇,是中华人民共和国四川省成都市彭州市下辖的一个乡镇级行政单位。2019年12月,撤销新兴镇,将其所属行政区域划归通济镇管辖。新兴镇下辖以下地区:海窝子社区、君山村、阳平