熵率

✍ dations ◷ 2025-11-25 00:50:24 #信息论,熵,马尔可夫模型

在概率的数学理论中,非正式地说,一个随机过程的熵率或信源信息率是在一个随机过程的平均信息的时间密度。对于一个索引可数的随机过程,熵率 Η() 是 个 过程作为成员的联合熵,在 趋向无穷时的极限:

前提是该极限存在。另一种相关量为:

对于强平稳随机过程, H ( X ) = H ( X ) {\displaystyle \mathrm {H} (X)=\mathrm {H} '(X)} 的马尔可夫链 ,Η() 由下式给出:

其中 是该链的平稳分布。

此定义的一个简单结果是,一个独立同分布的随机过程的熵率与该过程中的任何个别成员的熵相同。

相关

  • 草绿色链球菌草绿色链球菌(英文:Viridans streptococci ),是链球菌属底下的一群细菌,是人体重要的正常菌丛之一,主要分布于口腔、呼吸道,肠胃道、女性生殖道等部位。草绿色链球菌是感染性心内膜
  • 拉萨热拉萨热(Lassa fever)或拉萨出血热(Lassa hemorrhagic fever,LHF)是一种由拉萨病毒(英语:Lassa virus)所引起的病毒性出血热。为生物性危害第四级病毒,大部分被此病毒感染的人不会出现
  • 氰化钾氰化钾(化学式:KCN),俗称山埃钾,是氰化氢的钾盐。在一般环境下氰化钾是一种呈无色或白色、有杏仁味、外观与糖相似并且易溶于水的固体。尽管有剧毒,由于是能与元素金组成可溶化合
  • 汉语诸方言汉语族(或汉语语族、汉白语族)为汉藏语系的一支。关于其所包含的语言种类,在语言学界主要有两种不同观点:一种认为汉语族只有汉语一种语言;另一种认为汉语族包含官话、湘语、赣语
  • 诘问法苏格拉底反诘法(英语:Socratic method、method of elenchus、elenctic method 或 Socratic debate)或作苏格拉底法,实质上是一种质问的辩证法,广泛地用在验证主要道德观念上。柏
  • 太鲁阁列车太鲁阁列车(英语:Taroko Express),全称为太鲁阁自强号列车,简称太鲁阁号,为台湾铁路管理局以2006年引进之摆式电力动车组TEMU1000型开行的特快车,初期行驶宜兰线、北回线,2008年2月2
  • 网络隐私网络隐私(英文:Internet privacy),是指在互联网上自行决定把与自身有关的信息,存储、重新利用、提供给第三方、展示的隐私权利。网络隐私是数据隐私的一个小范围。大规模性电脑信
  • 暗色潜鲆暗色潜鲆为辐鳍鱼纲鲽形目鲽亚目牙鲆科的其中一种,为热带海水鱼,分布于西大西洋区,从美国北卡罗莱纳州至巴西;东大西洋阿森松岛海域,栖息深度10-140米,体长可达30公分,栖息在沙底质
  • 陈四宾陈四宾,四川铜梁(今重庆铜梁)人,明朝政治人物。同进士出身。天启五年(1625年)进士,同年接替鲍奇模任南直隶上海县知县一职。崇祯元年(1628年)由陈昌胤接任。
  • 长谷川清长谷川清(1883年5月7日-1970年9月2日),大日本帝国海军将官。最终阶级正三位、勋一等、功一级,海军大将。福井县福井市出身。台湾日治时期第18任总督。1903年12月14日于海军兵学校