熵率

✍ dations ◷ 2025-11-27 07:13:03 #信息论,熵,马尔可夫模型

在概率的数学理论中,非正式地说,一个随机过程的熵率或信源信息率是在一个随机过程的平均信息的时间密度。对于一个索引可数的随机过程,熵率 Η() 是 个 过程作为成员的联合熵,在 趋向无穷时的极限:

前提是该极限存在。另一种相关量为:

对于强平稳随机过程, H ( X ) = H ( X ) {\displaystyle \mathrm {H} (X)=\mathrm {H} '(X)} 的马尔可夫链 ,Η() 由下式给出:

其中 是该链的平稳分布。

此定义的一个简单结果是,一个独立同分布的随机过程的熵率与该过程中的任何个别成员的熵相同。

相关

  • 特征文字特征文字是指这样一类文字:它的字符的形状不是任意的,而是会将其所表示的音素的语音特征编入其形状之中。特征一词由英国人杰弗里·桑普森(Geoffrey Sampson)为描述朝鲜语中的谚
  • 蒸腾作用蒸腾作用(英语:transpiration,或称蒸腾作用)蒸腾作用是透过植物的水分运动和从植物的地上部分蒸发的过程,如叶,茎和花。水对植物是必需的,但只有少量的水被根吸收用于生长和新陈代
  • 乐府诗乐府为旧体诗诗体的一种,与古体诗、近体诗构成古典诗歌中的三大类,原指合音乐以唱的歌诗。由于乐府是合乐的声诗,以后凡是可传唱的诗,广义上都可称为乐府。因此乐府不仅是齐言的
  • 2010年泰国反政府示威2010年泰国反政府示威是指发生在2010年3月12日至5月19日期间,反独裁民主联盟领导的一系列示威活动。示威反对民主党领导的联合政府,要求其下台,提前大选。反独裁民主联盟在2006
  • 清算清算可以指:
  • 印度研究分析室印度内阁秘书处研究分析室,或称印度调查分析局(英语:Research and Analysis Wing或者是R&AW或RAW),是印度共和国政府主要对外情报收集单位。相对于著名的印度内政部情报局或巴基
  • 参勤交代参勤交代,亦作参觐交代、参勤交替或参觐交替。是日本江户时代一种制度,各藩的大名需要前往江户替幕府将军执行政务一段时间,然后返回自己领土执行政务。寛永12年(1635年)的武家诸
  • 高雄市立中正高级中学高雄市立中正高级中学(英语:Kaohsiung Municipal Jhongjheng Senior High School)简称中正高中(CCHS或JJHS),位于高雄市苓雅区中正一路8号。前身为高雄市立中正国民中学。高雄市政
  • 青鹤站青鹤站(韩语:청학역)是朝鲜民主主义人民共和国罗先特别市先锋郡的一个铁路车站,属于咸北线。咸北线
  • 逻辑深度逻辑深度(英语:logical depth)是一种对事物复杂性的度量,由美国科学家查尔斯·本尼特(英语:Charles H. Bennett (computer scientist))于1988年提出。事物的逻辑深度与其柯氏复杂度