噪声通道编码定理

✍ dations ◷ 2025-04-26 13:37:05 #噪声通道编码定理
在信息论里,有噪信道编码定理指出,尽管噪声会干扰通信信道,但还是有可能在信息传输速率小于信道容量的前提下,以任意低的错误概率传送数据信息。这个令人惊讶的结果,有时候被称为信息原理基本定理,也叫做香农-哈特利定理或香农定理,是由克劳德·艾尔伍德·香农于1948年首次提出。通信信道的信道容量或香农限制是指在指定的噪音标准下,信道理论上的最大传输率。根据香农1948年的陈述,本定理描述了在不同级别的噪音干扰和数据损坏情况下,错误监测和纠正可能达到的最高效率。定理没有指出如何构造错误监测的模型,只是告诉大家有可能达到的最佳效果。香农定理可以广泛应用在通信和数据存储领域。本定理是现代信息论的基础理论。香农只是提出了证明的大概提纲。1954年,艾米尔·范斯坦第一个提出了严密的论证。香农定理假设一个有噪音的信道,信道容量为C,信息以速度R传送,如果那么就存在一种编码技术使接收端收到的错误达到任意小的数值。这意味着理论上,有可能无错误地传送信息直到达到速度限制C。反过来同样重要。如果那么想达到任意小的错误率是不可能实现的。因此,在传送速度超过信道容量的时候,可靠传输信息是不能被保证的。定理并没有指出在什么特殊情况下速度和容量相等。简单的流程如"重复发送数据3遍,用一个投票系统在数据不一样的时候选择3个里面相同的那两个的值"是低效的错误纠正的方式,不能保证数据块能完全没有错误地传送。先进一些的技术如里德-所罗门码编码技术和更现代一些的Turbo码、LDPC码等编码技术更逼近香农限制,但是计算复杂度很高。定理(香农,1948年):和信息论的其它主要结果一样,噪音信道编码定理包括一个可以实现的结果和相应的相反的结果。这两个组成部分中间有一个界线。在本案例中,可以通过有噪音的信道的可能速度的集合和相应边界显示出这是一个紧密边界。下面的证明框架只是已有的许多种不同证明方法中的一种而已。下面这个可实现性的证明是使用渐近等同分割特性(Asymptotic equipartition property(英语:Asymptotic equipartition property) - AEP)方法。另一种信息论常用证明方法是错误列举法(Error Exponent(英语:Error Exponent))。两种证明方法都使用随机编码参数来构造信道。这样的目的是减少计算的复杂度,同时仍旧可以证明在速度低于信道容量的时候,存在误码率在可接受范围甚至是接近于理想的无失真的编码方式。采用AEP相关的参数,一个指定的信道,长度为n的源字符串 X 1 n {displaystyle X_{1}^{n}} ,和长度为n的信道输出的字符串 Y 1 n {displaystyle Y_{1}^{n}} ,我们可以定义一个以下匹配序列集合:我们可以说两个序列 X 1 n {displaystyle {X_{1}^{n}}} 和 Y 1 n {displaystyle Y_{1}^{n}} 是匹配序列,如果它们是基于上述定义的匹配序列集合。步骤这个流程产生的错误可以分成两个部分:定义: E i = { ( X 1 n ( i ) , Y 1 n ) ∈ A ϵ ( n ) } , i = 1 , 2 , . . . , 2 n R {displaystyle E_{i}={(X_{1}^{n}(i),Y_{1}^{n})in A_{epsilon }^{(n)}},i=1,2,...,2^{nR}}作为消息1发送出去,消息i作为匹配的消息接收到的结果。我们可以发现如果信道 R < I ( X ; Y ) {displaystyle R<I(X;Y)} ,n变为无穷大,错误的可能性将降为0。最后,假设平均的编码方式是“好”的话,我们知道存在一个编码方式的效率比平均的值要好,因此可以满足我们在有噪音的信道低误码率的要求。假设一种编码有 2 n R {displaystyle 2^{nR}} 个编码词语。W假设为在这个集合上的一个索引。设 X n {displaystyle X^{n}} 和 Y n {displaystyle Y^{n}} 分别为编码词和接收到的词。这些步骤的结果是 P e ( n ) ≥ 1 − 1 n R − C R {displaystyle P_{e}^{(n)}geq 1-{frac {1}{nR}}-{frac {C}{R}}} 。当块的长度变为无穷大,如果R比C大,我们得到 P e ( n ) {displaystyle P_{e}^{(n)}} 不可能降到0。只有在R比C小的情况下,我们可以得到任意低的误码率。强逆定理证明由Wolfowitz于1957年提出。,证明归结于证明如下不等式,其中 A {displaystyle A} 为有限的正常数。当 n {displaystyle n} 变为无穷大的时候,弱逆定理证明错误的可能性不可能变成0,而强逆定理证明了错误以指数方式趋向于1。因此, C {displaystyle C} 是可靠连接和不可靠连接的临界点。我们假设信道是无记忆的,但是随着时间的变化,传输的可靠性是变化的。发送端和接收端一样工作正常。这样信道容量如下针对每个不同的信道,计算出取得该信道容量似的分布,以求得上式中的最大值,这样 C = lim inf 1 n ∑ i = 1 n C i {displaystyle C=liminf {frac {1}{n}}sum _{i=1}^{n}C_{i}} ,信道i的容量为 C i {displaystyle C_{i}} 。证明方法和上面信道编码定理几乎一样。在指定的信道里面,每一个符号的选择是随机的,编码方式也是随机的,采用渐近等同分割特性(AEP)方法来定义变化的无记忆信道的参数集。当 1 n ∑ i = 1 n C i {displaystyle {frac {1}{n}}sum _{i=1}^{n}C_{i}} 不收敛时,下极限开始起作用。

相关

  • Lac+马康基氏琼脂(英文:MacConkey Agar)为一种细菌繁殖营养成分,但只对革兰氏阴性菌有效,而且由于它的特殊成分(NEUTRAL RED指示剂),可以辨别会利用乳糖发酵和无法利用乳糖发酵的细菌
  • 悬浮粒子悬浮颗粒或称颗粒物(particulate matter (PM))、大气颗粒物(atmospheric particulate matter)、颗粒(particulates),泛指悬浮在空气中的固体颗粒或液滴,颗粒微小甚至肉眼难以辨识但
  • 托马斯·切赫托马斯·罗伯特·切赫(英语:Thomas Robert Cech,1947年12月8日-),美国生物化学家,1989年诺贝尔化学奖获得者。1901年:范托夫 | 1902年:费歇尔 | 1903年:阿伦尼乌斯 | 1904年:拉姆齐 | 1
  • 植物繁殖植物为了延续后代,因此要生生不息不断的繁衍后代,此过程中可以有性繁殖或无性繁殖两大类方式进行。有性生殖由融合产生的后代配子,产生的后代从父或父母的基因不同。无性繁殖利
  • 毛巾毛巾,是日用品,一种布质纺织品,长毛,常见用途是洗手之后抹手脚、洗头之后抹头、沐浴之后抹身体,晚餐之后抹嘴等。通过直接接触来吸湿。
  • 路易斯安娜购地路易斯安那购地(英语:Louisiana Purchase;法语:Vente de la Louisiane)是美国于1803年以每英亩三美分向法国购买超过529,911,680英亩(2,144,476平方公里)土地的交易案,该交易的总价
  • 庄巧生庄巧生(1916年8月5日-),福建闽侯人,中国遗传育种学家。1939年毕业于金陵大学农学院,获学士学位。中国农业科学院作物育种栽培研究所研究员。1991年当选为中国科学院院士(学部委员)。
  • 新南威尔士大学新南威尔士大学(英语:The University of New South Wales; 又称UNSW Sydney),是澳大利亚八大名校成员,世界顶尖级研究学府之一,简称UNSW,创立于1949年,其主校区位于新南威尔士州首府
  • 凤山郡凤山郡为台湾日治时期的行政区划,1920年设立,1945年改制,该郡隶属高雄州。凤山郡役所设于凤山街,所址为今高雄市刑事警察大队与保安警察大队(原为高雄县警察局所在处)。凤山郡管辖
  • 本格拉洋流本格拉寒流是南大西洋东海岸沿南非和纳米比亚西海岸从南向北流动的寒冷的水流,最终汇入南赤道暖流。本格拉寒流构成南大西洋亚热带洋流的东部。水源包括印度洋和南大西洋亚热