有噪信道编码定理

✍ dations ◷ 2025-04-04 06:12:43 #信息论,数学定理

在信息论里,有噪信道编码定理指出,尽管噪声会干扰通信信道,但还是有可能在信息传输速率小于信道容量的前提下,以任意低的错误概率传送数据信息。这个令人惊讶的结果,有时候被称为信息原理基本定理,也叫做香农-哈特利定理或香农定理,是由克劳德·艾尔伍德·香农于1948年首次提出。

通信信道的信道容量或香农限制是指在指定的噪音标准下,信道理论上的最大传输率。

根据香农1948年的陈述,本定理描述了在不同级别的噪音干扰和数据损坏情况下,错误监测和纠正可能达到的最高效率。定理没有指出构造错误监测的模型,只是告诉大家达到的最佳效果。香农定理可以广泛应用在通信和数据存储领域。本定理是现代信息论的基础理论。香农只是提出了证明的大概提纲。1954年,艾米尔·范斯坦第一个提出了严密的论证。

香农定理假设一个有噪音的信道,信道容量为,信息以速度传送,如果

那么就存在一种编码技术使接收端收到的错误达到任意小的数值。这意味着理论上,有可能无错误地传送信息直到达到速度限制。

反过来同样重要。如果

那么想达到任意小的错误率是不可能实现的。因此,在传送速度超过信道容量的时候,可靠传输信息是不能被保证的。定理并没有指出在什么特殊情况下速度和容量相等。

简单的流程如"重复发送数据3遍,用一个投票系统在数据不一样的时候选择3个里面相同的那两个的值"是低效的错误纠正的方式,不能保证数据块能完全没有错误地传送。先进一些的技术如里德-所罗门码编码技术和更现代一些的Turbo码、LDPC码等编码技术更逼近香农限制,但是计算复杂度很高。

定理(香农,1948年):

和信息论的其它主要结果一样,噪音信道编码定理包括一个可以实现的结果和相应的相反的结果。这两个组成部分中间有一个界线。在本案例中,可以通过有噪音的信道的可能速度的集合和相应边界显示出这是一个紧密边界。

下面的证明框架只是已有的许多种不同证明方法中的一种而已。

下面这个可实现性的证明是使用渐近等同分割特性(Asymptotic equipartition property(英语:Asymptotic equipartition property) - AEP)方法。另一种信息论常用证明方法是错误列举法(Error Exponent(英语:Error Exponent))。

两种证明方法都使用随机编码参数来构造信道。这样的目的是减少计算的复杂度,同时仍旧可以证明在速度低于信道容量的时候,存在误码率在可接受范围甚至是接近于理想的无失真的编码方式。

采用AEP相关的参数,一个指定的信道,长度为n的源字符串 X 1 n {\displaystyle X_{1}^{n}}

我们可以说两个序列 X 1 n {\displaystyle {X_{1}^{n}}} ,如果它们是基于上述定义的匹配序列集合。

步骤

这个流程产生的错误可以分成两个部分:

定义: E i = { ( X 1 n ( i ) , Y 1 n ) A ϵ ( n ) } , i = 1 , 2 , . . . , 2 n R {\displaystyle E_{i}=\{(X_{1}^{n}(i),Y_{1}^{n})\in A_{\epsilon }^{(n)}\},i=1,2,...,2^{nR}}

作为消息1发送出去,消息i作为匹配的消息接收到的结果。

我们可以发现如果信道 R < I ( X ; Y ) {\displaystyle R<I(X;Y)} ,n变为无穷大,错误的可能性将降为0。

最后,假设平均的编码方式是“好”的话,我们知道存在一个编码方式的效率比平均的值要好,因此可以满足我们在有噪音的信道低误码率的要求。

假设一种编码有 2 n R {\displaystyle 2^{nR}} 个编码词语。W假设为在这个集合上的一个索引。设 X n {\displaystyle X^{n}} Y n {\displaystyle Y^{n}} 分别为编码词和接收到的词。

这些步骤的结果是 P e ( n ) 1 1 n R C R {\displaystyle P_{e}^{(n)}\geq 1-{\frac {1}{nR}}-{\frac {C}{R}}} 。当块的长度变为无穷大,如果R比C大,我们得到 P e ( n ) {\displaystyle P_{e}^{(n)}} 不可能降到0。只有在R比C小的情况下,我们可以得到任意低的误码率。

强逆定理证明由Wolfowitz于1957年提出。,证明归结于证明如下不等式,

其中 A {\displaystyle A} 为有限的正常数。当 n {\displaystyle n} 变为无穷大的时候,弱逆定理证明错误的可能性不可能变成0,而强逆定理证明了错误以指数方式趋向于1。因此, C {\displaystyle C} 是可靠连接和不可靠连接的临界点。

我们假设信道是无记忆的,但是随着时间的变化,传输的可靠性是变化的。发送端和接收端一样工作正常。这样信道容量如下

针对每个不同的信道,计算出取得该信道容量似的分布,以求得上式中的最大值,这样 C = lim inf 1 n i = 1 n C i {\displaystyle C=\liminf {\frac {1}{n}}\sum _{i=1}^{n}C_{i}} ,信道i的容量为 C i {\displaystyle C_{i}}

证明方法和上面信道编码定理几乎一样。在指定的信道里面,每一个符号的选择是随机的,编码方式也是随机的,采用渐近等同分割特性(AEP)方法来定义变化的无记忆信道的参数集。

1 n i = 1 n C i {\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}C_{i}} 不收敛时,下极限开始起作用。

相关

  • 台北荣民总医院坐标:25°07′16″N 121°31′08″E / 25.12119°N 121.51892°E / 25.12119; 121.51892台北荣民总医院(简称台北荣总、北荣)(英语:Taipei Veterans General Hospital)是一家位于
  • 爱米尔·贝利纳爱米尔·贝利纳(德语:Emile Berliner,1851年5月20日-1929年8月3日),也译作埃米尔·贝林纳、埃米尔·玻里纳、艾米利·伯林纳,德裔美国发明家,以改进电话技术和留声机唱片而知名。贝
  • 光锥在狭义相对论中,光锥(英语:Light cone)是闵可夫斯基时空下能够与一个单一事件通过光速存在因果联系的所有点的集合,并且它具有洛伦兹不变性。光锥也可以看作是闵可夫斯基时空下的
  • 英语圈英语圈(英语:Anglosphere)是一个新词,或译为盎格鲁世界,指将英语作为常用语言的国家的合称。有时也特别表示为经过大英帝国殖民后拥有共同语言及文化的国家,包括英国本身以及澳大
  • 澎湖县公车澎湖县公车,是指澎湖县境内之公车路线,目前有14条路线。目前由澎湖县公共车船管理处营运的大客车数量共计61辆,有大型公车29辆、低地板17辆、中型公车11辆、游览车2辆、复康巴
  • 银版摄影法银版摄影法(英语:Daguerreotype)是法国巴黎一家著名歌剧院的首席布景画家达盖尔,于1839年发明的利用水银蒸汽对曝光的银盐涂面进行显影作用的方法。这种摄影方法的曝光时间约为3
  • 宾夕法尼亚州东南地区交通局宾夕法尼亚州东南地区交通局(SEPTA,全称Southeastern Pennsylvania Transportation Authority),是运营美国宾夕法尼亚州费城及其周边地区地铁、轻轨及有轨电车、无轨电车、巴士
  • 朱塞佩·皮亚诺朱塞佩·皮亚诺 Giuseppe Peano(1858年8月27日-1932年4月20日)是意大利数学家、逻辑学家、语言学家。朱塞佩·皮亚诺于1858年8月27日生于意大利的库内奥(Cuneo)附近的斯宾尼塔(Spi
  • 二锂二锂(英语:Dilithium),又称重锂、双锂或双原子锂,化学式Li2, 是一种强亲电体的双原子分子,包含两个锂原子以共价键结合束缚在一起。目前只发现气态的二锂。其他相态的二锂尚未被合
  • 园艺工具园艺工具是从事园艺工作或作为兴趣般的业余性活动时使用的工具。部分工具于农耕时亦会使用。最早手动工具由木材、燧石和骨头所组成,然而,工具为了使能更加持久高效切削,后来慢