首页 >
噪声通道编码定理
✍ dations ◷ 2025-09-18 17:27:31 #噪声通道编码定理
在信息论里,有噪信道编码定理指出,尽管噪声会干扰通信信道,但还是有可能在信息传输速率小于信道容量的前提下,以任意低的错误概率传送数据信息。这个令人惊讶的结果,有时候被称为信息原理基本定理,也叫做香农-哈特利定理或香农定理,是由克劳德·艾尔伍德·香农于1948年首次提出。通信信道的信道容量或香农限制是指在指定的噪音标准下,信道理论上的最大传输率。根据香农1948年的陈述,本定理描述了在不同级别的噪音干扰和数据损坏情况下,错误监测和纠正可能达到的最高效率。定理没有指出如何构造错误监测的模型,只是告诉大家有可能达到的最佳效果。香农定理可以广泛应用在通信和数据存储领域。本定理是现代信息论的基础理论。香农只是提出了证明的大概提纲。1954年,艾米尔·范斯坦第一个提出了严密的论证。香农定理假设一个有噪音的信道,信道容量为C,信息以速度R传送,如果那么就存在一种编码技术使接收端收到的错误达到任意小的数值。这意味着理论上,有可能无错误地传送信息直到达到速度限制C。反过来同样重要。如果那么想达到任意小的错误率是不可能实现的。因此,在传送速度超过信道容量的时候,可靠传输信息是不能被保证的。定理并没有指出在什么特殊情况下速度和容量相等。简单的流程如"重复发送数据3遍,用一个投票系统在数据不一样的时候选择3个里面相同的那两个的值"是低效的错误纠正的方式,不能保证数据块能完全没有错误地传送。先进一些的技术如里德-所罗门码编码技术和更现代一些的Turbo码、LDPC码等编码技术更逼近香农限制,但是计算复杂度很高。定理(香农,1948年):和信息论的其它主要结果一样,噪音信道编码定理包括一个可以实现的结果和相应的相反的结果。这两个组成部分中间有一个界线。在本案例中,可以通过有噪音的信道的可能速度的集合和相应边界显示出这是一个紧密边界。下面的证明框架只是已有的许多种不同证明方法中的一种而已。下面这个可实现性的证明是使用渐近等同分割特性(Asymptotic equipartition property(英语:Asymptotic equipartition property) - AEP)方法。另一种信息论常用证明方法是错误列举法(Error Exponent(英语:Error Exponent))。两种证明方法都使用随机编码参数来构造信道。这样的目的是减少计算的复杂度,同时仍旧可以证明在速度低于信道容量的时候,存在误码率在可接受范围甚至是接近于理想的无失真的编码方式。采用AEP相关的参数,一个指定的信道,长度为n的源字符串
X
1
n
{displaystyle X_{1}^{n}}
,和长度为n的信道输出的字符串
Y
1
n
{displaystyle Y_{1}^{n}}
,我们可以定义一个以下匹配序列集合:我们可以说两个序列
X
1
n
{displaystyle {X_{1}^{n}}}
和
Y
1
n
{displaystyle Y_{1}^{n}}
是匹配序列,如果它们是基于上述定义的匹配序列集合。步骤这个流程产生的错误可以分成两个部分:定义:
E
i
=
{
(
X
1
n
(
i
)
,
Y
1
n
)
∈
A
ϵ
(
n
)
}
,
i
=
1
,
2
,
.
.
.
,
2
n
R
{displaystyle E_{i}={(X_{1}^{n}(i),Y_{1}^{n})in A_{epsilon }^{(n)}},i=1,2,...,2^{nR}}作为消息1发送出去,消息i作为匹配的消息接收到的结果。我们可以发现如果信道
R
<
I
(
X
;
Y
)
{displaystyle R<I(X;Y)}
,n变为无穷大,错误的可能性将降为0。最后,假设平均的编码方式是“好”的话,我们知道存在一个编码方式的效率比平均的值要好,因此可以满足我们在有噪音的信道低误码率的要求。假设一种编码有
2
n
R
{displaystyle 2^{nR}}
个编码词语。W假设为在这个集合上的一个索引。设
X
n
{displaystyle X^{n}}
和
Y
n
{displaystyle Y^{n}}
分别为编码词和接收到的词。这些步骤的结果是
P
e
(
n
)
≥
1
−
1
n
R
−
C
R
{displaystyle P_{e}^{(n)}geq 1-{frac {1}{nR}}-{frac {C}{R}}}
。当块的长度变为无穷大,如果R比C大,我们得到
P
e
(
n
)
{displaystyle P_{e}^{(n)}}
不可能降到0。只有在R比C小的情况下,我们可以得到任意低的误码率。强逆定理证明由Wolfowitz于1957年提出。,证明归结于证明如下不等式,其中
A
{displaystyle A}
为有限的正常数。当
n
{displaystyle n}
变为无穷大的时候,弱逆定理证明错误的可能性不可能变成0,而强逆定理证明了错误以指数方式趋向于1。因此,
C
{displaystyle C}
是可靠连接和不可靠连接的临界点。我们假设信道是无记忆的,但是随着时间的变化,传输的可靠性是变化的。发送端和接收端一样工作正常。这样信道容量如下针对每个不同的信道,计算出取得该信道容量似的分布,以求得上式中的最大值,这样
C
=
lim inf
1
n
∑
i
=
1
n
C
i
{displaystyle C=liminf {frac {1}{n}}sum _{i=1}^{n}C_{i}}
,信道i的容量为
C
i
{displaystyle C_{i}}
。证明方法和上面信道编码定理几乎一样。在指定的信道里面,每一个符号的选择是随机的,编码方式也是随机的,采用渐近等同分割特性(AEP)方法来定义变化的无记忆信道的参数集。当
1
n
∑
i
=
1
n
C
i
{displaystyle {frac {1}{n}}sum _{i=1}^{n}C_{i}}
不收敛时,下极限开始起作用。
相关
- 奶制品奶制品,奶类制品的简称,亦称乳制品、乳类食品或奶食品,以奶为基本原料加工而成的食品。除各种直接使用奶制成的饮料外还包括通过发酵获得的食品(奶酪和奶油)以及对奶进行干燥或者
- 最近的共同祖先最近共同祖先(英语:Most recent common ancestor,缩写 MRCA)是演化生物学中表示一系列不同的物种拥有共同起源的那个最近的祖先。这一概念经常应用于人类的宗谱。人类的最近共同
- 受洗洗礼(英语:Baptism),又称浸礼、圣洗圣事、施洗、受洗和受浸,是一宗教仪式,现普遍指基督教的传统仪式。据《圣经》记载,施洗约翰曾为耶稣施洗,而这亦是耶稣吩咐的。洗礼一词来自通用
- 草露宝光草露宝光或简称宝光(来自于德文 “Heiligenschein” 意为“halo”(光环)或“aureola”(光背),字面意思为“神圣的光”,发音:.mw-parser-output .IPA{font-family:"Charis SIL","Doul
- 骨骺骨骺(epiphysis)是长骨两端的部分,与其他骨骼形成关节互相连接,骨骺其主要存在于四肢的长骨。骨骺和骨干(英语:Diaphysis)(Diaphysis,长骨中央较细长的部分)之间的部位为干骺(英语:Metap
- 末日之钟末日钟,又叫末日时钟(英语:Doomsday Clock)是一虚构钟面,由芝加哥大学的《原子科学家公报(英语:Bulletin of the Atomic Scientists)》杂志于1947年设立,每年一月进行一次评估,标示出
- 法尤姆法尤姆(阿拉伯语:الفيوم)位于埃及中北部,是法尤姆省的首府。法尤姆位于开罗西南方130公里,占据了古城克罗科第洛坡里遗址的一部分。该城建于约公元前4000年,是埃及以及非
- 大型都会公园台北市战前规划的大型都会公园是指台湾日治时期的台北市在第二次世界大战结束前,所规划的十七座大型都会公园。目前有七座完全辟建,虽然称为完全辟建,但仍有部分土地作为停车场
- α-淀粉酶α-淀粉酶是一种内切葡萄糖苷酶,属于淀粉酶。α-淀粉酶催化水解淀粉会使淀粉黏度迅速下降,所以又称为液化淀粉酶。EC 1.1/2/3/4/5/6/7/8/9/10/11/12/13/14/15/16/17/18/19/20/
- 枸杞枸杞(学名:Lycium chinense;一作枸檵(拼音:gǒujì),但现常称“枸杞(拼音:gǒu qǐ)”)是茄科枸杞属的一种,果实称枸杞子,嫩叶称枸杞头,其根皮称为地骨皮。与本种相似的近缘物种有宁夏枸杞