信源编码定理

✍ dations ◷ 2025-08-03 19:32:18 #信息论

在信息论中,香农的信源编码定理(或无噪声编码定理)确立了数据压缩的限度,以及香农熵的操作意义。

信源编码定理表明(在极限情况下,随着独立同分布随机变量数据流的长度趋于无穷)不可能把数据压缩得码率(每个符号的比特的平均数)比信源的香农熵还小,又不丢失信息。但是有可能使码率任意接近香农熵,且损失的概率极小。

码符号的信源编码定理把码字的最小可能期望长度看作输入字(看作随机变量)的熵和目标编码表的大小的一个函数,给出了此函数的上界和下界。

信源编码是从信息源的符号(串行)到码符号集(通常是bit)的映射,使得信源符号可以从二进制比特(无损信源编码)或有一些失真(有损信源编码)中准确恢复。这是在数据压缩的概念。

在信息论中,信源编码定理非正式地陈述为:

N 个熵均为 () 的独立同分布的随机变量在 → ∞ 时,可以很小的信息损失风险压缩成多于 () bit;但相反地,若压缩到少于 () bit,则信息几乎一定会丢失。

Σ1, Σ2 表示两个有限编码表,并令 Σ∗
1 和 Σ∗
2 (分别)表示来自那些编码表的所有有限字的集合。

X 为从 Σ1 取值的随机变量,令    为从 Σ∗
1 到 Σ∗
2 的唯一可译码,其中 2| = 。令 S 表示字长   () 给出的随机变量。

如果    是对 X 拥有最小期望字长的最佳码,那么(Shannon 1948):

对于 1 ≤ ≤ 令 表示每个可能的 的字长。定义 q i = a s i / C {\displaystyle q_{i}=a^{-s_{i}}/C} 1 + ... + = 1。于是

其中第二行由吉布斯不等式推出,而第五行由克拉夫特不等式推出:

因此 log ≤ 0.

对第二个不等式我们可以令

于是

因此

并且

因此由克拉夫特不等式,存在一种有这些字长的无前缀编码。因此最小的 S 满足

相关

  • 里士满县里奇蒙县(Richmond County, Georgia)是美国乔治亚州东北部的一个县,北邻南卡罗莱纳州。面积851平方公里。根据美国2000年人口普查,共有人口199,775人,2005年人口195,796人。1996
  • 非共价非共价键并不依赖电子间的共享,而是依赖正负电荷间的吸引力,因此吸力较弱,故仅需较小的力量就可将之打断。非共价键主要出现于超分子化学中,所担任的角色为:维持脱氧核糖核酸(DNA,
  • 路易斯安那州路易斯安那州议会(Louisiana State Legislature),是美国路易斯安那州的州议会。路易斯安那州议会为两院制,分为路易斯安那州众议院与路易斯安那州参议院。路易斯安那州众议院为
  • 印度海岸警卫队云雀III型直升机印度海岸警卫队(ICG),印度四个武装部队的其中之一,其使命是守卫印度共和国的海上利益。印度海岸警卫队的组织类似于其他的印度武装部队。它按海岸警卫队法创建于
  • 卡尔·魏尔施特拉斯卡尔·特奥多尔·威廉·魏尔施特拉斯(德语:Karl Theodor Wilhelm Weierstraß(发音:),姓氏可写作Weierstrass,1815年10月31日-1897年2月19日),德国数学家,被誉为“现代分析之父”。卡尔
  • 山地马里语山地马里语,又称西马里语()是乌拉尔语族马里语的方言之一。山地马里语和草原马里语并为马里语的两大方言之一。山地马里语使用西里尔字母书写。
  • 帕特里克·赫罗索夫斯基帕特里克·赫罗索夫斯基(斯洛伐克语:;1992年4月22日-)是一位斯洛伐克足球运动员。在场上的位置是中场。他现在效力于比利时甲级联赛A球队亨克。他也代表斯洛伐克国家足球队参赛。
  • 黄山书社黄山书社(Huangshan Publishing House),是位于安徽省合肥市的一家古籍出版社,成立于1984年9月,ISBN代码为978-7-5461。由安徽出版集团有限责任公司主管、主办,为全国一级出版社。2
  • 陶顿战役坐标:53°50′10″N 01°16′25″W / 53.83611°N 1.27361°W / 53.83611; -1.27361陶顿战役爆发于1461年3月29日(棕枝主日),在约克郡的陶顿(英语:Towton, North Yorkshire)附近,
  • 库斯县 (俄勒冈州)库斯县(英语:Coos County)是位于美国俄勒冈州西南部的一个县,西临太平洋。面积4,678平方公里。根据美国2000年人口普查,共有人口62,779人。县治科基尔(Coquille)。1853年12月22日置