信源编码定理

✍ dations ◷ 2025-06-30 07:45:15 #信息论

在信息论中,香农的信源编码定理(或无噪声编码定理)确立了数据压缩的限度,以及香农熵的操作意义。

信源编码定理表明(在极限情况下,随着独立同分布随机变量数据流的长度趋于无穷)不可能把数据压缩得码率(每个符号的比特的平均数)比信源的香农熵还小,又不丢失信息。但是有可能使码率任意接近香农熵,且损失的概率极小。

码符号的信源编码定理把码字的最小可能期望长度看作输入字(看作随机变量)的熵和目标编码表的大小的一个函数,给出了此函数的上界和下界。

信源编码是从信息源的符号(串行)到码符号集(通常是bit)的映射,使得信源符号可以从二进制比特(无损信源编码)或有一些失真(有损信源编码)中准确恢复。这是在数据压缩的概念。

在信息论中,信源编码定理非正式地陈述为:

N 个熵均为 () 的独立同分布的随机变量在 → ∞ 时,可以很小的信息损失风险压缩成多于 () bit;但相反地,若压缩到少于 () bit,则信息几乎一定会丢失。

Σ1, Σ2 表示两个有限编码表,并令 Σ∗
1 和 Σ∗
2 (分别)表示来自那些编码表的所有有限字的集合。

X 为从 Σ1 取值的随机变量,令    为从 Σ∗
1 到 Σ∗
2 的唯一可译码,其中 2| = 。令 S 表示字长   () 给出的随机变量。

如果    是对 X 拥有最小期望字长的最佳码,那么(Shannon 1948):

对于 1 ≤ ≤ 令 表示每个可能的 的字长。定义 q i = a s i / C {\displaystyle q_{i}=a^{-s_{i}}/C} 1 + ... + = 1。于是

其中第二行由吉布斯不等式推出,而第五行由克拉夫特不等式推出:

因此 log ≤ 0.

对第二个不等式我们可以令

于是

因此

并且

因此由克拉夫特不等式,存在一种有这些字长的无前缀编码。因此最小的 S 满足

相关

  • 红河雷德河(英语:Red River),也译作“红河”,是密西西比河下游西岸的主要支流之一。雷德河发源于得克萨斯州西北部地区,有两支主要源头,合流后向东流去,成为得克萨斯和俄克拉何马州的边
  • 泰格马克马克斯·埃里克·泰格马克(英语:Max Erik Tegmark,1967年5月5日-),宇宙学家,拥有美国与瑞典双重国籍。他现为麻省理工学院教授、基础问题研究所(英语:Foundational Questions Institu
  • Y-12国家安全大楼Y-12国家安全大楼(英语:Y-12 National Security Complex)是美国能源部美国国家核安全局(英语:National Nuclear Security Administration)的设施,位于田纳西州橡树岭的橡树岭国家实
  • 概念艺术概念艺术(英语:Concept art)是以插画形式表达想法的一种设计方式,常用但不限于电影、电子游戏、动画和漫画等。最早由谁发明或使用该词的并无资料查阅,有纪绿的是1930年华特·迪
  • CD1322B5I、​2ERJ、​3BPL、​3QAZ、​3QB7、​4GS7356116186ENSG00000147168ENSMUSG00000031304P31785P34902NM_000206NM_013563、NM_001308535、XM_017318396NP_000197NP_0012
  • 穆罕默德-礼萨·巴列维穆罕默德-礼萨沙·巴列维(波斯语:محمد رضا شاه پهلوی‎;1919年10月26日-1980年7月27日)是伊朗的沙阿,1941年9月16日即位,1979年2月11日被伊朗伊斯兰革命推翻。他是
  • 罗伯特·米尔斯罗伯特·劳伦斯·米尔斯(英语:Robert Laurence Mills,1927年4月15日-1999年10月27日),美国物理学家,生于新泽西州恩格尔伍德。1956年成为俄亥俄州立大学的物理学教授。主要贡献是与
  • 长滩寺河长滩寺河,原名盐滩溪、岳池水、灵溪水,是嘉陵江的一条支流。此河发源于四川省南充市东北部金城山南坡东林寺,因流经岳池县城南长滩寺,故名长滩寺河。至岳池县朝阳乡西北接纳余家
  • 曹仲英曹仲英(英语:Jung Ying Tsao;1929年8月15日-2011年2月26日),是中国传统艺术鉴赏家、收藏家、艺术商和学者。曹仲英被世界华人收藏家协会公认为同时代中国绘画的顶级藏家。他五十年
  • 霍舍姆坐标:51°03′43″N 0°19′30″W / 51.062°N 0.325°W / 51.062; -0.325霍舍姆(Horsham)是英格兰萨塞克斯郡的一个城市,位于伦敦南南西31英里(50千米),布莱顿西北18.5英里(30千米),