信源编码定理

✍ dations ◷ 2025-08-24 08:00:47 #信息论

在信息论中,香农的信源编码定理(或无噪声编码定理)确立了数据压缩的限度,以及香农熵的操作意义。

信源编码定理表明(在极限情况下,随着独立同分布随机变量数据流的长度趋于无穷)不可能把数据压缩得码率(每个符号的比特的平均数)比信源的香农熵还小,又不丢失信息。但是有可能使码率任意接近香农熵,且损失的概率极小。

码符号的信源编码定理把码字的最小可能期望长度看作输入字(看作随机变量)的熵和目标编码表的大小的一个函数,给出了此函数的上界和下界。

信源编码是从信息源的符号(串行)到码符号集(通常是bit)的映射,使得信源符号可以从二进制比特(无损信源编码)或有一些失真(有损信源编码)中准确恢复。这是在数据压缩的概念。

在信息论中,信源编码定理非正式地陈述为:

N 个熵均为 () 的独立同分布的随机变量在 → ∞ 时,可以很小的信息损失风险压缩成多于 () bit;但相反地,若压缩到少于 () bit,则信息几乎一定会丢失。

Σ1, Σ2 表示两个有限编码表,并令 Σ∗
1 和 Σ∗
2 (分别)表示来自那些编码表的所有有限字的集合。

X 为从 Σ1 取值的随机变量,令    为从 Σ∗
1 到 Σ∗
2 的唯一可译码,其中 2| = 。令 S 表示字长   () 给出的随机变量。

如果    是对 X 拥有最小期望字长的最佳码,那么(Shannon 1948):

对于 1 ≤ ≤ 令 表示每个可能的 的字长。定义 q i = a s i / C {\displaystyle q_{i}=a^{-s_{i}}/C} 1 + ... + = 1。于是

其中第二行由吉布斯不等式推出,而第五行由克拉夫特不等式推出:

因此 log ≤ 0.

对第二个不等式我们可以令

于是

因此

并且

因此由克拉夫特不等式,存在一种有这些字长的无前缀编码。因此最小的 S 满足

相关

  • 幽门窦幽门(pylorus)是胃和十二指肠的连接口,包含幽门窦(pyloric antrum)和幽门管(pyloric canal)两个部分。幽门括约肌(pyloric sphincter)在幽门管末端,可以控制食物从胃进入十二指肠的过
  • 本德市本德(Bend)位于美国俄勒冈州中部,德舒特河畔、喀斯喀特山脉脚下,是德舒特县的县治。根据美国2000年人口普查,共有人口52,029人,其中白人占93.98%、亚裔美国人占1%。
  • 罗伯特·加洛罗伯特·查尔斯·加洛(英语:Robert Charles Gallo,1937年3月23日-),美国病毒学家。早期研究白血病,后转向肿瘤病毒的研究。生于康涅狄格州沃特伯里。加洛最出名的贡献是发现第一个
  • 豚草豚草(学名:Ambrosia artemisiifolia),也叫猪草、“艾叶破布草”、瘤果菊,为菊科猪草属下的一个种。原产于北美洲,是一种适应力极强,生长旺盛的杂草,株高可达一米。每年7-8月份开花,同
  • 桑库鲁省桑库鲁省(法语:Province de Sankuru)是位于刚果民主共和国中部的一个省,首府洛贾(Lodja),人口1,374,239(2005年),面积104,331 km²。
  • 近藤麻理惠近藤麻理惠(日语:近藤 麻理恵/こんどう まりえ  */?;1984年10月9日-)是日本专业整理师(英语:Professional organizing)及作家,以自研的居家物品整理顾问咨询为人所知。东京都出身,昵
  • 国道301号 (日本)国道301号是从静冈县滨松市西区至爱知县丰田市的一般国道。
  • 渴望。《渴望。》(日语:渇き。/かわき。  ?英语:The World of Kanako)是一部由中岛哲也执导、于2014年上映的日本惊悚悬疑电影,由役所广司主演。《渴望。》改编自深町秋生(日语:深町秋生
  • 菊池宽菊池宽(1888年12月26日-1948年3月6日)是一位日本小说家、剧作家以及记者,出生于日本香川县高松市。文艺春秋的创办企业家。1923年,由他所创办的《文艺春秋》一刊物正式发行,迄今在
  • 卡特琳娜·哈特洛娃卡特琳娜·哈特洛娃(捷克语:Katerina Hartlova,1985年9月19日-)是一位捷克女色情演员。曾出演过《Hooter Hotel》(2008年)和《Big Titty Lesbians》(2010年)。2012年7月,哈特洛娃在接