信源编码定理

✍ dations ◷ 2025-10-25 13:29:59 #信息论

在信息论中,香农的信源编码定理(或无噪声编码定理)确立了数据压缩的限度,以及香农熵的操作意义。

信源编码定理表明(在极限情况下,随着独立同分布随机变量数据流的长度趋于无穷)不可能把数据压缩得码率(每个符号的比特的平均数)比信源的香农熵还小,又不丢失信息。但是有可能使码率任意接近香农熵,且损失的概率极小。

码符号的信源编码定理把码字的最小可能期望长度看作输入字(看作随机变量)的熵和目标编码表的大小的一个函数,给出了此函数的上界和下界。

信源编码是从信息源的符号(串行)到码符号集(通常是bit)的映射,使得信源符号可以从二进制比特(无损信源编码)或有一些失真(有损信源编码)中准确恢复。这是在数据压缩的概念。

在信息论中,信源编码定理非正式地陈述为:

N 个熵均为 () 的独立同分布的随机变量在 → ∞ 时,可以很小的信息损失风险压缩成多于 () bit;但相反地,若压缩到少于 () bit,则信息几乎一定会丢失。

Σ1, Σ2 表示两个有限编码表,并令 Σ∗
1 和 Σ∗
2 (分别)表示来自那些编码表的所有有限字的集合。

X 为从 Σ1 取值的随机变量,令    为从 Σ∗
1 到 Σ∗
2 的唯一可译码,其中 2| = 。令 S 表示字长   () 给出的随机变量。

如果    是对 X 拥有最小期望字长的最佳码,那么(Shannon 1948):

对于 1 ≤ ≤ 令 表示每个可能的 的字长。定义 q i = a s i / C {\displaystyle q_{i}=a^{-s_{i}}/C} 1 + ... + = 1。于是

其中第二行由吉布斯不等式推出,而第五行由克拉夫特不等式推出:

因此 log ≤ 0.

对第二个不等式我们可以令

于是

因此

并且

因此由克拉夫特不等式,存在一种有这些字长的无前缀编码。因此最小的 S 满足

相关

  • 始br /新br /世始新世(英语:Eocene)是地质时代中古近纪(Paleogene)的第二个主要分期,大约开始于5600万年前-终于3400万年前,介于古新世(Paleocene)与渐新世(Oligocene)之间。始新世(Eocene)之名,字源来自
  • 灰色灰色介于黑和白之间的一系列颜色,可以大致分为深灰和浅灰。像乌云密布的天空、草木灰及铅都是灰色的。在欧洲及北美,大部分人认为灰色是中性、一致性、无聊、不确定、老年、冷
  • 大园坐标:25°3′45.52″N 121°11′52.32″E / 25.0626444°N 121.1978667°E / 25.0626444; 121.1978667大园区(台湾客家语饶平腔:taiˊ vien kiˇ)是位于台湾桃园市北部的一个市
  • 森林破碎化栖息地细碎化是指某些生物栖息地被分隔开,致使种群被分割的问题。栖息地细碎化可能是由于地理进程中环境慢慢被改变 (这可能是新物种形成的原因),或者是由于人类活动,例如土地用
  • 闯关东闯关东,中国近代史上(清代至民国年间)华北地区人口向东北地区迁徙的运动。关东常指的山海关以东地区,也称关外(现东北地区),清代该地区因为被认为是满洲人的“龙兴之地”而强加管制
  • 拉达克语拉达克语是居住在拉达克的藏人的母语,主要通行于今日拉达克的列城县,巴基斯坦控制下克什米尔的巴尔蒂斯坦也有使用者。拉达克语与以拉萨话为标准音的标准藏语同源于中古藏语,但
  • 内利斯空军基地第57联队(英语:57th Wing) 第99基地联队(英语:99th Air Base Wing) 第53测试评估大队(英语:53d Test and Evaluation Group) 第505测试评估联队(英语:505th Command and Control Wing)内
  • 兴达发电厂兴达发电厂位于台湾高雄市永安区与茄萣区交界处,隶属于台湾电力公司,厂区面积135公顷,储煤场面积23公顷,以燃煤为燃料,装机容量432.595万千瓦,北临兴达渔港,南邻永安湿地,位于兴达港
  • 尤马沙漠尤马沙漠(Yuma Desert)是索诺兰沙漠的一部分,位于美国亚利桑那州西南部至墨西哥索诺拉州西北部,墨西哥境内的部分也称“大沙漠”(西班牙语:Gran Desierto)。北滨希拉河,西滨科罗拉多
  • 弗朗茨·瑞克林弗朗茨·瑞克林(Franz Riklin,1878年-1938年)是一位瑞士精神病学家,曾在德国精神病学家恩米尔·克雷普林(英语:Emil Kraepelin)位于苏黎世的伯格赫兹利医院工作,与克雷普林和另一位精