信源编码定理

✍ dations ◷ 2025-12-03 15:20:20 #信息论

在信息论中,香农的信源编码定理(或无噪声编码定理)确立了数据压缩的限度,以及香农熵的操作意义。

信源编码定理表明(在极限情况下,随着独立同分布随机变量数据流的长度趋于无穷)不可能把数据压缩得码率(每个符号的比特的平均数)比信源的香农熵还小,又不丢失信息。但是有可能使码率任意接近香农熵,且损失的概率极小。

码符号的信源编码定理把码字的最小可能期望长度看作输入字(看作随机变量)的熵和目标编码表的大小的一个函数,给出了此函数的上界和下界。

信源编码是从信息源的符号(串行)到码符号集(通常是bit)的映射,使得信源符号可以从二进制比特(无损信源编码)或有一些失真(有损信源编码)中准确恢复。这是在数据压缩的概念。

在信息论中,信源编码定理非正式地陈述为:

N 个熵均为 () 的独立同分布的随机变量在 → ∞ 时,可以很小的信息损失风险压缩成多于 () bit;但相反地,若压缩到少于 () bit,则信息几乎一定会丢失。

Σ1, Σ2 表示两个有限编码表,并令 Σ∗
1 和 Σ∗
2 (分别)表示来自那些编码表的所有有限字的集合。

X 为从 Σ1 取值的随机变量,令    为从 Σ∗
1 到 Σ∗
2 的唯一可译码,其中 2| = 。令 S 表示字长   () 给出的随机变量。

如果    是对 X 拥有最小期望字长的最佳码,那么(Shannon 1948):

对于 1 ≤ ≤ 令 表示每个可能的 的字长。定义 q i = a s i / C {\displaystyle q_{i}=a^{-s_{i}}/C} 1 + ... + = 1。于是

其中第二行由吉布斯不等式推出,而第五行由克拉夫特不等式推出:

因此 log ≤ 0.

对第二个不等式我们可以令

于是

因此

并且

因此由克拉夫特不等式,存在一种有这些字长的无前缀编码。因此最小的 S 满足

相关

  • 永安区永安区(台湾话:.mw-parser-output .sans-serif{font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Roboto,Lato,"Helvetica Neue",Helvetica,Arial,sans-serif} Íng-
  • 环球银行金融电信协会环球银行金融电信协会(英语:Society for Worldwide Interbank Financial Telecommunication,缩写:SWIFT),或译环球同业银行金融电讯协会,是一个国际合作组织,运营着世界级的金融报文
  • 白蚁科见内文白蚁科(学名:Termitidae)物种,俗称作“高等白蚁”,是白蚁的48个科的其中之一。白蚁科旧属等翅目,而白蚁科是等翅目中最大的科,约占白蚁全部已知种类的四分之三。现时,等翅目被
  • 胜利阵线胜利阵线(西班牙语:Frente para la Victoria,缩写为FPV)是阿根廷的一个政党联盟。形式上,胜利阵线是正义党的一个内部派别。2003年至2015年,胜利阵线在阿根廷执政。胜利阵线奉行左
  • 气味气味是人类嗅觉系统对散布于空气中的某些特定分子的感应。人们把使人愉快的气味称为香味,把使人不快的气味称为臭味。人类大概能识别1000种不同的气味。气味分子进入鼻孔后,会
  • 亚速尔-直布罗陀转换断层亚速尔-直布罗陀转换断层,也称为亚速尔-直布罗陀断层区 (AGFZ), 是一处大型地质断层,西起大西洋中部的特塞拉裂谷,东至直布罗陀海峡并延伸入地中海。形成了欧亚板块与非洲板块
  • 犹他美术馆犹他美术馆(Utah Museum of Fine Arts)是犹他地区最大的文化设施和美术馆,位于美国犹他州盐湖城犹他大学的校园内,靠近瑞斯-埃克尔斯体育场。犹他美术馆是一座州立和大学美术馆
  • 柯蒂斯·库珀柯蒂斯·库珀(英语:Curtis Niles Cooper),是一位美国数学家,中密苏里大学(英语:University of Central Missouri)数学和计算机系教授。库珀和Steven Boone是GIMPS的参与者。他们在70
  • 李炳 (万历壬辰进士)李炳(?-?),字本阳,镇西卫籍,山西岢岚人,明朝政治人物。山西乙酉科乡试举人。万历二十年(1592年),登壬辰科第三甲第二十八名进士,仕至陕西参政丁未致仕。曾祖李锐;祖父李释民;父李储。
  • 贝伦区 (卡里略县)10°24′35″N 85°35′22″W / 10.40972°N 85.58944°W / 10.40972; -85.58944贝伦区(西班牙语:Belén District, Carrillo),是哥斯达黎加的行政区,位于该国西北部瓜纳卡斯特省