信源编码定理

✍ dations ◷ 2025-11-23 01:40:57 #信息论

在信息论中,香农的信源编码定理(或无噪声编码定理)确立了数据压缩的限度,以及香农熵的操作意义。

信源编码定理表明(在极限情况下,随着独立同分布随机变量数据流的长度趋于无穷)不可能把数据压缩得码率(每个符号的比特的平均数)比信源的香农熵还小,又不丢失信息。但是有可能使码率任意接近香农熵,且损失的概率极小。

码符号的信源编码定理把码字的最小可能期望长度看作输入字(看作随机变量)的熵和目标编码表的大小的一个函数,给出了此函数的上界和下界。

信源编码是从信息源的符号(串行)到码符号集(通常是bit)的映射,使得信源符号可以从二进制比特(无损信源编码)或有一些失真(有损信源编码)中准确恢复。这是在数据压缩的概念。

在信息论中,信源编码定理非正式地陈述为:

N 个熵均为 () 的独立同分布的随机变量在 → ∞ 时,可以很小的信息损失风险压缩成多于 () bit;但相反地,若压缩到少于 () bit,则信息几乎一定会丢失。

Σ1, Σ2 表示两个有限编码表,并令 Σ∗
1 和 Σ∗
2 (分别)表示来自那些编码表的所有有限字的集合。

X 为从 Σ1 取值的随机变量,令    为从 Σ∗
1 到 Σ∗
2 的唯一可译码,其中 2| = 。令 S 表示字长   () 给出的随机变量。

如果    是对 X 拥有最小期望字长的最佳码,那么(Shannon 1948):

对于 1 ≤ ≤ 令 表示每个可能的 的字长。定义 q i = a s i / C {\displaystyle q_{i}=a^{-s_{i}}/C} 1 + ... + = 1。于是

其中第二行由吉布斯不等式推出,而第五行由克拉夫特不等式推出:

因此 log ≤ 0.

对第二个不等式我们可以令

于是

因此

并且

因此由克拉夫特不等式,存在一种有这些字长的无前缀编码。因此最小的 S 满足

相关

  • 呼吸窘迫呼吸困难(拉丁语:Dyspnea或Dyspnoea)、呼吸急促或空气饥是患者一种自觉症状,病人一般可自己觉察到呼吸困难,但外界不易观察出来。一般而言重体力劳动等带来的呼吸困难是正常症状,
  • 双晶孪晶是指:由两个或者两个以上同种晶体构成的﹑非平行的规则连生体。又称双晶。在构成孪晶的两个单晶体间﹐必然会有部分的对应晶面﹑对应晶棱相互平行﹐但不可能全部一一平行﹐然而它们
  • 萨拉姆·法耶兹萨拉姆·法耶兹(1952年4月29日—),巴勒斯坦著名经济学家,曾任巴勒斯坦总理兼财政部长。1952年4月出生于约旦河西岸图勒凯尔姆地区,曾在贝鲁特美国大学获得理学学士学位,先后在美国
  • 外生菌根菌根(希腊语:μυκός, mykós, "fungus",和ρίζα, riza, "root",,英语:mycorrhiza,复数形式mycorrhizae或mycorrhizas)指的是维管束植物的根与真菌组成的共生关系体。 它菌
  • 美国国民警卫队1903年 - 现今English colonial government militias: since December 13, 1636As "National Guard": since 1824 in New York, since 1903 nationwide美国国民警卫队(英语:Un
  • 麦西慕麦西慕(马来语:Maximus Johnity Ongkili;1953年10月26日-),马来西亚从政者,为沙巴团结党党员。自1995年马来西亚大选以来代表国民阵线当选为沙巴哥打马鲁都的国会议员。2018年马来
  • 欧华利欧华利(葡萄牙语:Jorge Álvares,?-1521年7月8日),又译“欧维治”,乃葡萄牙早期航海探险家之一。1511年,欧华利在从印度坎纳诺尔(葡萄牙语:Canonor)(今坎努尔(英语:Kannur))向果阿运输给养及
  • 艾飞艾飞(1942年-),本名艾继飞,笔名“麦芒”、“飞天”等,中国当代诗人,生于云南威信县。1962年,首次于《云南日报》副刊发表作品《小公鸡》,1992年起曾出版多本诗集等著作。
  • 今井美树今井美树(1963年4月14日-)为日本宫崎县儿汤郡高锅町出身的女歌手,其所属经纪公司为IRc2 CORPORATION。1983年,今井美树最初是担任《mc Sister》女性情报杂志的模特儿。隔年,在TBS
  • 旅游景点旅游景点(英语:Tourist attraction)是指游客慕名参观的景点,特别在于其固有或展现的自然或文化价值、历史影响、自然或人造美,又或提供悠闲与娱乐。自然景观如海滩、热带度假岛(英