首页 >
信息论
✍ dations ◷ 2025-07-24 04:21:19 #信息论
信息论(英语:information theory)是应用数学、电子学和计算机科学的一个分支,涉及信息的量化、存储和通信等。信息论是由克劳德·香农发展,用来找出信号处理与通信操作的基本限制,如数据压缩、可靠的存储和数据传输等。自创立以来,它已拓展应用到许多其他领域,包括统计推断、自然语言处理、密码学、神经生物学、进化论和分子编码的功能、生态学的模式选择、热物理、量子计算、语言学、剽窃检测、模式识别、异常检测和其他形式的数据分析。熵是信息的一个关键度量,通常用一条消息中需要存储或传输一个符号(英语:Symbol rate)的平均比特数来表示。熵衡量了预测随机变量的值时涉及到的不确定度的量。例如,指定掷硬币的结果(两个等可能的结果)比指定掷骰子的结果(六个等可能的结果)所提供的信息量更少(熵更少)。信息论将信息的传递作为一种统计现象来考虑,给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信道编码定理、信源-信道隔离定理相互联系。信息论的基本内容的应用包括无损数据压缩(如ZIP文件)、有损数据压缩(如MP3和JPEG)、信道编码(如数字用户线路(DSL))。这个领域处在数学、统计学、计算机科学、物理学、神经科学和电机工程学的交叉点上。信息论对航海家深空探测任务的成败、光盘的发明、手机的可行性、互联网的发展、语言学和人类感知的研究、对黑洞的了解,以及许多其他领域都影响深远。信息论的重要子领域有信源编码、信道编码、算法复杂性理论、算法信息论、信息论安全性和信息度量等。信息论的主要内容可以类比人类最广泛的交流手段——语言来阐述。一种简洁的语言(以英语为例)通常有两个重要特点:
首先,最常用的词(比如"a"、"the"、"I")应该比不太常用的词(比如"benefit"、"generation"、"mediocre")要短一些;其次,如果句子的某一部分被漏听或者由于噪声干扰(比如一辆车辆疾驰而过)而被误听,听者应该仍然可以抓住句子的大概意思。而如果把电子通信系统比作一种语言的话,这种健壮性(robustness)是不可或缺的。将健壮性引入通信是通过信道编码完成的。信源编码和信道编码是信息论的基本研究课题。注意这些内容同消息的重要性之间是毫不相干的。例如,像“多谢;常来”这样的客套话与像“救命”这样的紧急请求在说起来、或者写起来所花的时间是差不多的,然而明显后者更重要,也更有实在意义。信息论却不考虑一段消息的重要性或内在意义,因为这些是数据的质量的问题而不是数据量(数据的长度)和可读性方面上的问题,后者只是由概率这一因素单独决定的。美国数学家克劳德·香农被称为“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报(英语:Bell System Technical Journal)》上的论文《通信的数学理论(英语:A Mathematical Theory of Communication)》作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利(英语:Ralph Hartley)于1920年代先后发表的研究成果。在该文中,香农给出了信息熵的定义:其中
X
{displaystyle {mathcal {X}}}
为有限个事件x的集合,
X
{displaystyle X}
是定义在
X
{displaystyle {mathcal {X}}}
上的随机变量。信息熵是随机事件不确定性的度量。信息熵与物理学中的热力学熵有着紧密的联系:其中S(X)为热力学熵,H(X)为信息熵,
k
B
{displaystyle k_{B}}
为波兹曼常数。
事实上这个关系也就是广义的波兹曼熵公式,或是在正则系综内的热力学熵表示式。如此可知,玻尔兹曼与吉布斯在统计物理学中对熵的工作,启发了信息论的熵。信息熵是信源编码定理中,压缩率的下限。当我们用少于信息熵的信息量做编码,那么我们一定有信息的损失。香农在大数定律和渐进均分性(英语:Asymptotic equipartition property)的基础上定义了典型集(英语:Typical set)和典型序列。典型集是典型序列的集合。因为一个独立同分布的
X
{displaystyle X}
序列属于由
X
{displaystyle X}
定义的典型集的概率大约为1,所以只需要将属于典型集的无记忆
X
{displaystyle X}
信源序列编为唯一可译码,其他序列随意编码,就可以达到几乎无损失的压缩。若S为一个三个面的骰子,P(面一)=1/5,P(面二)=2/5,P(面三)=2/5H
(
X
)
=
1
5
log
2
(
5
)
+
2
5
log
2
(
5
2
)
+
2
5
log
2
(
5
2
)
{displaystyle H(X)={frac {1}{5}}log _{2}(5)+{frac {2}{5}}log _{2}left({frac {5}{2}}right)+{frac {2}{5}}log _{2}left({frac {5}{2}}right)}联合熵(Joint Entropy)由熵的定义出发,由联合分布,我们有:条件熵(Conditional Entropy),顾名思义,从条件概率p(y|x)做定义:因为由贝叶斯法则,我们有
p
(
x
,
y
)
=
p
(
y
|
x
)
p
(
x
)
{displaystyle p(x,y)=p(y|x)p(x)}
,带入联合熵的定义,可以分离出条件熵,于是得到联合熵与条件熵的关系式:我们可以再对联合熵与条件熵的关系做推广,假设现在有n个随机变量
X
i
,
i
=
1
,
2
,
.
.
.
,
n
{displaystyle X_{i},i=1,2,...,n}
,重复分离出条件熵,我们有:他的意义显而易见,假如我们接收一段数列
{
X
1
,
X
2
,
.
.
.
,
X
n
}
{displaystyle {X_{1},X_{2},...,X_{n}}}
,且先收到
X
1
{displaystyle X_{1}}
,再来是
X
2
{displaystyle X_{2}}
,依此类推。那么收到
X
1
{displaystyle X_{1}}
后总消息量为
H
(
X
1
)
{displaystyle H(X_{1})}
,收到
X
2
{displaystyle X_{2}}
后总消息量为
H
(
X
1
)
+
H
(
X
2
|
X
1
)
{displaystyle H(X_{1})+H(X_{2}|X_{1})}
,直到收到
X
n
{displaystyle X_{n}}
后我们的总消息量应为
H
(
X
1
,
.
.
.
,
X
n
)
{displaystyle H(X_{1},...,X_{n})}
,于是这个接收过程中就给出了链式法則。互信息(Mutual Information)是另一有用的信息度量,它是指两个事件集合之间的相关性。两个事件
X
{displaystyle X}
和
Y
{displaystyle Y}
的互信息定义为:其意义为,若我们想知道
Y
{displaystyle Y}
包含多少
X
{displaystyle X}
的信息,在尚未得到
Y
{displaystyle Y}
之前,我们的不确定性是
H
(
X
)
{displaystyle H(X)}
,得到Y后,不确定性是
H
(
X
|
Y
)
{displaystyle H(X|Y)}
。所以一旦得到
Y
{displaystyle Y}
后,我们消除了
H
(
X
)
−
H
(
X
|
Y
)
{displaystyle H(X)-H(X|Y)}
的不确定量,这就是Y对X的信息量。如果
X
,
Y
{displaystyle X,Y}
互为独立,则
H
(
X
,
Y
)
=
H
(
X
)
+
H
(
Y
)
{displaystyle H(X,Y)=H(X)+H(Y)}
,于是
I
(
X
;
Y
)
=
0
{displaystyle I(X;Y)=0}
。又因为
H
(
X
|
Y
)
≤
H
(
X
)
{displaystyle H(X|Y)leq H(X)}
,所以互信息与G检验(英语:G-test)以及皮尔森卡方检验有着密切的联系。信息论被广泛应用在:
相关
- 志贺氏菌志贺氏菌属(学名:Shigella)通称志贺菌或者痢疾杆菌,为肠杆菌目肠杆菌科的一属,是一类革兰氏阴性、不活动、不产生孢子的杆状细菌,可引起人和其他哺乳类动物的细菌性痢疾。1897年,由
- 霍奇金氏病霍奇金氏淋巴瘤(英语:Hodgkin's lymphoma)又称霍奇金氏病、何杰金氏病,或何杰金氏淋巴瘤,为淋巴瘤的一型,是一种淋巴细胞的癌变,症状包含发烧、夜间盗汗(英语:Night sweats),以及体重减
- 会阴会阴(英文:perineum,拉丁文:perineum,huìyīn,又称CV1或RN1)是人体泌尿生殖系统中从生殖器到肛门的部位,主要是软组织构成,在针灸学是一个任脉穴。会阴的具体范围有不同的定义,有一种
- 扁桃腺结石扁桃腺结石(英语:Tonsilloliths、tonsil stones或tonsilar calculi)是口腔内藏于腭扁桃体(英语:Palatine tonsil)上的钙化物,米粒至爆谷大小,重300毫克(0.011盎司)至42克(1.5盎司),可导致
- 牛至牛至(学名:Origanum vulgare),又名滇香薷,欧洲语言中称为“俄勒杆叶”、“披萨草”或“野马郁兰”(意大利语:origano;英语:oregano、pizza herb、wild marjoram),是唇形科牛至属中的一
- 珠宝珠宝,是装饰用的饰物,其上多是宝石或半宝石镶嵌在贵金属上。追溯至人类的史前时期,已有将取动物的牙、贝壳等物件用来装饰。随着人类社会的发展,珠宝由配饰用途更演变为具有宗教
- 霍华德·休斯医学研究所霍华德·休斯医学研究所(英文:Howard Hughes Medical Institute,简称HHMI) 是美国一个非营利性医学研究所。是由著名飞行员,工程师霍华德·休斯于1953年成立的。截至2005年底为止
- 糖蜜糖蜜(英语:molasses)是将甘蔗或甜菜制成食糖的加工过程中的副产品,一般是棕黑色黏稠液体。浓缩榨汁在分离出白糖后余下的都是糖蜜,因此含有比白糖丰富的营养物质。红糖是糖蜜没有
- 马恩省马恩省(法语:Marne)是法国阿尔萨斯-香槟-阿登-洛林大区所辖的省份,位于法国东北部,以流经省内的马恩河(罗马时代称马罗那)命名。 该省编号为51。马恩省省会是香槟沙隆(以前称为马恩
- 旗舰旗舰(英语:Flagship)亦称指挥舰,是海军舰队、海上舰艇编队的指挥所,或是舰队、编队司令官所在的舰。由于海军传统,会把本舰指挥官官职旗(英语:rank flag)悬挂于桅杆,而舰队司令官也有