自信息

✍ dations ◷ 2025-07-07 06:56:52 #信息论,信息学熵

在信息论中,自信息(英语:self-information),由克劳德·香农提出,是与概率空间中的单一事件或离散随机变量的值相关的信息量的量度。它用信息的单位表示,例如 bit、nat或是hart,使用哪个单位取决于在计算中使用的对数的底。自信息的期望值就是信息论中的熵,它反映了随机变量采样时的平均不确定程度。

由定义,当信息被拥有它的实体传递给接收它的实体时,仅当接收实体不知道信息的先验知识时信息才得到传递。如果接收实体事先知道了消息的内容,这条消息所传递的信息量就是0。只有当接收实体对消息对先验知识少于100%时,消息才真正传递信息。

因此,一个随机产生的事件 ω n {\displaystyle \omega _{n}} 发生的信息量就等于分别宣告事件 和事件 的信息量的和:

I ( C ) = I ( A B ) = I ( A ) + I ( B ) {\displaystyle \operatorname {I} (C)=\operatorname {I} (A\cap B)=\operatorname {I} (A)+\operatorname {I} (B)} 和 是独立事件,所以 C {\displaystyle C} 的概率为

P ( C ) = P ( A B ) = P ( A ) P ( B ) {\displaystyle \operatorname {P} (C)=\operatorname {P} (A\cap B)=\operatorname {P} (A)\cdot \operatorname {P} (B)}

应用函数 f ( ) {\displaystyle f(\cdot )} 会得到

I ( C ) = I ( A ) + I ( B ) f ( P ( C ) ) = f ( P ( A ) ) + f ( P ( B ) ) = f ( P ( A ) P ( B ) ) {\displaystyle {\begin{aligned}\operatorname {I} (C)&=\operatorname {I} (A)+\operatorname {I} (B)\\f(\operatorname {P} (C))&=f(\operatorname {P} (A))+f(\operatorname {P} (B))\\&=f{\big (}\operatorname {P} (A)\cdot \operatorname {P} (B){\big )}\\\end{aligned}}}

所以函数 f ( ) {\displaystyle f(\cdot )} 有性质

f ( x y ) = f ( x ) + f ( y ) {\displaystyle f(x\cdot y)=f(x)+f(y)}

而对数函数正好有这个性质,不同的底的对数函数之间的区别只差一个常数

f ( x ) = K log ( x ) {\displaystyle f(x)=K\log(x)}

由于事件的概率总是在0和1之间,而信息量必须是非负的,所以 K < 0 {\displaystyle K<0}

考虑到这些性质,假设事件 ω n {\displaystyle \omega _{n}} 发生的几率是 P ( ω n ) {\displaystyle P(\omega _{n})} ,自信息 I ( ω n ) {\displaystyle I(\omega _{n})} 的定义就是:

事件 ω n {\displaystyle \omega _{n}} 的概率越小, 它发生后的自信息量越大。

此定义符合上述条件。在上面的定义中,没有指定的对数的基底:如果以 2 为底,单位是bit。当使用以 e 为底的对数时,单位将是 nat。对于基底为 10 的对数,单位是 hart。

信息量的大小不同于信息作用的大小,这不是同一概念。信息量只表明不确定性的减少程度,至于对接收者来说,所获得的信息可能事关重大,也可能无足轻重,这是信息作用的大小。

熵是离散随机变量的自信息的期望值。但有时候熵也会被称作是随机变量的自信息,可能是因为熵满足 H ( X ) = I ( X ; X ) {\displaystyle \operatorname {H} (X)=\operatorname {I} (X;X)} ,而 I ( X ; X ) {\displaystyle \operatorname {I} (X;X)} X {\displaystyle X} 与它自己的互信息。

相关

  • 钙离子4s22, 8, 8, 2蒸气压第一:589.8 kJ·mol−1 第二:1145.4 kJ·mol−1 第三:4912.4 kJ·mol−1 (主条目:钙的同位素钙(Calcium)是一种化学元素。其化学符号是Ca,原子序数是20。钙
  • 无足轻重无足轻重(英文:Genuine but Insignificant Cause),是一种因果谬误,系指将真实但不重要的原因作为论证基础,却遗漏了重要的主因。烧纸钱使空气质量每况愈下,所以政府应该不许民众再
  • Cu(HCOO)sub2/sub甲酸铜是铜(II)的甲酸盐,化学式为Cu(HCOO)2。可以以无水物、二水或四水合物的形式存在。也能和吡啶、尿素等形成加合物。甲酸铜可由甲酸和碱式碳酸铜反应得到,产物的形貌、颜
  • 重度抑郁症重性抑郁疾患(英语:Major depressive disorder,缩写MDD),也可简称为抑郁症,是一种精神疾患,特征为超过两周的大多数时间都抑郁不已。常常伴随着没有精神、对一般休闲活动没有兴趣、
  • 吉尼斯世界纪录大全《吉尼斯世界纪录大全》(英语:Guinness World Records),是一本记载着世界之最的工具书,包括天文地理、历史科学不同领域的世界纪录等,该书每年均会出版一次。本书本身亦保持着一项
  • 跳跃逆转定理跳跃逆转定理是递归论中关于不可解度的三个定理,定理给出满足特定条件的不可解度的“图灵逆跳跃”的存在性。设 B ≥
  • 勒让德环形山勒让德环形山(Legendre)是月球正面东南高地上一座古老的大撞击坑,约形成于前酒海纪代,其名称取自法国数学家阿德里安-马里·勒让德(1752年-1833年),1935年被国际天文联合会正式接受
  • 罗伯特·科克斯·默顿罗伯特·科克斯·默顿(Robert Cox Merton,1944年7月31日-),美国经济学家、麻省理工学院教授,由于在金融衍生品定价方面的贡献获得1997年诺贝尔经济学奖。默顿出生于纽约市,父母分别
  • 国家破产国家破产是指一个国家的金融、财政收入不能冲抵进口所需外汇,主要金融机构破产或濒临破产,而产生的事件。2008年的金融危机已经使冰岛、巴基斯坦等国陷入国家破产的边缘。
  • 孟山都眼中的世界孟山都眼中的世界(法语:Le Monde Selon Monsanto)是由法国记者玛丽-莫尼克·罗宾(Marie-Monique Robin)于2008年制作,描述孟山都公司种种恶劣行为的电影。这部电影在德法公共电视