自信息

✍ dations ◷ 2025-09-10 12:20:43 #信息论,信息学熵

在信息论中,自信息(英语:self-information),由克劳德·香农提出,是与概率空间中的单一事件或离散随机变量的值相关的信息量的量度。它用信息的单位表示,例如 bit、nat或是hart,使用哪个单位取决于在计算中使用的对数的底。自信息的期望值就是信息论中的熵,它反映了随机变量采样时的平均不确定程度。

由定义,当信息被拥有它的实体传递给接收它的实体时,仅当接收实体不知道信息的先验知识时信息才得到传递。如果接收实体事先知道了消息的内容,这条消息所传递的信息量就是0。只有当接收实体对消息对先验知识少于100%时,消息才真正传递信息。

因此,一个随机产生的事件 ω n {\displaystyle \omega _{n}} 发生的信息量就等于分别宣告事件 和事件 的信息量的和:

I ( C ) = I ( A B ) = I ( A ) + I ( B ) {\displaystyle \operatorname {I} (C)=\operatorname {I} (A\cap B)=\operatorname {I} (A)+\operatorname {I} (B)} 和 是独立事件,所以 C {\displaystyle C} 的概率为

P ( C ) = P ( A B ) = P ( A ) P ( B ) {\displaystyle \operatorname {P} (C)=\operatorname {P} (A\cap B)=\operatorname {P} (A)\cdot \operatorname {P} (B)}

应用函数 f ( ) {\displaystyle f(\cdot )} 会得到

I ( C ) = I ( A ) + I ( B ) f ( P ( C ) ) = f ( P ( A ) ) + f ( P ( B ) ) = f ( P ( A ) P ( B ) ) {\displaystyle {\begin{aligned}\operatorname {I} (C)&=\operatorname {I} (A)+\operatorname {I} (B)\\f(\operatorname {P} (C))&=f(\operatorname {P} (A))+f(\operatorname {P} (B))\\&=f{\big (}\operatorname {P} (A)\cdot \operatorname {P} (B){\big )}\\\end{aligned}}}

所以函数 f ( ) {\displaystyle f(\cdot )} 有性质

f ( x y ) = f ( x ) + f ( y ) {\displaystyle f(x\cdot y)=f(x)+f(y)}

而对数函数正好有这个性质,不同的底的对数函数之间的区别只差一个常数

f ( x ) = K log ( x ) {\displaystyle f(x)=K\log(x)}

由于事件的概率总是在0和1之间,而信息量必须是非负的,所以 K < 0 {\displaystyle K<0}

考虑到这些性质,假设事件 ω n {\displaystyle \omega _{n}} 发生的几率是 P ( ω n ) {\displaystyle P(\omega _{n})} ,自信息 I ( ω n ) {\displaystyle I(\omega _{n})} 的定义就是:

事件 ω n {\displaystyle \omega _{n}} 的概率越小, 它发生后的自信息量越大。

此定义符合上述条件。在上面的定义中,没有指定的对数的基底:如果以 2 为底,单位是bit。当使用以 e 为底的对数时,单位将是 nat。对于基底为 10 的对数,单位是 hart。

信息量的大小不同于信息作用的大小,这不是同一概念。信息量只表明不确定性的减少程度,至于对接收者来说,所获得的信息可能事关重大,也可能无足轻重,这是信息作用的大小。

熵是离散随机变量的自信息的期望值。但有时候熵也会被称作是随机变量的自信息,可能是因为熵满足 H ( X ) = I ( X ; X ) {\displaystyle \operatorname {H} (X)=\operatorname {I} (X;X)} ,而 I ( X ; X ) {\displaystyle \operatorname {I} (X;X)} X {\displaystyle X} 与它自己的互信息。

相关

  • 渡渡鸟渡渡鸟(学名:Raphus cucullatus)又称毛里求斯愚鸠、愚鸠、孤鸽,是已灭绝的渡渡鸟属的唯一物种,属鸽形目鸠鸽科,仅产于南印度洋马达加斯加岛东侧的毛里求斯岛上,是一种不会飞的鸟。
  • 二十二碳六烯酸二十二碳六烯酸(英语:Docosahexaenoic Acid,DHA)是有六个双键的多元不饱和脂肪酸(C22H32O2),是一种ω-3必需脂肪酸。鱼油含有丰富的DHA。大部分在鱼类和其他生物的DHA起源于光合和
  • 须芒草须芒草(学名:Andropogon yunnanensis)为禾本科须芒草属下的一个种。
  • 朋克摇滚朋克摇滚(英语:Punk Rock)起源于1974-1976年的美国、英国、澳洲,是摇滚乐的分支音乐类型,有“反建制原则”(anti-establishment)的特色。伦敦的性手枪(Sex Pistols)、冲击合唱团;纽约的
  • 鲁迅纪念馆后人为纪念鲁迅,在他生前生活或工作过的许多地方开设了鲁迅纪念馆或者鲁迅博物馆。位于各地的纪念馆主要有:绍兴鲁迅纪念馆位于绍兴市都昌坊口鲁迅路208号。北京鲁迅博物馆位
  • 普鲁士邦联普鲁士邦联由53名贵族、教士以及19个城市为了对抗条顿骑士团,于1440年2月21日在克维曾创立。它的基础奠基于1397年创立的秘密组织“蜥蜴同盟”(Lizard Union)。1454年,邦联领导
  • 李善邦李善邦(1902年-1980年),地震学家。中国现代地震学的奠基人,中国地球物理勘探工作的重要开创者。其孙李天立曾就读于中国人民大学附属中学,2010年毕业于中国人民大学,现从事医疗贸易
  • 基利杰阿尔斯兰四世基利杰阿尔斯兰四世(阿拉伯语:ركن الدين قلج ارسلان بن كيخسرو、Rukn al-Dīn Qilij Arslān bin Kaykhusraw;土耳其语:IV. Kılıç Arslan)在1246年
  • 山胁东洋山胁东洋(やまわき とうよう,1706年-1762年),生于丹波国龟山,日本江户时期著名汉医学者,为古方派代表人物,为实证医学的先驱。山胁东洋为后藤艮山弟子,后藤艮山提倡古医方,为古方派代
  • 弗拉基米尔·伊万诺维奇·亚库宁弗拉基米尔·伊万诺维奇·亚库宁(俄语:Влади́мир Ива́нович Яку́нин,1948年6月30日-,出生于苏联 弗拉基米尔 俄罗斯私营企业家,“俄罗斯铁路”股份公司