自信息

✍ dations ◷ 2025-04-04 20:48:38 #信息论,信息学熵

在信息论中,自信息(英语:self-information),由克劳德·香农提出,是与概率空间中的单一事件或离散随机变量的值相关的信息量的量度。它用信息的单位表示,例如 bit、nat或是hart,使用哪个单位取决于在计算中使用的对数的底。自信息的期望值就是信息论中的熵,它反映了随机变量采样时的平均不确定程度。

由定义,当信息被拥有它的实体传递给接收它的实体时,仅当接收实体不知道信息的先验知识时信息才得到传递。如果接收实体事先知道了消息的内容,这条消息所传递的信息量就是0。只有当接收实体对消息对先验知识少于100%时,消息才真正传递信息。

因此,一个随机产生的事件 ω n {\displaystyle \omega _{n}} 发生的信息量就等于分别宣告事件 和事件 的信息量的和:

I ( C ) = I ( A B ) = I ( A ) + I ( B ) {\displaystyle \operatorname {I} (C)=\operatorname {I} (A\cap B)=\operatorname {I} (A)+\operatorname {I} (B)} 和 是独立事件,所以 C {\displaystyle C} 的概率为

P ( C ) = P ( A B ) = P ( A ) P ( B ) {\displaystyle \operatorname {P} (C)=\operatorname {P} (A\cap B)=\operatorname {P} (A)\cdot \operatorname {P} (B)}

应用函数 f ( ) {\displaystyle f(\cdot )} 会得到

I ( C ) = I ( A ) + I ( B ) f ( P ( C ) ) = f ( P ( A ) ) + f ( P ( B ) ) = f ( P ( A ) P ( B ) ) {\displaystyle {\begin{aligned}\operatorname {I} (C)&=\operatorname {I} (A)+\operatorname {I} (B)\\f(\operatorname {P} (C))&=f(\operatorname {P} (A))+f(\operatorname {P} (B))\\&=f{\big (}\operatorname {P} (A)\cdot \operatorname {P} (B){\big )}\\\end{aligned}}}

所以函数 f ( ) {\displaystyle f(\cdot )} 有性质

f ( x y ) = f ( x ) + f ( y ) {\displaystyle f(x\cdot y)=f(x)+f(y)}

而对数函数正好有这个性质,不同的底的对数函数之间的区别只差一个常数

f ( x ) = K log ( x ) {\displaystyle f(x)=K\log(x)}

由于事件的概率总是在0和1之间,而信息量必须是非负的,所以 K < 0 {\displaystyle K<0}

考虑到这些性质,假设事件 ω n {\displaystyle \omega _{n}} 发生的几率是 P ( ω n ) {\displaystyle P(\omega _{n})} ,自信息 I ( ω n ) {\displaystyle I(\omega _{n})} 的定义就是:

事件 ω n {\displaystyle \omega _{n}} 的概率越小, 它发生后的自信息量越大。

此定义符合上述条件。在上面的定义中,没有指定的对数的基底:如果以 2 为底,单位是bit。当使用以 e 为底的对数时,单位将是 nat。对于基底为 10 的对数,单位是 hart。

信息量的大小不同于信息作用的大小,这不是同一概念。信息量只表明不确定性的减少程度,至于对接收者来说,所获得的信息可能事关重大,也可能无足轻重,这是信息作用的大小。

熵是离散随机变量的自信息的期望值。但有时候熵也会被称作是随机变量的自信息,可能是因为熵满足 H ( X ) = I ( X ; X ) {\displaystyle \operatorname {H} (X)=\operatorname {I} (X;X)} ,而 I ( X ; X ) {\displaystyle \operatorname {I} (X;X)} X {\displaystyle X} 与它自己的互信息。

相关

  • 乙腈乙腈(英语:Acetonitrile,又称氰基甲烷),化学式CH3CN。乙腈是无色的液体,是最简单的有机腈,并广泛用作极性非质子溶剂。乙腈在某些条件下,也可以发生碳-碳键断裂。工业上经乙酰胺脱水
  • 单位笛卡尔坐标系(英语:Cartesian coordinate system,也称直角坐标系)在数学中是一种正交坐标系,由法国数学家勒内·笛卡尔引入而有此名。二维的直角坐标系是由两条相互垂直、相交于
  • Nasub3/subN氮化钠 (Na3N)是一种非常不稳定的碱金属氮化物。氮化钠是2002年由马克斯-普朗克学会的Dieter Fischer及Martin Jansen所合成。合成时,用钠及氮的原子束在低温的蓝宝石上沉积出
  • 朝鲜国防委员会委员长朝鲜民主主义人民共和国主题朝鲜民主主义人民共和国国务委员会委员长(朝鲜语:조선민주주의인민공화국 국무위원회 위원장/朝鮮民主主義人民共和國國务委員會委員長 Joseon min
  • 古晋古晋(马来语:Kuching)通称“古晋市”,是马来西亚砂拉越州的首府和马来西亚自1988年以来的第四大城市、东马最大;综合马来西亚及印尼2010年人口调查,在婆罗洲全岛境内,古晋居民数量
  • WalkmanWalkman,是日本索尼公司(Sony)在1979年所推出的一个随身听品牌,而中文的随身听名称即是由“Walkman”转变而来。1979年3月,在井深大的要求下,音响部门以记者用的小型录音机“新闻
  • 胡塔班江火山胡塔班江火山(印尼语:Hutapanjang)是印度尼西亚占碑省的火山,该火山类型为复式火山。目前对该火山的资料未甚少,并且未有该火山最后一次确切喷发纪录。
  • 科索沃和梅托希亚自治省科索沃和梅托希亚自治省(塞尔维亚语:;阿尔巴尼亚语:)是1999年塞尔维亚在联合国临时行政当局特派团接管科索沃地区之前,设立于科索沃地区的一个自治省。科索沃和梅托希亚民族构成复
  • 伯勒内什蒂乡 (戈尔日县)坐标:45°04′N 23°24′E / 45.067°N 23.400°E / 45.067; 23.400伯勒内什蒂乡(罗马尼亚语:Comuna Bălănești, Gorj),是罗马尼亚的乡份,位于该国西南部,由戈尔日县负责管辖,面
  • 天城文转写在天城文转写为拉丁字母(Devanagari transliteration)的各种方法中,最广泛使用的方法是 IAST(用于印刷)和 ITRANS(用于电子文本)。还有其他一些可选择的方案如Harvard-Kyoto、V