自信息

✍ dations ◷ 2025-07-08 15:42:13 #信息论,信息学熵

在信息论中,自信息(英语:self-information),由克劳德·香农提出,是与概率空间中的单一事件或离散随机变量的值相关的信息量的量度。它用信息的单位表示,例如 bit、nat或是hart,使用哪个单位取决于在计算中使用的对数的底。自信息的期望值就是信息论中的熵,它反映了随机变量采样时的平均不确定程度。

由定义,当信息被拥有它的实体传递给接收它的实体时,仅当接收实体不知道信息的先验知识时信息才得到传递。如果接收实体事先知道了消息的内容,这条消息所传递的信息量就是0。只有当接收实体对消息对先验知识少于100%时,消息才真正传递信息。

因此,一个随机产生的事件 ω n {\displaystyle \omega _{n}} 发生的信息量就等于分别宣告事件 和事件 的信息量的和:

I ( C ) = I ( A B ) = I ( A ) + I ( B ) {\displaystyle \operatorname {I} (C)=\operatorname {I} (A\cap B)=\operatorname {I} (A)+\operatorname {I} (B)} 和 是独立事件,所以 C {\displaystyle C} 的概率为

P ( C ) = P ( A B ) = P ( A ) P ( B ) {\displaystyle \operatorname {P} (C)=\operatorname {P} (A\cap B)=\operatorname {P} (A)\cdot \operatorname {P} (B)}

应用函数 f ( ) {\displaystyle f(\cdot )} 会得到

I ( C ) = I ( A ) + I ( B ) f ( P ( C ) ) = f ( P ( A ) ) + f ( P ( B ) ) = f ( P ( A ) P ( B ) ) {\displaystyle {\begin{aligned}\operatorname {I} (C)&=\operatorname {I} (A)+\operatorname {I} (B)\\f(\operatorname {P} (C))&=f(\operatorname {P} (A))+f(\operatorname {P} (B))\\&=f{\big (}\operatorname {P} (A)\cdot \operatorname {P} (B){\big )}\\\end{aligned}}}

所以函数 f ( ) {\displaystyle f(\cdot )} 有性质

f ( x y ) = f ( x ) + f ( y ) {\displaystyle f(x\cdot y)=f(x)+f(y)}

而对数函数正好有这个性质,不同的底的对数函数之间的区别只差一个常数

f ( x ) = K log ( x ) {\displaystyle f(x)=K\log(x)}

由于事件的概率总是在0和1之间,而信息量必须是非负的,所以 K < 0 {\displaystyle K<0}

考虑到这些性质,假设事件 ω n {\displaystyle \omega _{n}} 发生的几率是 P ( ω n ) {\displaystyle P(\omega _{n})} ,自信息 I ( ω n ) {\displaystyle I(\omega _{n})} 的定义就是:

事件 ω n {\displaystyle \omega _{n}} 的概率越小, 它发生后的自信息量越大。

此定义符合上述条件。在上面的定义中,没有指定的对数的基底:如果以 2 为底,单位是bit。当使用以 e 为底的对数时,单位将是 nat。对于基底为 10 的对数,单位是 hart。

信息量的大小不同于信息作用的大小,这不是同一概念。信息量只表明不确定性的减少程度,至于对接收者来说,所获得的信息可能事关重大,也可能无足轻重,这是信息作用的大小。

熵是离散随机变量的自信息的期望值。但有时候熵也会被称作是随机变量的自信息,可能是因为熵满足 H ( X ) = I ( X ; X ) {\displaystyle \operatorname {H} (X)=\operatorname {I} (X;X)} ,而 I ( X ; X ) {\displaystyle \operatorname {I} (X;X)} X {\displaystyle X} 与它自己的互信息。

相关

  • 廊酒廊酒(法语:Bénédictine)是由法国人Alexandre Le Grand于19世纪始创的一种草本利口酒。制造商除了生产廊酒外,同时生产一种称之为"B & B"(Bénédictine and Brandy)的酒精饮料,通
  • 单磷酸胸苷胸苷单磷酸(Thymidine monophosphate,TMP)是一种核苷酸,可见于DNA分子中,含有磷酸基团、五碳糖,以及碱基胸腺嘧啶。
  • 亚硝基化合物亚硝基化合物 (Nitroso)指含有亚硝基(-NO)官能团的一类有机化合物,在有机化学上其中有NO基团连接到该有机部分。通式为RNO。 这样,各种亚硝基可以被归类为:亚硝是包含NO基团的非
  • .mw-parser-output ruby>rt,.mw-parser-output ruby>rtc{font-feature-settings:"ruby"1}.mw-parser-output ruby.large{font-size:250%}.mw-parser-output ruby.larger{fon
  • 佤族原始宗教佤族(佤文:Ba Rāog / si viex / Brāog / Vax Ba Rāog / Vāx qux (口语) / Vā (文学语),旧佤文:Praok / Va;中国标准罗马字母:Va)是亚洲的一个跨国民族,主要分布在澜沧江与萨尔温江
  • 苏格兰英语苏格兰英语(英语:Scottish English),一种英语的变体,在苏格兰使用。最主要的、正式的苏格兰英文,被称为标准苏格兰英语(Standard Scottish English)或苏格兰标准英语(Scottish Standa
  • 拉吉斯拉夫·阿达麦茨拉吉斯拉夫·阿达麦茨(捷克语:Ladislav Adamec;1926年9月10日-2007年4月14日),捷克斯洛伐克共产党最后一任最高领导人,曾先后担任捷克斯洛伐克总理、捷克斯洛伐克共产党主席。1926
  • 江南1970《江南1970》(韩语:강남 1970;前名《江南布鲁斯》(韩语:강남블루스))是一部于2015年上映的韩国动作新黑色电影,由柳河(朝鲜语:유하 (1963년))(韩语:유하)编写剧本、导演及监制,并由韩国人气
  • 2020年夏季奥林匹克运动会捷克代表团捷克参加2021年7月23日至8月8日间于日本东京举行的2020年夏季奥林匹克运动会,这是该国于天鹅绒分离后第七次于夏季奥运出赛。捷克在田径项目上获得以下资格(每个小项最多3名来
  • 党城乡党城乡,是中华人民共和国河北省保定市曲阳县下辖的一个乡镇级行政单位。党城乡下辖以下地区:郑家庄村、贾家口村、喜峪村、湾子村、寨里村、党城村、城南村、峪里村、河东村、