自信息

✍ dations ◷ 2025-06-28 21:09:21 #信息论,信息学熵

在信息论中,自信息(英语:self-information),由克劳德·香农提出,是与概率空间中的单一事件或离散随机变量的值相关的信息量的量度。它用信息的单位表示,例如 bit、nat或是hart,使用哪个单位取决于在计算中使用的对数的底。自信息的期望值就是信息论中的熵,它反映了随机变量采样时的平均不确定程度。

由定义,当信息被拥有它的实体传递给接收它的实体时,仅当接收实体不知道信息的先验知识时信息才得到传递。如果接收实体事先知道了消息的内容,这条消息所传递的信息量就是0。只有当接收实体对消息对先验知识少于100%时,消息才真正传递信息。

因此,一个随机产生的事件 ω n {\displaystyle \omega _{n}} 发生的信息量就等于分别宣告事件 和事件 的信息量的和:

I ( C ) = I ( A B ) = I ( A ) + I ( B ) {\displaystyle \operatorname {I} (C)=\operatorname {I} (A\cap B)=\operatorname {I} (A)+\operatorname {I} (B)} 和 是独立事件,所以 C {\displaystyle C} 的概率为

P ( C ) = P ( A B ) = P ( A ) P ( B ) {\displaystyle \operatorname {P} (C)=\operatorname {P} (A\cap B)=\operatorname {P} (A)\cdot \operatorname {P} (B)}

应用函数 f ( ) {\displaystyle f(\cdot )} 会得到

I ( C ) = I ( A ) + I ( B ) f ( P ( C ) ) = f ( P ( A ) ) + f ( P ( B ) ) = f ( P ( A ) P ( B ) ) {\displaystyle {\begin{aligned}\operatorname {I} (C)&=\operatorname {I} (A)+\operatorname {I} (B)\\f(\operatorname {P} (C))&=f(\operatorname {P} (A))+f(\operatorname {P} (B))\\&=f{\big (}\operatorname {P} (A)\cdot \operatorname {P} (B){\big )}\\\end{aligned}}}

所以函数 f ( ) {\displaystyle f(\cdot )} 有性质

f ( x y ) = f ( x ) + f ( y ) {\displaystyle f(x\cdot y)=f(x)+f(y)}

而对数函数正好有这个性质,不同的底的对数函数之间的区别只差一个常数

f ( x ) = K log ( x ) {\displaystyle f(x)=K\log(x)}

由于事件的概率总是在0和1之间,而信息量必须是非负的,所以 K < 0 {\displaystyle K<0}

考虑到这些性质,假设事件 ω n {\displaystyle \omega _{n}} 发生的几率是 P ( ω n ) {\displaystyle P(\omega _{n})} ,自信息 I ( ω n ) {\displaystyle I(\omega _{n})} 的定义就是:

事件 ω n {\displaystyle \omega _{n}} 的概率越小, 它发生后的自信息量越大。

此定义符合上述条件。在上面的定义中,没有指定的对数的基底:如果以 2 为底,单位是bit。当使用以 e 为底的对数时,单位将是 nat。对于基底为 10 的对数,单位是 hart。

信息量的大小不同于信息作用的大小,这不是同一概念。信息量只表明不确定性的减少程度,至于对接收者来说,所获得的信息可能事关重大,也可能无足轻重,这是信息作用的大小。

熵是离散随机变量的自信息的期望值。但有时候熵也会被称作是随机变量的自信息,可能是因为熵满足 H ( X ) = I ( X ; X ) {\displaystyle \operatorname {H} (X)=\operatorname {I} (X;X)} ,而 I ( X ; X ) {\displaystyle \operatorname {I} (X;X)} X {\displaystyle X} 与它自己的互信息。

相关

  • 奥弗涅-罗纳-阿尔卑斯奥弗涅-罗讷-阿尔卑斯(法语:Auvergne-Rhône-Alpes)是法国的一个大区,是根据2014年大区重划,合并奥弗涅、罗讷-阿尔卑斯等两个大区,2016年1月1日起生效。5个海外省及大区
  • 军舰鸟军舰鸟科(学名:Fregatidae)在鸟类全基因组测序分类系统上是鲣鸟目中的一个科,其下有军舰鸟属一属的五种:此外,还有已灭绝的璃茉军舰鸟(Limnofregata)等。
  • 效度有效度(法语:Validité; 英语:Validity;德语: Validität)是研究方法中关于测量方式能否如实反映所欲测量的能力。一项有效度高的衡量较一项有效度低的衡量更为准确。譬如以一个国
  • 龙岗街道龙岗街道是中国广东省深圳市龙岗区下辖的一个街道,位处深圳市东北部,龙岗中心城区。龙岗街道位于龙岗区北部,东、南与宝龙街道接壤,西与龙城街道、东莞凤岗镇毗邻,北与坪地街道相
  • 长胡子有胡女性,是指女性有像男性一样胡须的实际或假造现象,近来也成为政治宣示或时尚宣示。这是一种存在人类中,极其罕见的人体现象。有时,打睾酮的女性也会长胡子。
  • 三山五园三山五园是指北京西北部的皇家园林群的统称。这些园林兴建于清康熙时期,兴盛于乾隆时期,大多在1860年第二次鸦片战争中被焚毁。有关三山五园的具体所指,目前比较通行的说法是,三
  • 三带犰狳属三带犰狳属(学名:)是有甲目倭犰狳科的一属,包括两种三带犰狳:
  • 弗朗西斯科·卡利尼弗朗西斯科·卡利尼(Francesco Carlini,1783年1月7日-1862年8月29日),是一位出生于意大利米兰的天文学家,1832年担任布雷拉天文台台长,并在当年发表了《太阳运动新表》,1810年他曾与
  • 照井春佳照井春佳(1987年3月7日-)为日本女性声优。隶属于青二Production,岩手县出身。身高158cm、血型为A型。A&G Academy毕业。※粗体字表示说明为主要角色。2011年2012年2013年2014年2
  • My song Your song 5 link双白金(日本唱片协会)《My song Your song》(日语:マイ ソング ユア ソング),日本音乐团体生物股长的第3张录音室专辑。2008年12月24日发行。前作《LIFE ALBUM》约隔十个月