自信息

✍ dations ◷ 2025-04-02 13:29:38 #信息论,信息学熵

在信息论中,自信息(英语:self-information),由克劳德·香农提出,是与概率空间中的单一事件或离散随机变量的值相关的信息量的量度。它用信息的单位表示,例如 bit、nat或是hart,使用哪个单位取决于在计算中使用的对数的底。自信息的期望值就是信息论中的熵,它反映了随机变量采样时的平均不确定程度。

由定义,当信息被拥有它的实体传递给接收它的实体时,仅当接收实体不知道信息的先验知识时信息才得到传递。如果接收实体事先知道了消息的内容,这条消息所传递的信息量就是0。只有当接收实体对消息对先验知识少于100%时,消息才真正传递信息。

因此,一个随机产生的事件 ω n {\displaystyle \omega _{n}} 发生的信息量就等于分别宣告事件 和事件 的信息量的和:

I ( C ) = I ( A B ) = I ( A ) + I ( B ) {\displaystyle \operatorname {I} (C)=\operatorname {I} (A\cap B)=\operatorname {I} (A)+\operatorname {I} (B)} 和 是独立事件,所以 C {\displaystyle C} 的概率为

P ( C ) = P ( A B ) = P ( A ) P ( B ) {\displaystyle \operatorname {P} (C)=\operatorname {P} (A\cap B)=\operatorname {P} (A)\cdot \operatorname {P} (B)}

应用函数 f ( ) {\displaystyle f(\cdot )} 会得到

I ( C ) = I ( A ) + I ( B ) f ( P ( C ) ) = f ( P ( A ) ) + f ( P ( B ) ) = f ( P ( A ) P ( B ) ) {\displaystyle {\begin{aligned}\operatorname {I} (C)&=\operatorname {I} (A)+\operatorname {I} (B)\\f(\operatorname {P} (C))&=f(\operatorname {P} (A))+f(\operatorname {P} (B))\\&=f{\big (}\operatorname {P} (A)\cdot \operatorname {P} (B){\big )}\\\end{aligned}}}

所以函数 f ( ) {\displaystyle f(\cdot )} 有性质

f ( x y ) = f ( x ) + f ( y ) {\displaystyle f(x\cdot y)=f(x)+f(y)}

而对数函数正好有这个性质,不同的底的对数函数之间的区别只差一个常数

f ( x ) = K log ( x ) {\displaystyle f(x)=K\log(x)}

由于事件的概率总是在0和1之间,而信息量必须是非负的,所以 K < 0 {\displaystyle K<0}

考虑到这些性质,假设事件 ω n {\displaystyle \omega _{n}} 发生的几率是 P ( ω n ) {\displaystyle P(\omega _{n})} ,自信息 I ( ω n ) {\displaystyle I(\omega _{n})} 的定义就是:

事件 ω n {\displaystyle \omega _{n}} 的概率越小, 它发生后的自信息量越大。

此定义符合上述条件。在上面的定义中,没有指定的对数的基底:如果以 2 为底,单位是bit。当使用以 e 为底的对数时,单位将是 nat。对于基底为 10 的对数,单位是 hart。

信息量的大小不同于信息作用的大小,这不是同一概念。信息量只表明不确定性的减少程度,至于对接收者来说,所获得的信息可能事关重大,也可能无足轻重,这是信息作用的大小。

熵是离散随机变量的自信息的期望值。但有时候熵也会被称作是随机变量的自信息,可能是因为熵满足 H ( X ) = I ( X ; X ) {\displaystyle \operatorname {H} (X)=\operatorname {I} (X;X)} ,而 I ( X ; X ) {\displaystyle \operatorname {I} (X;X)} X {\displaystyle X} 与它自己的互信息。

相关

  • 次级代谢产物次级代谢产物(英语:Secondary metabolites,又称为次生代谢物、二代谢物)是不直接涉及到生命正常生长、发育或繁殖的有机化合物。不像初级代谢产物,缺少次级代谢产物不会导致立即
  • 肝sub木/sub在中医传统脏象学说中,肝属五行中的木,其主要功能为“疏泄”与“藏血”。其中疏泄包含了精神情绪、消化,以及与气、血、水的流通;而藏血则包括了血液的储藏及调节。除此之外,肝与
  • 发射载具发射载具(英语:launch vehicle)是所有可以把航天器从地球送入外层空间的飞行器的统称。一个发射系统包括运载火箭,发射台(英语:Launch pad),和其他基础设施。发射载具基本上可以分为
  • 根腐病根腐病是一种发生在植物根部的病症,通常在排水较差的室内植物中发现,在室外植物中较少见。目前没有有效的治疗方法。许多根腐病是由卵菌纲疫霉属(Phytophthora)的成员造成的。病
  • 康有溥康有溥(1867年-1898年9月28日),字广仁,号幼博,又号大广,广东南海人,康有为之弟。参与戊戌变法,慈禧太后重夺权力后,因梁启超带病往北京应付官试,与他同行,因而被捕,和谭嗣同、杨锐、林旭
  • 华南师范大学华南师范大学(英语:South China Normal University,缩写作:SCNU),简称华南师大或华师,是一所位于中华人民共和国广东省的公立综合研究型大学,由广东省人民政府和教育部共建。华南师
  • 1840年马丁·范布伦 民主党威廉·亨利·哈里森 辉格党1840年美国总统选举主要由辉格党的威廉·亨利·哈里森与民主党的马丁·范布伦竞争,结果由威廉·亨利·哈里森胜出,当选为美国
  • 巴以冲突进行中持续中的冲突以色列-巴勒斯坦冲突是持续中的冲突,为阿以冲突及中东战争的一部分。巴以冲突不能够简单地概括为所有以色列犹太人与所有巴勒斯坦阿拉伯人之间的双边冲突
  • 卡尔·马克思的革命理论《卡尔·马克思的革命理论》(英语:)是哈尔·卓普(Hal Draper)关于卡尔·马克思的5卷书。经济学家罗伯特·海尔布鲁诺(Robert Heilbroner)赞《马克思的革命理论》,称其为一部“极具鼓
  • 亨利一世 (蒙莫朗西公爵)亨利一世,第三代蒙莫朗西公爵(Henri I de Montmorency,1534年6月15日-1614年4月2日),法国元帅和法国王室统帅,当维尔领主(Sieur de Damville),1563年-1614年任朗格多克(Languedoc)总督。