自信息

✍ dations ◷ 2025-04-26 12:55:04 #信息论,信息学熵

在信息论中,自信息(英语:self-information),由克劳德·香农提出,是与概率空间中的单一事件或离散随机变量的值相关的信息量的量度。它用信息的单位表示,例如 bit、nat或是hart,使用哪个单位取决于在计算中使用的对数的底。自信息的期望值就是信息论中的熵,它反映了随机变量采样时的平均不确定程度。

由定义,当信息被拥有它的实体传递给接收它的实体时,仅当接收实体不知道信息的先验知识时信息才得到传递。如果接收实体事先知道了消息的内容,这条消息所传递的信息量就是0。只有当接收实体对消息对先验知识少于100%时,消息才真正传递信息。

因此,一个随机产生的事件 ω n {\displaystyle \omega _{n}} 发生的信息量就等于分别宣告事件 和事件 的信息量的和:

I ( C ) = I ( A B ) = I ( A ) + I ( B ) {\displaystyle \operatorname {I} (C)=\operatorname {I} (A\cap B)=\operatorname {I} (A)+\operatorname {I} (B)} 和 是独立事件,所以 C {\displaystyle C} 的概率为

P ( C ) = P ( A B ) = P ( A ) P ( B ) {\displaystyle \operatorname {P} (C)=\operatorname {P} (A\cap B)=\operatorname {P} (A)\cdot \operatorname {P} (B)}

应用函数 f ( ) {\displaystyle f(\cdot )} 会得到

I ( C ) = I ( A ) + I ( B ) f ( P ( C ) ) = f ( P ( A ) ) + f ( P ( B ) ) = f ( P ( A ) P ( B ) ) {\displaystyle {\begin{aligned}\operatorname {I} (C)&=\operatorname {I} (A)+\operatorname {I} (B)\\f(\operatorname {P} (C))&=f(\operatorname {P} (A))+f(\operatorname {P} (B))\\&=f{\big (}\operatorname {P} (A)\cdot \operatorname {P} (B){\big )}\\\end{aligned}}}

所以函数 f ( ) {\displaystyle f(\cdot )} 有性质

f ( x y ) = f ( x ) + f ( y ) {\displaystyle f(x\cdot y)=f(x)+f(y)}

而对数函数正好有这个性质,不同的底的对数函数之间的区别只差一个常数

f ( x ) = K log ( x ) {\displaystyle f(x)=K\log(x)}

由于事件的概率总是在0和1之间,而信息量必须是非负的,所以 K < 0 {\displaystyle K<0}

考虑到这些性质,假设事件 ω n {\displaystyle \omega _{n}} 发生的几率是 P ( ω n ) {\displaystyle P(\omega _{n})} ,自信息 I ( ω n ) {\displaystyle I(\omega _{n})} 的定义就是:

事件 ω n {\displaystyle \omega _{n}} 的概率越小, 它发生后的自信息量越大。

此定义符合上述条件。在上面的定义中,没有指定的对数的基底:如果以 2 为底,单位是bit。当使用以 e 为底的对数时,单位将是 nat。对于基底为 10 的对数,单位是 hart。

信息量的大小不同于信息作用的大小,这不是同一概念。信息量只表明不确定性的减少程度,至于对接收者来说,所获得的信息可能事关重大,也可能无足轻重,这是信息作用的大小。

熵是离散随机变量的自信息的期望值。但有时候熵也会被称作是随机变量的自信息,可能是因为熵满足 H ( X ) = I ( X ; X ) {\displaystyle \operatorname {H} (X)=\operatorname {I} (X;X)} ,而 I ( X ; X ) {\displaystyle \operatorname {I} (X;X)} X {\displaystyle X} 与它自己的互信息。

相关

  • 所罗门所罗门(希伯来语:שְׁלֹמֹה‬‎),天主教汉译为撒罗满,阿拉伯语称为苏莱曼(سليمان)。根据《希伯来圣经》记载,是以色列王国第三位国王,大卫家族第二位国王,是北方以色列王
  • 法国体育法国是世界体育强国,其中又以足球在法国最受欢迎。法国是世界足球强国,法国国家足球队是1998年世界杯足球赛的冠军得主,也是这一届世界杯的主办国。法国还在1984年和2000年获得
  • 阿纳姆阿纳姆(荷兰语:Arnhem),是位于荷兰东部的城市,也是海尔德兰省的首府。1944年9月17日至9月25日,曾经爆发市场花园作战。下莱茵河流经此地。汉恩应用科技大学、阿尔特兹艺术学院、荷
  • 十五酸十五酸(Pentadecanoic acid),分子式CH3(CH2)13COOH。这种脂肪酸可以在奶牛的乳汁中微量找到。 牛奶也是十五酸的主要来源不饱和脂肪酸
  • 常规战争常规战争是战争的一种形态,其战斗方式为公开地使用传统战争武器和战场战术去战胜敌人。战争中我敌划分十分清楚,武器也是直接攻击敌人个体。战斗中通常使用传统或常规武器,而非
  • 梁才偀梁才偀,山西汾州人,清朝政治人物,同进士出身。顺治十五年(1658年)戊戌科进士,授福清县知县。
  • 天道教青友党朝鲜民主主义人民共和国主题天道教青友党(朝鲜语:천도교청우당/天道敎靑友黨 Chosŏn ch'ŏndogyoch'ŏngudang)是朝鲜民主主义人民共和国的一个政党。该党成立于1946年2月8日,
  • 朱莉·冈萨洛朱莉·冈萨洛(英语:Julieta Susana "Julie" Gonzalo,1981年9月9日-)是阿根廷裔美国女演员,最著名的角色是美眉校探中的Parker Lee,灰姑娘的故事中的Shelby以及神奇律师中的Maggie D
  • 曹益欣曹益欣,高雄师范大学美术系毕业,绘本作家、阅读推广者。台湾资深儿童文学美术工作者曹俊彦的女儿。
  • 老挝岩鼠老挝岩鼠是一种形态古老的啮齿动物,为岩鼠属下的唯一物种,也是硅藻鼠科(英语:Diatomys)下现存的唯一物种。老挝岩鼠分布于老挝甘蒙省西北部的热带喀斯特地形区域。学名。其中,属名