自信息

✍ dations ◷ 2025-09-16 14:40:21 #信息论,信息学熵

在信息论中,自信息(英语:self-information),由克劳德·香农提出,是与概率空间中的单一事件或离散随机变量的值相关的信息量的量度。它用信息的单位表示,例如 bit、nat或是hart,使用哪个单位取决于在计算中使用的对数的底。自信息的期望值就是信息论中的熵,它反映了随机变量采样时的平均不确定程度。

由定义,当信息被拥有它的实体传递给接收它的实体时,仅当接收实体不知道信息的先验知识时信息才得到传递。如果接收实体事先知道了消息的内容,这条消息所传递的信息量就是0。只有当接收实体对消息对先验知识少于100%时,消息才真正传递信息。

因此,一个随机产生的事件 ω n {\displaystyle \omega _{n}} 发生的信息量就等于分别宣告事件 和事件 的信息量的和:

I ( C ) = I ( A B ) = I ( A ) + I ( B ) {\displaystyle \operatorname {I} (C)=\operatorname {I} (A\cap B)=\operatorname {I} (A)+\operatorname {I} (B)} 和 是独立事件,所以 C {\displaystyle C} 的概率为

P ( C ) = P ( A B ) = P ( A ) P ( B ) {\displaystyle \operatorname {P} (C)=\operatorname {P} (A\cap B)=\operatorname {P} (A)\cdot \operatorname {P} (B)}

应用函数 f ( ) {\displaystyle f(\cdot )} 会得到

I ( C ) = I ( A ) + I ( B ) f ( P ( C ) ) = f ( P ( A ) ) + f ( P ( B ) ) = f ( P ( A ) P ( B ) ) {\displaystyle {\begin{aligned}\operatorname {I} (C)&=\operatorname {I} (A)+\operatorname {I} (B)\\f(\operatorname {P} (C))&=f(\operatorname {P} (A))+f(\operatorname {P} (B))\\&=f{\big (}\operatorname {P} (A)\cdot \operatorname {P} (B){\big )}\\\end{aligned}}}

所以函数 f ( ) {\displaystyle f(\cdot )} 有性质

f ( x y ) = f ( x ) + f ( y ) {\displaystyle f(x\cdot y)=f(x)+f(y)}

而对数函数正好有这个性质,不同的底的对数函数之间的区别只差一个常数

f ( x ) = K log ( x ) {\displaystyle f(x)=K\log(x)}

由于事件的概率总是在0和1之间,而信息量必须是非负的,所以 K < 0 {\displaystyle K<0}

考虑到这些性质,假设事件 ω n {\displaystyle \omega _{n}} 发生的几率是 P ( ω n ) {\displaystyle P(\omega _{n})} ,自信息 I ( ω n ) {\displaystyle I(\omega _{n})} 的定义就是:

事件 ω n {\displaystyle \omega _{n}} 的概率越小, 它发生后的自信息量越大。

此定义符合上述条件。在上面的定义中,没有指定的对数的基底:如果以 2 为底,单位是bit。当使用以 e 为底的对数时,单位将是 nat。对于基底为 10 的对数,单位是 hart。

信息量的大小不同于信息作用的大小,这不是同一概念。信息量只表明不确定性的减少程度,至于对接收者来说,所获得的信息可能事关重大,也可能无足轻重,这是信息作用的大小。

熵是离散随机变量的自信息的期望值。但有时候熵也会被称作是随机变量的自信息,可能是因为熵满足 H ( X ) = I ( X ; X ) {\displaystyle \operatorname {H} (X)=\operatorname {I} (X;X)} ,而 I ( X ; X ) {\displaystyle \operatorname {I} (X;X)} X {\displaystyle X} 与它自己的互信息。

相关

  • 四氢孕酮孕烷醇酮(英语:Pregnanolone)也被称为四氢孕酮(英语:tetrahydroprogesterone,THP)可指:
  • 国际能源署国际能源署(英语:International Energy Agency,缩写为 IEA;法语:Agence internationale de l'énergie)是总部设于法国巴黎的政府间国际组织。1974年由经济合作与发展组织为应对能
  • 304年秦昭襄王与楚怀王盟于黄棘,秦予楚上庸。
  • 杨泮池杨泮池(1954年2月8日-),台湾医学家,国立台湾大学医学博士,中研院院士。曾任国立台湾大学校长、国立台湾大学系统校长、台大医学院内科教授、台湾欧洲联盟中心(EUTW)主席。细胞及发展
  • 海伦娜·博纳姆·卡特海伦娜·博纳姆·卡特,CBE(英语:Helena Bonham Carter,1966年5月26日-),英国电影演员。生涯共入围两次奥斯卡金像奖、八次金球奖和四次英国电影学院奖。1998年,海伦娜以《鸽之翼》入
  • 维普斯人维普斯人(Veps:vepsläižed,复数)是指讲维普斯语的波罗的芬兰人。此语言属于的乌拉尔语系的芬兰语支。维普斯人在不同的方言被称为、,以及(流行于奥涅加湖西南面的北方方言)和。根
  • 兵承育兵承育(1998年12月9日-),台湾演员,童星出身,幼年时期以演出《亲戚不计较》的“阿强”一角闻名,之后陆续参与戏剧演出,毕业于新北市立泰山高级中学。
  • 利安·普伦科特利安·普伦科特(英语:Liam Plunkett;1985年4月6日-)是一位英格兰板球运动员。他是一位右手球员。他现在效力于约克郡乡村板球俱乐部。他也代表英格兰板球代表队参加国际赛事。
  • 布拉迪斯拉发斯拉夫人足球俱乐部布拉迪斯拉发斯拉夫人足球俱乐部( ŠK Slovan Bratislava )是斯洛伐克的一家足球俱乐部,一般称为施洛万或布拉迪斯拉发。主场设在斯洛伐克首都布拉迪斯拉发。布拉迪斯拉发斯
  • 西达德·查图维迪西达德·查图维迪(英语:Siddhant Chaturvedi,印地语:सिद्धांत चतुर्वेदी,1993年4月29日-)是印度男演员,主要出现在宝莱坞电影。查图维迪在2016年出道,出演了两部网