自信息

✍ dations ◷ 2025-10-18 21:16:11 #信息论,信息学熵

在信息论中,自信息(英语:self-information),由克劳德·香农提出,是与概率空间中的单一事件或离散随机变量的值相关的信息量的量度。它用信息的单位表示,例如 bit、nat或是hart,使用哪个单位取决于在计算中使用的对数的底。自信息的期望值就是信息论中的熵,它反映了随机变量采样时的平均不确定程度。

由定义,当信息被拥有它的实体传递给接收它的实体时,仅当接收实体不知道信息的先验知识时信息才得到传递。如果接收实体事先知道了消息的内容,这条消息所传递的信息量就是0。只有当接收实体对消息对先验知识少于100%时,消息才真正传递信息。

因此,一个随机产生的事件 ω n {\displaystyle \omega _{n}} 发生的信息量就等于分别宣告事件 和事件 的信息量的和:

I ( C ) = I ( A B ) = I ( A ) + I ( B ) {\displaystyle \operatorname {I} (C)=\operatorname {I} (A\cap B)=\operatorname {I} (A)+\operatorname {I} (B)} 和 是独立事件,所以 C {\displaystyle C} 的概率为

P ( C ) = P ( A B ) = P ( A ) P ( B ) {\displaystyle \operatorname {P} (C)=\operatorname {P} (A\cap B)=\operatorname {P} (A)\cdot \operatorname {P} (B)}

应用函数 f ( ) {\displaystyle f(\cdot )} 会得到

I ( C ) = I ( A ) + I ( B ) f ( P ( C ) ) = f ( P ( A ) ) + f ( P ( B ) ) = f ( P ( A ) P ( B ) ) {\displaystyle {\begin{aligned}\operatorname {I} (C)&=\operatorname {I} (A)+\operatorname {I} (B)\\f(\operatorname {P} (C))&=f(\operatorname {P} (A))+f(\operatorname {P} (B))\\&=f{\big (}\operatorname {P} (A)\cdot \operatorname {P} (B){\big )}\\\end{aligned}}}

所以函数 f ( ) {\displaystyle f(\cdot )} 有性质

f ( x y ) = f ( x ) + f ( y ) {\displaystyle f(x\cdot y)=f(x)+f(y)}

而对数函数正好有这个性质,不同的底的对数函数之间的区别只差一个常数

f ( x ) = K log ( x ) {\displaystyle f(x)=K\log(x)}

由于事件的概率总是在0和1之间,而信息量必须是非负的,所以 K < 0 {\displaystyle K<0}

考虑到这些性质,假设事件 ω n {\displaystyle \omega _{n}} 发生的几率是 P ( ω n ) {\displaystyle P(\omega _{n})} ,自信息 I ( ω n ) {\displaystyle I(\omega _{n})} 的定义就是:

事件 ω n {\displaystyle \omega _{n}} 的概率越小, 它发生后的自信息量越大。

此定义符合上述条件。在上面的定义中,没有指定的对数的基底:如果以 2 为底,单位是bit。当使用以 e 为底的对数时,单位将是 nat。对于基底为 10 的对数,单位是 hart。

信息量的大小不同于信息作用的大小,这不是同一概念。信息量只表明不确定性的减少程度,至于对接收者来说,所获得的信息可能事关重大,也可能无足轻重,这是信息作用的大小。

熵是离散随机变量的自信息的期望值。但有时候熵也会被称作是随机变量的自信息,可能是因为熵满足 H ( X ) = I ( X ; X ) {\displaystyle \operatorname {H} (X)=\operatorname {I} (X;X)} ,而 I ( X ; X ) {\displaystyle \operatorname {I} (X;X)} X {\displaystyle X} 与它自己的互信息。

相关

  • 阴道阴道(英语:vagina)是一种纤维肌形成有弹性柱状通道的性器官,主要利于雌雄性交与分娩时的产道。在胎盘哺乳动物中(特别是灵长类),月经常是代表生殖繁衍能力的象征,也是阴道另一个主要
  • 镰刀型细胞贫血症镰刀型红血球疾病(英语:Sickle-cell disease, SCD)是一组通常由双亲遗传而来的血液疾病。其中最常见的一种类型,叫做镰状红血球贫血症(Sickle-cell anemia, SCA)。该疾病会引起红
  • 840110 数学 120 信息科学与系统科学 130 力学 140 物理学 150 化学 160 天文学 170 地球科学 180 生物学210 农学 220 林学 230 畜牧、兽医科学 240 水产学310 
  • 深坑区坐标:25°00′08″N 121°36′56″E / 25.0023290°N 121.6156700°E / 25.0023290; 121.6156700深坑区是台湾新北市辖下的市辖区,古称簪缨、深坑仔(闽南语: Tshim-khinn-á)。位
  • 不孝四配颜回 · 孟子 · 曾参 · 孔伋日本藤原惺窝 · 林罗山 · 室鸠巢新井白石 · 雨森芳洲朝鲜薛聪 · 权近 · 吉再 · 安珦 · 李穑李滉 · 王仁 · 李齐贤 
  • 北人党北人党(韩语:북인),是朝鲜王朝宣祖时的两班朋党东人党中分裂出的朋党。建立于1591年,在1624年后基本退出政治舞台,其名称来自领导人李山海祖籍汉北和李泼(朝鲜语:이발 (1544년))在汉
  • NGC 2508NGC 2508是位于小犬座的一个星系。它的赤经为 8h 2m,赤纬为 8° 34′。
  • 婆什迦罗第二'婆什迦罗'(Bhāskara,1114年-1185年),也称为婆什迦罗第二(Bhāskara II)和 婆什迦罗老师(Bhāskara Achārya),是一个印度数学家。他生于卡纳塔克邦的比贾布尔区的Bijjada Bida附近,并
  • 凯特·纳什凯特·玛丽·纳什(英语:Kate Marie Nash,1987年7月6日-) 出生于伦敦哈罗,是一位英国创作歌手兼演员,在英国2007年以一曲休眠热歌(Sleeper hit)《Foundations》 开始逐渐知名。她的首
  • 台城洞台城洞(又称自由村),是一个两韩边界附近的韩国聚落,位于朝韩非军事区(DMZ)内。该村庄距不归桥1.6千米,距朝鲜开城市12千米。台城洞在行政上隶属于坡州市郡内面(朝鲜语:군내면 (파주시