自信息

✍ dations ◷ 2025-07-19 07:22:56 #信息论,信息学熵

在信息论中,自信息(英语:self-information),由克劳德·香农提出,是与概率空间中的单一事件或离散随机变量的值相关的信息量的量度。它用信息的单位表示,例如 bit、nat或是hart,使用哪个单位取决于在计算中使用的对数的底。自信息的期望值就是信息论中的熵,它反映了随机变量采样时的平均不确定程度。

由定义,当信息被拥有它的实体传递给接收它的实体时,仅当接收实体不知道信息的先验知识时信息才得到传递。如果接收实体事先知道了消息的内容,这条消息所传递的信息量就是0。只有当接收实体对消息对先验知识少于100%时,消息才真正传递信息。

因此,一个随机产生的事件 ω n {\displaystyle \omega _{n}} 发生的信息量就等于分别宣告事件 和事件 的信息量的和:

I ( C ) = I ( A B ) = I ( A ) + I ( B ) {\displaystyle \operatorname {I} (C)=\operatorname {I} (A\cap B)=\operatorname {I} (A)+\operatorname {I} (B)} 和 是独立事件,所以 C {\displaystyle C} 的概率为

P ( C ) = P ( A B ) = P ( A ) P ( B ) {\displaystyle \operatorname {P} (C)=\operatorname {P} (A\cap B)=\operatorname {P} (A)\cdot \operatorname {P} (B)}

应用函数 f ( ) {\displaystyle f(\cdot )} 会得到

I ( C ) = I ( A ) + I ( B ) f ( P ( C ) ) = f ( P ( A ) ) + f ( P ( B ) ) = f ( P ( A ) P ( B ) ) {\displaystyle {\begin{aligned}\operatorname {I} (C)&=\operatorname {I} (A)+\operatorname {I} (B)\\f(\operatorname {P} (C))&=f(\operatorname {P} (A))+f(\operatorname {P} (B))\\&=f{\big (}\operatorname {P} (A)\cdot \operatorname {P} (B){\big )}\\\end{aligned}}}

所以函数 f ( ) {\displaystyle f(\cdot )} 有性质

f ( x y ) = f ( x ) + f ( y ) {\displaystyle f(x\cdot y)=f(x)+f(y)}

而对数函数正好有这个性质,不同的底的对数函数之间的区别只差一个常数

f ( x ) = K log ( x ) {\displaystyle f(x)=K\log(x)}

由于事件的概率总是在0和1之间,而信息量必须是非负的,所以 K < 0 {\displaystyle K<0}

考虑到这些性质,假设事件 ω n {\displaystyle \omega _{n}} 发生的几率是 P ( ω n ) {\displaystyle P(\omega _{n})} ,自信息 I ( ω n ) {\displaystyle I(\omega _{n})} 的定义就是:

事件 ω n {\displaystyle \omega _{n}} 的概率越小, 它发生后的自信息量越大。

此定义符合上述条件。在上面的定义中,没有指定的对数的基底:如果以 2 为底,单位是bit。当使用以 e 为底的对数时,单位将是 nat。对于基底为 10 的对数,单位是 hart。

信息量的大小不同于信息作用的大小,这不是同一概念。信息量只表明不确定性的减少程度,至于对接收者来说,所获得的信息可能事关重大,也可能无足轻重,这是信息作用的大小。

熵是离散随机变量的自信息的期望值。但有时候熵也会被称作是随机变量的自信息,可能是因为熵满足 H ( X ) = I ( X ; X ) {\displaystyle \operatorname {H} (X)=\operatorname {I} (X;X)} ,而 I ( X ; X ) {\displaystyle \operatorname {I} (X;X)} X {\displaystyle X} 与它自己的互信息。

相关

  • 石钟慈石钟慈(1933年12月-),中国计算数学家,中国科学院院士。1933年12月生于宁波。1955年,毕业于复旦大学数学系。1956年,为中国首批赴苏联进修学者,攻读计算数学。1960年,回国,任职于中国科
  • 波兹曼分布在统计力学与数学中,玻尔兹曼分布(或称吉布斯分布)是系统中的粒子在各种可能微观量子态(英语:microstate (statistical mechanics))的概率分布、概率测度(英语:probability measure),
  • 悉尼·萨塞克斯学院坐标:52°12′26″N 0°7′13″E / 52.20722°N 0.12028°E / 52.20722; 0.12028剑桥大学悉尼·萨塞克斯学院(英语:Sidney Sussex College, Cambridge) 是剑桥大学的一个学院。
  • 1990年代字也
  • 雷德兰兹大学雷德兰兹大学(University of Redlands)是位于美国加利福尼亚州雷德兰兹的一所私立大学,1907年成立时是浸信会的分支机构,1972年独立,但仍然与美北浸礼会保持着一定的关系。2015年
  • 吴梅吴梅(1884年-1939年3月17日),字瞿安,号霜厓,别署癯安、逋飞和厓叟,中国近代教育家及作家,更以其戏曲理论而出名。他是最早把昆曲带入中国大学成为正式科目者。“棫朴乐英才,试语同侪,
  • 徐静蕾徐静蕾(1974年4月16日-),生于中国北京,祖籍中国湖南湘潭,毕业于中国北京电影学院表演系,中国女演员、导演。与周迅、赵薇和章子怡并称为中国四大花旦。徐静蕾在北京出生,求学时期因
  • 喷气推进实验室线上历书系统JPL线上历书系统(JPL Horizons On-Line Ephemeris System)提供了一个很简单的方式获得太阳系的数据和高精确度的星历表。有三种使用系统的方式:
  • 约瑟夫·黑尔梅斯伯格约瑟夫·黑尔梅斯伯格(Joseph Hellmesberger,1855年4月9日-1907年4月26日),奥地利小提琴家、作曲家。其父为小提琴家和乐团指挥。黑尔梅斯伯格年少时从父学小提琴;1875年成为父亲
  • 圣塞西利亚区11°03′51″N 85°25′06″W / 11.06417°N 85.41833°W / 11.06417; -85.41833圣塞西利亚区(西班牙语:Santa Cecilia District),是哥斯达黎加的行政区,位于该国西北部瓜纳卡斯