自信息

✍ dations ◷ 2025-06-08 11:30:14 #信息论,信息学熵

在信息论中,自信息(英语:self-information),由克劳德·香农提出,是与概率空间中的单一事件或离散随机变量的值相关的信息量的量度。它用信息的单位表示,例如 bit、nat或是hart,使用哪个单位取决于在计算中使用的对数的底。自信息的期望值就是信息论中的熵,它反映了随机变量采样时的平均不确定程度。

由定义,当信息被拥有它的实体传递给接收它的实体时,仅当接收实体不知道信息的先验知识时信息才得到传递。如果接收实体事先知道了消息的内容,这条消息所传递的信息量就是0。只有当接收实体对消息对先验知识少于100%时,消息才真正传递信息。

因此,一个随机产生的事件 ω n {\displaystyle \omega _{n}} 发生的信息量就等于分别宣告事件 和事件 的信息量的和:

I ( C ) = I ( A B ) = I ( A ) + I ( B ) {\displaystyle \operatorname {I} (C)=\operatorname {I} (A\cap B)=\operatorname {I} (A)+\operatorname {I} (B)} 和 是独立事件,所以 C {\displaystyle C} 的概率为

P ( C ) = P ( A B ) = P ( A ) P ( B ) {\displaystyle \operatorname {P} (C)=\operatorname {P} (A\cap B)=\operatorname {P} (A)\cdot \operatorname {P} (B)}

应用函数 f ( ) {\displaystyle f(\cdot )} 会得到

I ( C ) = I ( A ) + I ( B ) f ( P ( C ) ) = f ( P ( A ) ) + f ( P ( B ) ) = f ( P ( A ) P ( B ) ) {\displaystyle {\begin{aligned}\operatorname {I} (C)&=\operatorname {I} (A)+\operatorname {I} (B)\\f(\operatorname {P} (C))&=f(\operatorname {P} (A))+f(\operatorname {P} (B))\\&=f{\big (}\operatorname {P} (A)\cdot \operatorname {P} (B){\big )}\\\end{aligned}}}

所以函数 f ( ) {\displaystyle f(\cdot )} 有性质

f ( x y ) = f ( x ) + f ( y ) {\displaystyle f(x\cdot y)=f(x)+f(y)}

而对数函数正好有这个性质,不同的底的对数函数之间的区别只差一个常数

f ( x ) = K log ( x ) {\displaystyle f(x)=K\log(x)}

由于事件的概率总是在0和1之间,而信息量必须是非负的,所以 K < 0 {\displaystyle K<0}

考虑到这些性质,假设事件 ω n {\displaystyle \omega _{n}} 发生的几率是 P ( ω n ) {\displaystyle P(\omega _{n})} ,自信息 I ( ω n ) {\displaystyle I(\omega _{n})} 的定义就是:

事件 ω n {\displaystyle \omega _{n}} 的概率越小, 它发生后的自信息量越大。

此定义符合上述条件。在上面的定义中,没有指定的对数的基底:如果以 2 为底,单位是bit。当使用以 e 为底的对数时,单位将是 nat。对于基底为 10 的对数,单位是 hart。

信息量的大小不同于信息作用的大小,这不是同一概念。信息量只表明不确定性的减少程度,至于对接收者来说,所获得的信息可能事关重大,也可能无足轻重,这是信息作用的大小。

熵是离散随机变量的自信息的期望值。但有时候熵也会被称作是随机变量的自信息,可能是因为熵满足 H ( X ) = I ( X ; X ) {\displaystyle \operatorname {H} (X)=\operatorname {I} (X;X)} ,而 I ( X ; X ) {\displaystyle \operatorname {I} (X;X)} X {\displaystyle X} 与它自己的互信息。

相关

  • 应用科学应用科学(英语:Applied science)是将自然科学的知识应用到实际问题上的科学,其多来源于实践本身,会存在一定的科学内容,与工程、医学有着密切的关系。若以科学研究含盖内容有“理
  • 山梨大学山梨大学,简称梨大,是一所本部位于山梨县的日本国立大学,前身是创立于18世纪的徽典馆。2002年,原山梨大学与原山梨医科大学合并,成为现在的山梨大学。梨大拥有日本唯一的葡萄酒研
  • 暗能量暗能量是某种作用于时空结构本身的能量,并且是种均匀的负压力,会导致时空结构膨胀。在物理宇宙学中,暗能量是一种充溢空间的、增加宇宙膨胀速度的难以察觉的能量形式。暗能量假
  • 正规军正规军(英语:regular army),是国家(或政治集团)按照统一的体制编制、武器装备、制度和纪律、服装和标志等原则实施组织、管理、教育、训练、补充和供给的军队。世界上第一支正规军
  • 广州港广州港集团有限公司(上交所:601228),简称广州港,位于广州市行政辖区内珠江沿岸,距珠江入海口虎门约40海里,是中国大陆最重要的沿海和内河交通运输枢纽之一。在公元前2世纪就作为对
  • 考斯利·爱德华兹考斯利·爱德华兹(英语:Corsley Edwards,1979年3月5日-),美国NBA联盟前职业篮球运动员。他在2002年的NBA选秀中第2轮第58顺位被萨克拉门托国王选中。
  • 朱中宜朱中宜(John Chu)是一位美国工程师,科幻小说作家和文学翻译家。朱中宜出生于台湾,六岁时移居美国,开始学习英语。2010年,他从号角科幻小说研讨会毕业。2014年,朱中宜以《无源之水》
  • 消费主义消费主义(Consumerism)指相信持续及增加消费活动有助于经济的意识形态。创造出在生活态度上对商品的可欲及需求(多消费是好事)让资本主义可以提高工资及提高消费。消费主义为发
  • 利兹联足球俱乐部利兹联足球俱乐部(英语:Leeds United Football Club),简称利兹联(英语:Leeds United),是一家位于英格兰西约克郡利兹足球俱乐部,目前比赛于英格兰足球冠军联赛。其主场为埃兰路球
  • 丁贵堂丁贵堂(1891年11月18日-1962年11月21日),字荣阶,祖籍山东黄县,出生于辽宁海城,曾任中国海关副总税务司、代理总税务司。丁贵堂于1910年自奉天高等学堂毕业后,任教于奉天东关两等小学