互信息

在概率论和信息论中，两个随机变量的互信息（mutual Information，简称MI）或转移信息（transinformation）是变量间相互依赖性的量度。不同于相关系数，互信息并不局限于实值随机变量，它更加一般且决定着联合分布 p(X,Y) 和分解的边缘分布的乘积 p(X)p(Y) 的相似程度。互信息是点间互信息（英语：Pointwise mutual information）（PMI）的期望值。互信息最常用的单位是bit。

一般地，两个离散随机变量 和 的互信息可以定义为：

其中 (, ) 是 和 的联合概率分布函数，而 ${\displaystyle p(x)}$ 和 的边缘概率分布函数。

在连续随机变量的情形下，求和被替换成了二重定积分：

其中 (, ) 当前是 和 的联合概率函数，而 ${\displaystyle p(x)}$ 和 的边缘概率密度函数。

如果对数以 2 为基底，互信息的单位是bit。

直观上，互信息度量 和 共享的信息：它度量知道这两个变量其中一个，对另一个不确定度减少的程度。例如，如果 和 相互独立，则知道 不对 提供任何信息，反之亦然，所以它们的互信息为零。在另一个极端，如果 是 的一个确定性函数，且 也是 的一个确定性函数，那么传递的所有信息被 和 共享：知道 决定 的值，反之亦然。因此，在此情形互信息与 （或 ）单独包含的不确定度相同，称作 （或 ）的熵。而且，这个互信息与 的熵和 的熵相同。（这种情形的一个非常特殊的情况是当 和 为相同随机变量时。）

互信息是 和 的联合分布相对于假定 和 独立情况下的联合分布之间的内在依赖性。于是互信息以下面方式度量依赖性：(; ) = 0 当且仅当 和 为独立随机变量。从一个方向很容易看出：当 和 独立时，(,) = () ()，因此：

此外，互信息是非负的（即 ${\displaystyle I(X;Y)\ge <!--\; \ge \; -->0}$(|) 和 (|) 是条件熵，而 (,) 是 和 的联合熵。注意到这组关系和并集、差集和交集的关系类似，于是用Venn图表示。

在互信息定义的基础上使用琴生不等式，我们可以证明 (;) 是非负的，因此 ${\displaystyle H(X)\ge <!--\; \ge \; -->H(X|Y)}$() 看作一个随机变量于不确定度的量度，那么 (|) 就是"在已知 事件后事件会发生"的不确定度。于是第一个等式的右边就可以读作“将"Y事件的不确定度"，减去 --- "在基于事件后事件因此发生的不确定度"”。

这证实了互信息的直观意义为: "因X而有Y事件"的熵( 基于已知随机变量的不确定性) 在"Y事件"的熵之中具有多少影响地位( "Y事件所具有的不确定性" 其中包含了多少 "Y|X事件所具有的不确性" )，意即"Y具有的不确定性"有多少程度是起因于X事件;

所以具体的解释就是: 互信息越小，两个来自不同事件空间的随机变量彼此之间的关系性越低; 互信息越高，关系性则越高 。

注意到离散情形 (|) = 0，于是 () = (;)。因此 (;) ≥ (;)，我们可以制定”一个变量至少包含其他任何变量可以提供的与它有关的信息“的基本原理。

互信息也可以表示为两个随机变量的边缘分布 和 的乘积 () × () 相对于随机变量的联合熵 (,) 的相对熵：

此外，令 (|) = (, ) / ()。则

注意到，这里相对熵涉及到仅对随机变量 积分，表达式 ${\displaystyle D_{\mathrm{K}\mathrm{L}}(p(x|y)\Vert <!--\; \Vert \; -->p(x))}$ 为变量。于是互信息也可以理解为相对熵 的单变量分布 () 相对于给定 时 的条件分布 (|) ：分布 (|) 和 () 之间的平均差异越大，信息增益越大。

对连续型随机变量量化的定义如下：

${\displaystyle f(x_i)\mathrm{\Delta <!--\; \Delta \; -->}={\int <!--\; \int \; -->}_{i\mathrm{\Delta <!--\; \Delta \; -->}}^{(i+1)\mathrm{\Delta <!--\; \Delta \; -->}}f(x)dx=p_i}$

量化后的随机变量${\displaystyle X^{\mathrm{\Delta <!--\; \Delta \; -->}}}$:

。

则,

${\displaystyle I(X^{\mathrm{\Delta <!--\; \Delta \; -->}};Y^{\mathrm{\Delta <!--\; \Delta \; -->}})=H(X^{\mathrm{\Delta <!--\; \Delta \; -->}})-<!--\; -\; -->H(X^{\mathrm{\Delta <!--\; \Delta \; -->}}|Y^{\mathrm{\Delta <!--\; \Delta \; -->}})}$

${\displaystyle \approx <!--\; \approx \; -->h(X)-<!--\; -\; -->log\mathrm{\Delta <!--\; \Delta \; -->}-<!--\; -\; -->(h(X|Y)-<!--\; -\; -->log\mathrm{\Delta <!--\; \Delta \; -->})}$

${\displaystyle =I(X;Y)}$

广义而言，我们可以将互信息定义在有限多个连续随机变量值域的划分。

令${\displaystyle \mathrm{\chi <!--\; \chi \; -->}}$为连续型随机变量的值域，${\displaystyle P_i\in <!--\; \in \; -->P}$, 其中${\displaystyle P}$为${\displaystyle \mathrm{\chi <!--\; \chi \; -->}}$划分所构成的集合，意即${\displaystyle {\cup <!--\; \cup \; -->}_i{P}_i=\mathrm{\chi <!--\; \chi \; -->}}$。

以${\displaystyle P}$量化连续型随机变量${\displaystyle X}$后，所得结果为离散型随机变量,

${\displaystyle Pr(P=i)={\int <!--\; \int \; -->}_{P_i}dF(x)}$。

对于两连续型随机变量X、Y，其划分分别为P、Q，则其互信息可表示为：

${\displaystyle I(X;Y)=\underset{P,Q}{sup}I(P;Q)}$。