信息冗余

在信息论中，信息冗余是传输消息所用数据位的数目与消息中所包含的实际信息的数据位的数目的差值。数据压缩是一种用来消除不需要的冗余的方法，校验和是在经过有限信道容量的噪声信道中通信，为了进行错误校正而增加冗余的方法。

在描述原始数据的冗余时，信源信息率为平均每个符号的熵。对于无记忆信源，这仅是每个符号的熵；而对于一个随机过程的最普遍形式为前 个符号的联合熵除以 之后，随着 趋于无穷时的极限

在信息论中经常提及一种语言的“熵率”或者“信息熵”。当信源是英文散文时这是正确的。由于无记忆信源的消息之间没有相互依赖性，所以无记忆信源的信息率为${\displaystyle \mathrm{H}(M)}$的度量是互信息或者正规化变量。多个变量之间冗余的度量是全相关（total correlation）。

压缩数据的冗余是指 ${\displaystyle n}$ 个消息的期望压缩数据长度为${\displaystyle L(M^n)}$（或期望数据熵率 ${\displaystyle L(M^n)/n}$）与熵值 ${\displaystyle nr}$（或熵率 ${\displaystyle r}$）的差。（这里我们假设数据是遍历的也是平稳的，例如无记忆信源。）虽然熵率之差 ${\displaystyle L(M^n)/n-<!--\; -\; -->r}$ 会随着 ${\displaystyle n}$ 增加而任意小，实际的差 ${\displaystyle L(M^n)-<!--\; -\; -->nr}$ 已不能（尽管理论上可以）在有限熵的无记忆信源情况下上界为 1。