对数求和不等式

对数求和不等式（Log sum inequality）是一个不等式 ，可用于证明信息论中的多个定理。

对任何非负实数 ${\displaystyle a_1,\dots <!--\; \dots \; -->,a_n}$ 和正数 ${\displaystyle b_1,\dots <!--\; \dots \; -->,b_n}$ ，并记

则有如下的对数求和不等式：

上式中，等号成立的充分必要条件是所有 ${\displaystyle a_i/b_i}$ 都相等。

设辅助函数 ${\displaystyle f(x)=x\log <!--\; \; -->x}$ ，容易验证这个函数是一个凸（Convex）函数，我们有

推导中第二行的不等号，是由琴生不等式得到的 （可验证 ${\displaystyle b_i/b\ge <!--\; \ge \; -->0}$ ， ${\displaystyle \underset{i}{\sum <!--\; \sum \; -->}{b}_i/b=1}$）。

对数求和不等式可用于证明信息论中的几个不等式，例如吉布斯不等式或KL散度的基本性质 。

例如，证明吉布斯不等式时，将 ${\displaystyle p_i}$看作 ${\displaystyle a_i}$ ，将 ${\displaystyle q_i}$ 看作 ${\displaystyle b_i}$，得到

这个不等式对于收敛的无穷级数亦成立，即当 ${\displaystyle n=\mathrm{\infty <!--\; \infty \; -->}}$ 时，附加假设 和 即可使不等式成立。

另一种推广则是将对数函数一般化。只要将对数函数换为任何一个${\displaystyle g(x)}$，其使得${\displaystyle f(x)=xg(x)}$ 是一个凸（Convex）函数即可。2004年，Csiszár证明了将对数函数换成一个单调非减函数，定理亦成立。