经验风险最小化

经验风险最小化 （ERM）是统计学习理论里的一项原则，该原则下有一系列学习算法 ，经验风险最小化用于为这些算法的性能提供理论上的界。核心思想是我们无法确切知道算法在实际中的运行情况（真正的“风险”），因为我们不知道算法将在其上运行的数据的真实分布，但我们可以在一组已知的训练数据（“经验”风险）上衡量其性能。

以下情况是许多有监督学习问题的一般设置。我们有两个空间，输入空间${\displaystyle X}$ ），这个函数在给定${\displaystyle x\in <!--\; \in \; -->X}$${\displaystyle (x_1,y_1),\dots <!--\; \dots \; -->,(x_n,y_n)}$：

经验风险最小化原理指出学习算法应选择一个假设${\displaystyle \stackrel{^<!--\; ^\; -->}{h}}$将经验风险降到最低：

因此，由ERM原理定义的学习算法在于解决上述优化问题。

对于具有0-1损失函数的分类问题，即使对于像线性分类器这样的相对简单的函数类，经验风险最小化也被认为是NP难题。 但是，当最小经验风险为零（即数据是线性可分离的）时，可以有效解决。

在实践中，机器学习算法可以通过对0-1损失函数（例如SVM的 铰链损失 ）采用凸近似来解决该问题，这种方法更容易优化，或者对分布进行假设${\displaystyle P(x,y)}$ （因此不再是上述结果适用的不可知论学习算法）。