Hinge loss

在机器学习中，铰链损失是一个用于训练分类器的损失函数。铰链损失被用于“最大间格分类”，因此非常适合用于支持向量机 (SVM)。对于一个预期输出 ${\displaystyle t=\pm <!--\; \pm \; -->1}$，分类结果 ${\displaystyle y}$ 的铰链损失定义为

特别注意：以上式子的${\displaystyle y}$应该使用分类器的“原始输出”，而非预测标签。例如，在线性支持向量机当中，${\displaystyle y=\mathbf{w}\cdot <!--\; \cdot \; -->\mathbf{x}+b}$，其中 ${\displaystyle (\mathbf{w},b)}$ 是超平面参数，${\displaystyle \mathbf{x}}$是输入资料点。

当${\displaystyle t}$和${\displaystyle y}$同号（意即分类器的输出${\displaystyle y}$是正确的分类），且 ${\displaystyle |y|\ge <!--\; \ge \; -->1}$时，铰链损失 ${\displaystyle \mathrm{\ell <!--\; \ell \; -->}(y)=0}$。但是，当它们异号（意即分类器的输出${\displaystyle y}$是错误的分类）时，${\displaystyle \mathrm{\ell <!--\; \ell \; -->}(y)}$ 随 ${\displaystyle y}$ 线性增长。套用相似的想法，如果 ，即使 ${\displaystyle t}$ 和 ${\displaystyle y}$ 同号（意即分类器的分类正确，但是间隔不足），此时仍然会有损失。

二元支持向量机经常通过一对多（winner-takes-all strategy，WTA SVM）或一对一（max-wins voting，MWV SVM）策略来扩展为多元分类，铰接损失也可以做出类似的扩展，已有数个不同的多元分类铰接损失的变体被提出。 例如，Crammer 和 Singer 将一个多元线性分类的铰链损失定义为

其中 ${\displaystyle t}$ 为目的标签， ${\displaystyle {\mathbf{w}}_t}$ 和 ${\displaystyle {\mathbf{w}}_y}$ 该模型的参数。

Weston 和 Watkins 提出了一个类似的定义，但使用求和代替了最大值：

在结构预测中，铰接损失可以进一步扩展到结构化输出空间。支持间隔调整的结构化支持向量机 可以使用如下所示的铰链损失变体，其中 w 表示SVM的参数， y 为SVM的预测结果，φ 为联合特征函数，Δ 为汉明损失:

铰链损失是一种凸函数，因此许多机器学习中常用的凸优化器均可用于优化铰链损失。 它不是可微函数，但拥有一个关于线性 SVM 模型参数 w 的次导数

其评分函数为 ${\displaystyle y=\mathbf{w}\cdot <!--\; \cdot \; -->\mathbf{x}}$

然而，由于铰接损失在 ${\displaystyle ty=1}$处不可导， Zhang 建议在优化时可使用平滑的变体建议， 如Rennie 和 Srebro 提出的分段平滑

或平方平滑。

Modified Huber loss ${\displaystyle L}$是${\displaystyle \mathrm{\gamma <!--\; \gamma \; -->}=2}$时损失函数的特例，此时 ${\displaystyle L(t,y)=4{\mathrm{\ell <!--\; \ell \; -->}}_2(y)}$中。