决策边界或决策面(decision surface)是统计分类问题中的一个超曲面,把向量空间(作为特征空间)划分为两个集合,分别对应两个分类。
如果决策面是超平面,那么这个分类问题是线性的,分类是线性可分(英语:linearly separable)的。
人工神经网络或感知器的反向传播算法,网络可学到的决策边界的类型由隐含层数决定。
如果没有隐含层,那么只能学习线性问题。如有一个隐含层,使用万能逼近定理(英语:Universal approximation theorem)可学到Rn的紧子集的任何连续函数,因此可学到任意的分类边界。
支持向量机 能找到一个超平面,把特征空间分为具有最大间隔(英语:maximum-margin hyperplane)的2个类。如果问题在最初不是线性可分的,通过核方法(英语:kernel trick)把它映射到高维空间变为线性可分。
神经网络通过分类边界学习来极小化经验误差(empirical error)。支持向量机 通过分类边界学习来极大化经验间隔(maximizes the empirical margin)。