费雪线性判别

在模式识别中，费雪线性判别（Fisher's linear discriminant）是一种线性判别方法，其意图是在分类类别为c类时，将d维空间（样品点是d维向量）中的数据点投影到c-1维空间上去，使得不同类的样本点在这个空间上的投影尽量分离，同类的尽量紧凑。

在二类判别时，费雪线性判别将d维空间中的数据点投影到一条直线上去，使得不同类的样本点在这条直线上的投影尽量分离，同类的样本点在这条直线上尽量紧凑。假设有两类样本集${\displaystyle {\mathcal{D}}_1}$。则可得两类样本投影后的均值和类内散布为${\displaystyle {\stackrel{~<!--\; ~\; -->}{m}}_i}$(w)取得最大值。剩下的问题就是如何求解阈值w₀，也就是在这个一维空间中把两类分开的那个点的位置。当(w)超过w₀就判决为某一类别ω，否则就判决为另一类别。然而目前并没有一个通用的选取方法。

在两个类别的分布是多元正态分布，且协方差矩阵相同时，根据贝叶斯决策理论，${\displaystyle \mathbf{w}={\mathbf{\Sigma <!--\; \Sigma \; -->}}^{-<!--\; -\; -->1}\left({\mathbf{u}}_1-<!--\; -\; -->{\mathbf{u}}_2\right)}$(w)最大。因为S_B中c个秩为1或0的矩阵相加，而且其中只有c-1个矩阵是相互独立的。所以S_B的秩最多为c-1。所以最多只有c-1个特征向量是非零的。

在人脸识别中，每一个人脸图像具有大量的像素点。LDA主要用来将特征减少到一个可以处理的数目在进行分类。每一个新的维度都是原先像素值的线性组合，这就构成了一个模板。这样获得的线性组合被称为Fisher faces,而通过主成分分析获得的则称为特征脸。