核主成分分析

核主成分分析（英语：kernel principal component analysis，简称kernel PCA）是多变量统计领域中的一种分析方法，是使用核方法（英语：Kernel method）对主成分分析的非线性扩展，即将原数据通过核映射到再生核希尔伯特空间（英语：Reproducing kernel Hilbert space）后再使用原本线性的主成分分析。

线性PCA对于中心化后的数据进行分析，即

其中${\displaystyle {\mathbf{x}}_i}$个数据点在个数据点${\displaystyle {\mathbf{x}}_i}$维空间

中，就能很容易地构建一个超平面将数据点作任意聚类。不过由于经${\displaystyle \mathrm{\Phi <!--\; \Phi \; -->}}$中每一列的个元素代表了转换后的一个数据点与所有个数据点的点积。

由于我们并不在特征空间中进行计算，核PCA方法不直接计算主成分，而是计算数据点在这些主成分上的投影。特征空间中的一点在第k个主成分${\displaystyle V^k}$为数据点的数量，${\displaystyle \mathrm{\lambda <!--\; \lambda \; -->}}$与${\displaystyle \mathbf{a}}$则分别为${\displaystyle K}$的特征值与特征向量。为了归一化${\displaystyle {\mathbf{a}}^k}$，我们要求

值得注意的是，无论是否在原空间中对${\displaystyle x}$中心化，我们无法保证数据在特征空间中是中心化的。由于PCA要求对数据中心化，我们可以对K“中心化”：

其中${\displaystyle {\mathbf{1}}_{\mathbf{N}}}$代表一个每个元素值皆为${\displaystyle 1/N}$的${\displaystyle N\times <!--\; \times \; -->N}$矩阵。于是我们可以使用${\displaystyle K^{\prime }}$进行前述的核PCA计算。

在使用核PCA时，还有一点值得注意。在线性PCA中，我们可以通过特征值的大小对特征向量进行排序，以度量每个主成分所能够解释的数据方差。这对于数据降维十分有用，而这一技巧也可以用在核PCA中。不过，在实践中有时会发现得到所有方差皆相同，这通常是源于错误选择了核的尺度。

在实践中，大数据集会使K变得很大，从而导致存储问题。一种解决方式是先对数据集聚类，然后再对每一类的均值进行核PCA计算。有时即便使用此种方法仍会导致相对很大的K，此时我们可以只计算K中最大的P个特征值及相对应的特征向量。

考虑图中所示的三组同心点云，我们试图使用核PCA识别这三组。图中各点的颜色并不是算法的一部分，仅用于展示各组数据点在变换前后的位置。

首先，我们使用核

进行核PCA处理，得到的结果如第二张图所示。

其次，我们再使用高斯核

该核是数据接近程度的一种度量，当数据点重合时为1，而当数据点相距无限远时则为0。结果为第三张图所示。

此时我们注意到，仅通过第一主成分就可以区别这三组数据点。而这对于线性PCA而言是不可实现的，因而线性PCA只能在给定维（此处为二维）空间中操作，而此时同心点云是线性不可分的。

核PCA方法还可用于新奇检测（novelty detection）与数据降噪等。