核主成分分析

✍ dations ◷ 2025-10-28 06:16:21 #多变量统计,信号处理,机器学习算法

核主成分分析(英语:kernel principal component analysis,简称kernel PCA)是多变量统计领域中的一种分析方法,是使用核方法(英语:Kernel method)对主成分分析的非线性扩展,即将原数据通过核映射到再生核希尔伯特空间(英语:Reproducing kernel Hilbert space)后再使用原本线性的主成分分析。

线性PCA对于中心化后的数据进行分析,即

其中 x i {\displaystyle \mathbf {x} _{i}} 个数据点在 d < N {\displaystyle d<N} 个数据点 x i {\displaystyle \mathbf {x} _{i}} 维空间

中,就能很容易地构建一个超平面将数据点作任意聚类。不过由于经 Φ {\displaystyle \Phi } 中每一列的个元素代表了转换后的一个数据点与所有个数据点的点积。

由于我们并不在特征空间中进行计算,核PCA方法不直接计算主成分,而是计算数据点在这些主成分上的投影。特征空间中的一点在第k个主成分 V k {\displaystyle V^{k}} 为数据点的数量, λ {\displaystyle \lambda } a {\displaystyle \mathbf {a} } 则分别为 K {\displaystyle K} 的特征值与特征向量。为了归一化 a k {\displaystyle \mathbf {a} ^{k}} ,我们要求

值得注意的是,无论是否在原空间中对 x {\displaystyle x} 中心化,我们无法保证数据在特征空间中是中心化的。由于PCA要求对数据中心化,我们可以对K“中心化”:

其中 1 N {\displaystyle \mathbf {1_{N}} } 代表一个每个元素值皆为 1 / N {\displaystyle 1/N} N × N {\displaystyle N\times N} 矩阵。于是我们可以使用 K {\displaystyle K'} 进行前述的核PCA计算。

在使用核PCA时,还有一点值得注意。在线性PCA中,我们可以通过特征值的大小对特征向量进行排序,以度量每个主成分所能够解释的数据方差。这对于数据降维十分有用,而这一技巧也可以用在核PCA中。不过,在实践中有时会发现得到所有方差皆相同,这通常是源于错误选择了核的尺度。

在实践中,大数据集会使K变得很大,从而导致存储问题。一种解决方式是先对数据集聚类,然后再对每一类的均值进行核PCA计算。有时即便使用此种方法仍会导致相对很大的K,此时我们可以只计算K中最大的P个特征值及相对应的特征向量。

考虑图中所示的三组同心点云,我们试图使用核PCA识别这三组。图中各点的颜色并不是算法的一部分,仅用于展示各组数据点在变换前后的位置。

首先,我们使用核

进行核PCA处理,得到的结果如第二张图所示。

其次,我们再使用高斯核

该核是数据接近程度的一种度量,当数据点重合时为1,而当数据点相距无限远时则为0。结果为第三张图所示。

此时我们注意到,仅通过第一主成分就可以区别这三组数据点。而这对于线性PCA而言是不可实现的,因而线性PCA只能在给定维(此处为二维)空间中操作,而此时同心点云是线性不可分的。

核PCA方法还可用于新奇检测(novelty detection)与数据降噪等。

相关

  • 规则交换格式规则交换格式(Rule Interchange Format,RIF)是一个已经建议的语义网构成要素。W3C目前正在构建RIF,将其作为可能推荐的,适合于语义网之上基于规则的系统之中规则交换的格式。RIF
  • 亚历山达罗·孟佐尼孟佐尼(意大利语:Alessandro Manzoni,1785年-1873年),意大利作家。早年创作诗《自由的胜利》歌颂了法国大革命,反对教会和君主。后受到天主教思想的影响,写作多首《圣歌》。《约婚夫
  • 佩皮尼昂佩皮尼昂(法语:Perpignan,法语发音:.mw-parser-output .IPA{font-family:"Charis SIL","Doulos SIL","Linux Libertine","Segoe UI","Lucida Sans Unicode","Code2000","Gentium
  • 贵霜贵霜帝国(梵语:कुषाण राजवंश;巴克特里亚语:.mw-parser-output .Polytonic{font-family:"SBL BibLit","SBL Greek","EB Garamond","EB Garamond 12","Foulis Greek",C
  • 灰狗格雷伊猎犬(Greyhound),又称“灵
  • 五阶六边形镶嵌在几何学中,五阶六边形镶嵌是由六边形组成的双曲面正镶嵌图,在施莱夫利符号中用{6,5}表示。五阶六边形镶嵌即每个顶点皆为五个六边形的公共顶点,顶点周围包含了五个不重叠的六
  • 米哈伊尔·亚历山德罗维奇·萨多夫斯基米哈伊尔·亚历山德罗维奇·萨多夫斯基(俄语:Михаил Александрович Садовский,1904年-1994年)是苏联地球物理学家,爆炸物理学专家,苏联原子弹计划参与
  • 管象晋管象晋(1870年-1920年),字康锡,清朝翰林。山东莒州(今日照市莒县)人。管象晋六岁入塾,少年进学,有“神童”之誉。光绪十九年(1893年)中癸巳科举人,光绪二十四年(1898年)成戊戌科二甲进士,同
  • 厄尼·弗莱彻厄尼·弗莱彻(英语:Ernie Fletcher,1952年11月12日-),美国医生、政治人物,共和党党员,在1998年时当选美国众议院议员,后来又担任了两届议员,在2003年参选第六十届肯塔基州州长时宣布辞
  • 三花槭三花槭(学名:),为槭树科槭属下的一个种。 维基物种中有关三花槭的数据