邻里成分分析

✍ dations ◷ 2025-07-04 09:01:21 #多变量统计,资料分析,统计模型

邻里成分分析(Neighborhood components analysis,NCA)是一种监督式学习的方法,根据一种给定的距离度量算法对样本数据进行度量,然后对多元变量数据进行分类。在功能上其和k近邻算法的目的相同,直接利用随即近邻的概念确定与测试样本临近的有标签的训练样本。

邻里成分分析是一种距离度量学习方法,其目的在于通过在训练集上学习得到一个线性空间转移矩阵,在新的转换空间中最大化平均留一(LOO)分类效果。该算法的关键是与空间转换矩阵相关的的一个正定矩阵A,该矩阵A可以通过定义A的一个可微的目标函数并利用迭代法(如共轭梯度法、共轭梯度下降法等)求解得到。该算法的好处之一是类别数K可以用一个函数f(确定标量常数)来定义。因此该算法可以用来解决模型选择的问题。

为了定义转换矩阵A,我们首先定义一个在新的转换矩阵中表示分类准确率的目标函数,并且尝试确定A*使得这个目标函数最大化。

A = argmax A f ( A ) {\displaystyle A^{*}={\mbox{argmax}}_{A}f(A)}

对一个单一的数据点进行类别预测时,我们需要考虑有一种给定的距离度量确定的K个最近邻居,根据 k {\displaystyle k} 个近邻的类别标签投票得到该样本的类别。这就是留一(Loo)分类算法。但是对所有数据集进行一个线性空间变换之后,新空间中的同一样本的最近邻居集可能跟原空间的最近邻居集有很大差别。特别的,为了平滑 A {\displaystyle A} 中元素的变化,我们可以使该样本的最近邻居集离散化,也就是说任意一个基于一个点的最近邻居集的目标函数f都是离散的,因此也是不连续的。

我们可以用一种受随机梯度下降法算法的启示得到的方法解决该问题。在新的转换空间中,我们并不是对每个样本点用留一分类方法求取 k {\displaystyle k} 个最近邻居,而是在新空间中考虑整个数据集作为随机最近邻居。我们用一个平方欧氏距离函数来定义在新的转换空间中的留一数据点与其他数据的距离,该函数定义如下:

p i j = { e | | A x i A x j | | 2 k e | | A x i A x k | | 2 , if j i 0 , if j = i {\displaystyle p_{ij}={\begin{cases}{\frac {e^{-||Ax_{i}-Ax_{j}||^{2}}}{\sum _{k}e^{-||Ax_{i}-Ax_{k}||^{2}}}},&{\mbox{if}}j\neq i\\0,&{\mbox{if}}j=i\end{cases}}}

输入点 i {\displaystyle i} 的分类准确率是与其相邻的最近邻居集 C i {\displaystyle C_{i}} 的分类准确率: p i = j n p i j {\displaystyle p_{i}=\sum _{j}^{n}p_{ij}\quad } 其中 p i j {\displaystyle p_{ij}} j {\displaystyle j} i {\displaystyle i} 的最近邻居的概率。定义用全局数据集作为随机最近邻的留一分类方法确定的目标函数如下:

f ( A ) = i j C i p i j = i p i {\displaystyle f(A)=\sum _{i}\sum _{j\in C_{i}}p_{ij}=\sum _{i}p_{i}}

由随机近邻理论知,与单一样本点 C i {\displaystyle C_{i}} 的同类别的在随机近邻域 C i {\displaystyle C_{i}} 样本点 j {\displaystyle j} 可以表示为:

P ( C l a s s ( X i ) = C l a s s ( X j ) ) = p i j {\displaystyle P(Class(X_{i})=Class(X_{j}))=p_{ij}} 。因此,单一样本点 i {\displaystyle i} 的预测类别是随机近邻集中其他样本类别的某种组合,其准确率与随机近邻域 C i {\displaystyle C_{i}} 中与 i {\displaystyle i} 同类别的 y {\displaystyle y} 所占的比例有关。因此,目标函数可以更好的选为:

f A = 2 A i j C i p i j ( x i j x i j T k p i k x i k x i k T ) {\displaystyle {\frac {\partial f}{\partial A}}=-2A\sum _{i}\sum _{j\in C_{i}}p_{ij}\left(x_{ij}x_{ij}^{T}-\sum _{k}p_{ik}x_{ik}x_{ik}^{T}\right)}

这里用到了连续梯度下降算法。

最大化函数f(.)相当于最小化预测的类分布和真正的类分布之间的差距,即使两者更接近。故目标函数和梯度可以重新写作:

g ( A ) = i log ( j C i p i j ) = i log ( p i ) {\displaystyle g(A)=\sum _{i}\log \left(\sum _{j\in C_{i}}p_{ij}\right)=\sum _{i}\log(p_{i})}

g A = 2 A i ( k p i k x i k x i k T j C i p i j x i j x i j T j C i p i j ) {\displaystyle {\frac {\partial g}{\partial A}}=2A\sum _{i}\left(\sum _{k}p_{ik}x_{ik}x_{ik}^{T}-{\frac {\sum _{j\in C_{i}}p_{ij}x_{ij}x_{ij}^{T}}{\sum _{j\in C_{i}}p_{ij}}}\right)}

在实际应用中运用此方法得到优化的 A {\displaystyle A} 与之前的方法得到的 A {\displaystyle A} 有相似的预测结果。

邻里成分分析是由Jacob Goldberger, Sam Roweis, Ruslan Salakhudinov和Geoff Hinton 等人在2004年在多伦多大学计算机系创建的。

相关

  • α-变形菌门α-变形菌(Alphaproteobacteria)是变形菌门(Proteobacteria)下的一个纲。此纲的成员变异性极大,且共通点极少,但他们确实系出同源。α-变形菌大多都是革兰氏阴性菌,而有些包内寄生
  • 卫星通信通讯卫星(英语:Communications Satellite,简称“CS”)是一种通过转发器(英语:Transponder (satellite communications))来传递和放大无线电通信信号的卫星,它创建了地面上发射站与接
  • 塞维利亚塞维利亚(西班牙语:Sevilla,.mw-parser-output .IPA{font-family:"Charis SIL","Doulos SIL","Linux Libertine","Segoe UI","Lucida Sans Unicode","Code2000","Gentium","Gen
  • 肩脱臼肩脱臼(dislocated shoulder)指的是肱骨头脱离肩关节(英语:shoulder joint)盂的脱臼,其症状包括肩痛和关节不稳定。可能并发班卡氏病变(英语:Bankart lesion)(前下肩关节盂唇伤害)、希
  • 大顺大顺(1644年—1649年),或称李顺,是中国历史上于明朝末年由民变领袖闯王李自成推翻明朝后建立的政权,但之后又被清朝击败,最后被清朝所灭。明朝末期,朝政腐败,加上旱蝗连年加上官府剥
  • 红褐鲤红褐鲤(学名:Cyprinus rubrofuscus)通称为鲤鱼,又名阿穆尔鲤、华南鲤、青鲤等,是鲤科鲤属的一种鱼类,广泛分布于东亚的淡水河流中。本种广泛分布于东亚淡水河系,北起黑龙江、南至红
  • 日经CNBC日经CNBC(日语:日経CNBC)是一家日本的财经新闻台,由CNBC亚洲台与日本经济新闻社共同持有。日经CNBC也会联播CNBC美国台的节目,其中Worldwide Exchange和Squawk on the Street节目
  • 四谛四圣谛 (梵文:चत्वारि आर्यसत्यानि,catvāri āryasatyāni;巴利语:cattāri ariyasaccāni;标准藏语:བདེན་པ་བཞི།),又称四真谛、四谛,四种神圣的谛,即
  • 大平关国大平关国,是指1979年至1980年期间在山东曹县郑庄乡,由黄沙会首领王存兴为首成立的一个秘密结社政权。曹县郑庄乡王草楼村黄沙会道首王存兴,不务正业,于1978年10月经本村老道首王
  • 叶山润子叶山润子(日语:葉山 潤子、1988年1月24日-),是日本神奈川县出身的前AV女优。