邻里成分分析

✍ dations ◷ 2025-07-02 03:25:59 #多变量统计,资料分析,统计模型

邻里成分分析(Neighborhood components analysis,NCA)是一种监督式学习的方法,根据一种给定的距离度量算法对样本数据进行度量,然后对多元变量数据进行分类。在功能上其和k近邻算法的目的相同,直接利用随即近邻的概念确定与测试样本临近的有标签的训练样本。

邻里成分分析是一种距离度量学习方法,其目的在于通过在训练集上学习得到一个线性空间转移矩阵,在新的转换空间中最大化平均留一(LOO)分类效果。该算法的关键是与空间转换矩阵相关的的一个正定矩阵A,该矩阵A可以通过定义A的一个可微的目标函数并利用迭代法(如共轭梯度法、共轭梯度下降法等)求解得到。该算法的好处之一是类别数K可以用一个函数f(确定标量常数)来定义。因此该算法可以用来解决模型选择的问题。

为了定义转换矩阵A,我们首先定义一个在新的转换矩阵中表示分类准确率的目标函数,并且尝试确定A*使得这个目标函数最大化。

A = argmax A f ( A ) {\displaystyle A^{*}={\mbox{argmax}}_{A}f(A)}

对一个单一的数据点进行类别预测时,我们需要考虑有一种给定的距离度量确定的K个最近邻居,根据 k {\displaystyle k} 个近邻的类别标签投票得到该样本的类别。这就是留一(Loo)分类算法。但是对所有数据集进行一个线性空间变换之后,新空间中的同一样本的最近邻居集可能跟原空间的最近邻居集有很大差别。特别的,为了平滑 A {\displaystyle A} 中元素的变化,我们可以使该样本的最近邻居集离散化,也就是说任意一个基于一个点的最近邻居集的目标函数f都是离散的,因此也是不连续的。

我们可以用一种受随机梯度下降法算法的启示得到的方法解决该问题。在新的转换空间中,我们并不是对每个样本点用留一分类方法求取 k {\displaystyle k} 个最近邻居,而是在新空间中考虑整个数据集作为随机最近邻居。我们用一个平方欧氏距离函数来定义在新的转换空间中的留一数据点与其他数据的距离,该函数定义如下:

p i j = { e | | A x i A x j | | 2 k e | | A x i A x k | | 2 , if j i 0 , if j = i {\displaystyle p_{ij}={\begin{cases}{\frac {e^{-||Ax_{i}-Ax_{j}||^{2}}}{\sum _{k}e^{-||Ax_{i}-Ax_{k}||^{2}}}},&{\mbox{if}}j\neq i\\0,&{\mbox{if}}j=i\end{cases}}}

输入点 i {\displaystyle i} 的分类准确率是与其相邻的最近邻居集 C i {\displaystyle C_{i}} 的分类准确率: p i = j n p i j {\displaystyle p_{i}=\sum _{j}^{n}p_{ij}\quad } 其中 p i j {\displaystyle p_{ij}} j {\displaystyle j} i {\displaystyle i} 的最近邻居的概率。定义用全局数据集作为随机最近邻的留一分类方法确定的目标函数如下:

f ( A ) = i j C i p i j = i p i {\displaystyle f(A)=\sum _{i}\sum _{j\in C_{i}}p_{ij}=\sum _{i}p_{i}}

由随机近邻理论知,与单一样本点 C i {\displaystyle C_{i}} 的同类别的在随机近邻域 C i {\displaystyle C_{i}} 样本点 j {\displaystyle j} 可以表示为:

P ( C l a s s ( X i ) = C l a s s ( X j ) ) = p i j {\displaystyle P(Class(X_{i})=Class(X_{j}))=p_{ij}} 。因此,单一样本点 i {\displaystyle i} 的预测类别是随机近邻集中其他样本类别的某种组合,其准确率与随机近邻域 C i {\displaystyle C_{i}} 中与 i {\displaystyle i} 同类别的 y {\displaystyle y} 所占的比例有关。因此,目标函数可以更好的选为:

f A = 2 A i j C i p i j ( x i j x i j T k p i k x i k x i k T ) {\displaystyle {\frac {\partial f}{\partial A}}=-2A\sum _{i}\sum _{j\in C_{i}}p_{ij}\left(x_{ij}x_{ij}^{T}-\sum _{k}p_{ik}x_{ik}x_{ik}^{T}\right)}

这里用到了连续梯度下降算法。

最大化函数f(.)相当于最小化预测的类分布和真正的类分布之间的差距,即使两者更接近。故目标函数和梯度可以重新写作:

g ( A ) = i log ( j C i p i j ) = i log ( p i ) {\displaystyle g(A)=\sum _{i}\log \left(\sum _{j\in C_{i}}p_{ij}\right)=\sum _{i}\log(p_{i})}

g A = 2 A i ( k p i k x i k x i k T j C i p i j x i j x i j T j C i p i j ) {\displaystyle {\frac {\partial g}{\partial A}}=2A\sum _{i}\left(\sum _{k}p_{ik}x_{ik}x_{ik}^{T}-{\frac {\sum _{j\in C_{i}}p_{ij}x_{ij}x_{ij}^{T}}{\sum _{j\in C_{i}}p_{ij}}}\right)}

在实际应用中运用此方法得到优化的 A {\displaystyle A} 与之前的方法得到的 A {\displaystyle A} 有相似的预测结果。

邻里成分分析是由Jacob Goldberger, Sam Roweis, Ruslan Salakhudinov和Geoff Hinton 等人在2004年在多伦多大学计算机系创建的。

相关

  • 中频电疗中频电疗(Middle frequency electrotherapy)是属于物理治疗中电刺激治疗方法的一种。由于这种治疗的方法使用的是频率介于1kHz至10kHz的干扰电流刺激,故命名为中频电疗。由于治
  • 球窝关节杵臼关节也称为球窝关节,是一种滑液关节,是最灵活的关节,可移动骨头的末端成圆球状,刚好可以塞入固定骨头的臼窝中,骨头可以旋转及朝各个方向自由转动。用髋关节为例,其中圆形的股
  • 百慕大总理百慕大总理,是英国海外领地百慕大的政府首脑。总理由英国君主(伊丽莎白二世)的代表总督任命。2014年5月19日,总理克雷格·康隆尼(英语:Craig Cannonier)辞职后,迈克尔·邓克利继任总
  • AcFun游艺星际(北京)科技有限公司 100% AcFun(现正式备案名为AcFun弹幕视频网,曾用正式备案中文名爱稀饭网,常被简称为AC,A站)实际运营主体为北京弹幕网络科技有限公司,是中国大陆的弹
  • 约翰·马林约翰·马林(John Marin;1870年12月23日-1953年10月2日)是一位早期的美国现代艺术画家。以水彩画为主。马林出生于新泽西州卢瑟福镇(Rutherford)。父亲为会计师,母亲在产下他之后九
  • 武汉市第十一中学武汉市第十一中学,位于武汉市硚口区崇仁路201号。该校于1954年创建,1999年被湖北省政府命名为省级示范学校。学校的办学宗旨是:一切为了学生发展,为了一切学生发展。
  • 布里扬松1法国统计部门在计算土地面积时,不计算面积大于1平方公里的湖泊、池塘、冰川和河口。布里扬松 (法语:Briançon)是法国东南部普罗旺斯-阿尔卑斯-蓝色海岸大区上阿尔卑斯省的一个
  • 金钱游戏 (韩国电视剧)2020年1月15日 (2020-01-15)-2020年3月5日 (2020-03-05)《金钱游戏》(韩语:머니게임,英语:Money Game),为韩国tvN于2020年1月15日起播出的水木连续剧,由《春天来了,春天》的金相浩
  • 罗纳德·莫斯涅罗纳德·莫斯涅 (法语:Roland Émile Mousnier,1907年9月7日-1993年2月8日)是一位法国知名史学家,师从法国著名制度史和政治史专家乔治·帕热斯,主要研究近代早期法国史以及不同文
  • 洛巴托 (科罗拉多州)洛巴托斯(英语:Lobatos)是位于美国科罗拉多州科内霍斯县的一个非建制地区。该地的面积和人口皆未知。洛巴托斯的座标为37°04′46″N 105°56′56″W / 37.07944°N 105.94889