邻里成分分析

✍ dations ◷ 2025-04-03 12:50:26 #多变量统计,资料分析,统计模型

邻里成分分析(Neighborhood components analysis,NCA)是一种监督式学习的方法,根据一种给定的距离度量算法对样本数据进行度量,然后对多元变量数据进行分类。在功能上其和k近邻算法的目的相同,直接利用随即近邻的概念确定与测试样本临近的有标签的训练样本。

邻里成分分析是一种距离度量学习方法,其目的在于通过在训练集上学习得到一个线性空间转移矩阵,在新的转换空间中最大化平均留一(LOO)分类效果。该算法的关键是与空间转换矩阵相关的的一个正定矩阵A,该矩阵A可以通过定义A的一个可微的目标函数并利用迭代法(如共轭梯度法、共轭梯度下降法等)求解得到。该算法的好处之一是类别数K可以用一个函数f(确定标量常数)来定义。因此该算法可以用来解决模型选择的问题。

为了定义转换矩阵A,我们首先定义一个在新的转换矩阵中表示分类准确率的目标函数,并且尝试确定A*使得这个目标函数最大化。

A = argmax A f ( A ) {\displaystyle A^{*}={\mbox{argmax}}_{A}f(A)}

对一个单一的数据点进行类别预测时,我们需要考虑有一种给定的距离度量确定的K个最近邻居,根据 k {\displaystyle k} 个近邻的类别标签投票得到该样本的类别。这就是留一(Loo)分类算法。但是对所有数据集进行一个线性空间变换之后,新空间中的同一样本的最近邻居集可能跟原空间的最近邻居集有很大差别。特别的,为了平滑 A {\displaystyle A} 中元素的变化,我们可以使该样本的最近邻居集离散化,也就是说任意一个基于一个点的最近邻居集的目标函数f都是离散的,因此也是不连续的。

我们可以用一种受随机梯度下降法算法的启示得到的方法解决该问题。在新的转换空间中,我们并不是对每个样本点用留一分类方法求取 k {\displaystyle k} 个最近邻居,而是在新空间中考虑整个数据集作为随机最近邻居。我们用一个平方欧氏距离函数来定义在新的转换空间中的留一数据点与其他数据的距离,该函数定义如下:

p i j = { e | | A x i A x j | | 2 k e | | A x i A x k | | 2 , if j i 0 , if j = i {\displaystyle p_{ij}={\begin{cases}{\frac {e^{-||Ax_{i}-Ax_{j}||^{2}}}{\sum _{k}e^{-||Ax_{i}-Ax_{k}||^{2}}}},&{\mbox{if}}j\neq i\\0,&{\mbox{if}}j=i\end{cases}}}

输入点 i {\displaystyle i} 的分类准确率是与其相邻的最近邻居集 C i {\displaystyle C_{i}} 的分类准确率: p i = j n p i j {\displaystyle p_{i}=\sum _{j}^{n}p_{ij}\quad } 其中 p i j {\displaystyle p_{ij}} j {\displaystyle j} i {\displaystyle i} 的最近邻居的概率。定义用全局数据集作为随机最近邻的留一分类方法确定的目标函数如下:

f ( A ) = i j C i p i j = i p i {\displaystyle f(A)=\sum _{i}\sum _{j\in C_{i}}p_{ij}=\sum _{i}p_{i}}

由随机近邻理论知,与单一样本点 C i {\displaystyle C_{i}} 的同类别的在随机近邻域 C i {\displaystyle C_{i}} 样本点 j {\displaystyle j} 可以表示为:

P ( C l a s s ( X i ) = C l a s s ( X j ) ) = p i j {\displaystyle P(Class(X_{i})=Class(X_{j}))=p_{ij}} 。因此,单一样本点 i {\displaystyle i} 的预测类别是随机近邻集中其他样本类别的某种组合,其准确率与随机近邻域 C i {\displaystyle C_{i}} 中与 i {\displaystyle i} 同类别的 y {\displaystyle y} 所占的比例有关。因此,目标函数可以更好的选为:

f A = 2 A i j C i p i j ( x i j x i j T k p i k x i k x i k T ) {\displaystyle {\frac {\partial f}{\partial A}}=-2A\sum _{i}\sum _{j\in C_{i}}p_{ij}\left(x_{ij}x_{ij}^{T}-\sum _{k}p_{ik}x_{ik}x_{ik}^{T}\right)}

这里用到了连续梯度下降算法。

最大化函数f(.)相当于最小化预测的类分布和真正的类分布之间的差距,即使两者更接近。故目标函数和梯度可以重新写作:

g ( A ) = i log ( j C i p i j ) = i log ( p i ) {\displaystyle g(A)=\sum _{i}\log \left(\sum _{j\in C_{i}}p_{ij}\right)=\sum _{i}\log(p_{i})}

g A = 2 A i ( k p i k x i k x i k T j C i p i j x i j x i j T j C i p i j ) {\displaystyle {\frac {\partial g}{\partial A}}=2A\sum _{i}\left(\sum _{k}p_{ik}x_{ik}x_{ik}^{T}-{\frac {\sum _{j\in C_{i}}p_{ij}x_{ij}x_{ij}^{T}}{\sum _{j\in C_{i}}p_{ij}}}\right)}

在实际应用中运用此方法得到优化的 A {\displaystyle A} 与之前的方法得到的 A {\displaystyle A} 有相似的预测结果。

邻里成分分析是由Jacob Goldberger, Sam Roweis, Ruslan Salakhudinov和Geoff Hinton 等人在2004年在多伦多大学计算机系创建的。

相关

  • 二元经济二元经济模型也称作两部门模型(Dual Sector model)是1979年诺贝尔经济学奖获得者美国经济学家威廉·阿瑟·刘易斯在1954年发表的《劳动无限供给下的经济发展》中提出的发展经
  • 地毯地毯(又称地毡),是一种纺织物,铺放于地上,作为家俬装修设施,有美化家居,保温等功能。尤其家中有幼童或长者,可以避免摔倒受伤。挂毯是挂在墙上的毛毯,未必称为地毯。 亦有专栏指出早
  • 口号标语(英语:Slogan)或口号,是在政治、社会、商业、军事或是宗教等范筹上所使用的一句容易记忆的格言或者宣传句子,主要用作反复表达一个概念或者目标。标语的种类多不胜数,由书面至
  • 亚努科维奇维克托·费奥多罗维奇·亚努科维奇(俄语:Виктор Фёдорович Янукович,乌克兰语:Віктор Федорович Янукович,1950年7月9日-)是乌克兰
  • 迷情迷情可以指:
  • 低地水牛低地水牛(学名:)属于牛科水牛属, 原产于印度尼西亚西里伯斯岛的原始低地森林。低地水牛是世界上最小的水牛之一,外观上似鹿,一般体长在180cm左右,高约85cm,尾长40cm,体重150kg-300kg
  • 代茶冬青代茶冬青(学名:)是原产于北美洲东南部的冬青,包括美国马里兰州南至佛罗里达州及西至奥克拉荷马州及德克萨斯州与墨西哥恰帕斯州。代茶冬青是一种常绿植物,高5-9米,树干平滑及呈浅
  • 阿尔贝二世 (摩纳哥)阿尔贝二世(法语:Albert Alexandre Louis Pierre Grimaldi,1958年3月14日-),生于摩纳哥亲王宫,现任摩纳哥亲王,格里马尔迪王室首领和摩纳哥公国国家元首。他是已故摩纳哥亲王兰尼埃
  • 齐格弗里德·卡格-埃勒特齐格弗里德·卡格-埃勒特(德语:Sigfrid Karg-Elert,1877年11月21日-1933年4月9日),德国作曲家,管风琴家。早年在莱比锡音乐学院学习,后来留校任教,并在欧美各地巡回演出弹奏管风琴和
  • 雅典公国雅典公国(Δουκᾶτον Ἀθηνῶν)是在第四次十字军东征后在原拜占庭帝国属土上建立的十字军国家。雅典公国控制地区包括阿提卡和维奥蒂亚。1458年,雅典公国亡于奥斯曼