邻里成分分析

✍ dations ◷ 2025-09-16 17:35:09 #多变量统计,资料分析,统计模型

邻里成分分析(Neighborhood components analysis,NCA)是一种监督式学习的方法,根据一种给定的距离度量算法对样本数据进行度量,然后对多元变量数据进行分类。在功能上其和k近邻算法的目的相同,直接利用随即近邻的概念确定与测试样本临近的有标签的训练样本。

邻里成分分析是一种距离度量学习方法,其目的在于通过在训练集上学习得到一个线性空间转移矩阵,在新的转换空间中最大化平均留一(LOO)分类效果。该算法的关键是与空间转换矩阵相关的的一个正定矩阵A,该矩阵A可以通过定义A的一个可微的目标函数并利用迭代法(如共轭梯度法、共轭梯度下降法等)求解得到。该算法的好处之一是类别数K可以用一个函数f(确定标量常数)来定义。因此该算法可以用来解决模型选择的问题。

为了定义转换矩阵A,我们首先定义一个在新的转换矩阵中表示分类准确率的目标函数,并且尝试确定A*使得这个目标函数最大化。

A = argmax A f ( A ) {\displaystyle A^{*}={\mbox{argmax}}_{A}f(A)}

对一个单一的数据点进行类别预测时,我们需要考虑有一种给定的距离度量确定的K个最近邻居,根据 k {\displaystyle k} 个近邻的类别标签投票得到该样本的类别。这就是留一(Loo)分类算法。但是对所有数据集进行一个线性空间变换之后,新空间中的同一样本的最近邻居集可能跟原空间的最近邻居集有很大差别。特别的,为了平滑 A {\displaystyle A} 中元素的变化,我们可以使该样本的最近邻居集离散化,也就是说任意一个基于一个点的最近邻居集的目标函数f都是离散的,因此也是不连续的。

我们可以用一种受随机梯度下降法算法的启示得到的方法解决该问题。在新的转换空间中,我们并不是对每个样本点用留一分类方法求取 k {\displaystyle k} 个最近邻居,而是在新空间中考虑整个数据集作为随机最近邻居。我们用一个平方欧氏距离函数来定义在新的转换空间中的留一数据点与其他数据的距离,该函数定义如下:

p i j = { e | | A x i A x j | | 2 k e | | A x i A x k | | 2 , if j i 0 , if j = i {\displaystyle p_{ij}={\begin{cases}{\frac {e^{-||Ax_{i}-Ax_{j}||^{2}}}{\sum _{k}e^{-||Ax_{i}-Ax_{k}||^{2}}}},&{\mbox{if}}j\neq i\\0,&{\mbox{if}}j=i\end{cases}}}

输入点 i {\displaystyle i} 的分类准确率是与其相邻的最近邻居集 C i {\displaystyle C_{i}} 的分类准确率: p i = j n p i j {\displaystyle p_{i}=\sum _{j}^{n}p_{ij}\quad } 其中 p i j {\displaystyle p_{ij}} j {\displaystyle j} i {\displaystyle i} 的最近邻居的概率。定义用全局数据集作为随机最近邻的留一分类方法确定的目标函数如下:

f ( A ) = i j C i p i j = i p i {\displaystyle f(A)=\sum _{i}\sum _{j\in C_{i}}p_{ij}=\sum _{i}p_{i}}

由随机近邻理论知,与单一样本点 C i {\displaystyle C_{i}} 的同类别的在随机近邻域 C i {\displaystyle C_{i}} 样本点 j {\displaystyle j} 可以表示为:

P ( C l a s s ( X i ) = C l a s s ( X j ) ) = p i j {\displaystyle P(Class(X_{i})=Class(X_{j}))=p_{ij}} 。因此,单一样本点 i {\displaystyle i} 的预测类别是随机近邻集中其他样本类别的某种组合,其准确率与随机近邻域 C i {\displaystyle C_{i}} 中与 i {\displaystyle i} 同类别的 y {\displaystyle y} 所占的比例有关。因此,目标函数可以更好的选为:

f A = 2 A i j C i p i j ( x i j x i j T k p i k x i k x i k T ) {\displaystyle {\frac {\partial f}{\partial A}}=-2A\sum _{i}\sum _{j\in C_{i}}p_{ij}\left(x_{ij}x_{ij}^{T}-\sum _{k}p_{ik}x_{ik}x_{ik}^{T}\right)}

这里用到了连续梯度下降算法。

最大化函数f(.)相当于最小化预测的类分布和真正的类分布之间的差距,即使两者更接近。故目标函数和梯度可以重新写作:

g ( A ) = i log ( j C i p i j ) = i log ( p i ) {\displaystyle g(A)=\sum _{i}\log \left(\sum _{j\in C_{i}}p_{ij}\right)=\sum _{i}\log(p_{i})}

g A = 2 A i ( k p i k x i k x i k T j C i p i j x i j x i j T j C i p i j ) {\displaystyle {\frac {\partial g}{\partial A}}=2A\sum _{i}\left(\sum _{k}p_{ik}x_{ik}x_{ik}^{T}-{\frac {\sum _{j\in C_{i}}p_{ij}x_{ij}x_{ij}^{T}}{\sum _{j\in C_{i}}p_{ij}}}\right)}

在实际应用中运用此方法得到优化的 A {\displaystyle A} 与之前的方法得到的 A {\displaystyle A} 有相似的预测结果。

邻里成分分析是由Jacob Goldberger, Sam Roweis, Ruslan Salakhudinov和Geoff Hinton 等人在2004年在多伦多大学计算机系创建的。

相关

  • 药效学药物效应动力学(英语:Pharmacodynamics (PD) ),简称药效学,是药理学的一个分支,主要研究药物作用(action)与药理效应(effects)(即药物对机体的作用及作用机制(mechanism of action)
  • 量子效应量子力学(英语:quantum mechanics)是物理学的分支学科。它主要描写微观的事物,与相对论一起被认为是现代物理学的两大基本支柱,许多物理学理论和科学,如原子物理学、固体物理学、
  • 岩刻岩刻是指在山崖等岩石上雕刻出图案或文字的艺术形式。全世界到处都有岩刻,通常属于远古人类的杰作。“岩刻”不同于“岩画”或“摩崖石刻”。
  • 《1924年移民法案》《1924年移民法案》(Immigration Act of 1924),又称《约翰逊-里德法案》(Johnson-Reed Act)或《国家起源法案》(National Origins Act),以及包括在内的特别条款《排亚法案》(Asian Ex
  • 西席·斯贝西克玛莉·伊丽莎白·“西席”·斯贝西克(Mary Elizabeth "Sissy" Spacek,1949年12月25日-) 是一位美国女演员和歌手。曾经先后获得了奥斯卡最佳女主角奖的6次提名,一次得奖。她亦取
  • 健康旅游健康旅游(Health Tourism)是一种利用各式天然资源的旅游模式。参考多位学者后,发现“健康旅游”与“保健旅游”其名词与解释至今仍无一致,存有交错混用情形(吴彬安,2007;萧淑慧
  • 天主教帕加迪安教区天主教帕加迪安教区 (拉丁语:Dioecesis Pagadianensis;他加禄语:Diyosesis ng Pagadian)是菲律宾一个罗马天主教教区,属奥三棉示总教区。1971年11月12日升为教区。教区包括南三宝
  • 克雷斯特伍德 (肯塔基州)克雷斯特伍德(英语:Crestwood),是美国肯塔基州的一座城市。面积约为10.6平方公里(4.1平方英里)。根据2010年美国人口普查,该市的人口为4,531人。
  • 朱利安·列侬约翰·查尔斯·朱利安·列侬(英语:Julian Lennon,1963年4月8日-)是英国男歌手,生于英国利物浦,为英国披头士乐团灵魂核心约翰·列侬的长子。他是三首披头士作品的灵感来源:、和。他
  • 瞎趴姊妹《瞎趴姊妹》()是2015年美国喜剧电影,导演为杰森·摩尔(英语:Jason Moore (director)),编剧为宝拉·佩尔(英语:Paula Pell)。此片由蒂娜·菲和艾米·波勒主演,于2015年12月18日由环球影