邻里成分分析

✍ dations ◷ 2025-07-30 14:42:58 #多变量统计,资料分析,统计模型

邻里成分分析（Neighborhood components analysis，NCA）是一种监督式学习的方法，根据一种给定的距离度量算法对样本数据进行度量，然后对多元变量数据进行分类。在功能上其和k近邻算法的目的相同，直接利用随即近邻的概念确定与测试样本临近的有标签的训练样本。

邻里成分分析是一种距离度量学习方法，其目的在于通过在训练集上学习得到一个线性空间转移矩阵，在新的转换空间中最大化平均留一（LOO）分类效果。该算法的关键是与空间转换矩阵相关的的一个正定矩阵A，该矩阵A可以通过定义A的一个可微的目标函数并利用迭代法（如共轭梯度法、共轭梯度下降法等）求解得到。该算法的好处之一是类别数K可以用一个函数f（确定标量常数）来定义。因此该算法可以用来解决模型选择的问题。

为了定义转换矩阵A，我们首先定义一个在新的转换矩阵中表示分类准确率的目标函数，并且尝试确定A*使得这个目标函数最大化。

$A^{*}={\mbox{argmax}}_{A}f(A)$ $A^{*}={\mbox{argmax}}_{A}f(A)$

对一个单一的数据点进行类别预测时，我们需要考虑有一种给定的距离度量确定的K个最近邻居，根据 $k {\displaystyle k}$ $k$ 个近邻的类别标签投票得到该样本的类别。这就是留一（Loo）分类算法。但是对所有数据集进行一个线性空间变换之后，新空间中的同一样本的最近邻居集可能跟原空间的最近邻居集有很大差别。特别的，为了平滑 $A {\displaystyle A}$ $A$ 中元素的变化，我们可以使该样本的最近邻居集离散化，也就是说任意一个基于一个点的最近邻居集的目标函数f都是离散的，因此也是不连续的。

我们可以用一种受随机梯度下降法算法的启示得到的方法解决该问题。在新的转换空间中，我们并不是对每个样本点用留一分类方法求取 $k {\displaystyle k}$ $k$ 个最近邻居，而是在新空间中考虑整个数据集作为随机最近邻居。我们用一个平方欧氏距离函数来定义在新的转换空间中的留一数据点与其他数据的距离，该函数定义如下：

$p_{ij}={\begin{cases}{\frac {e^{-||Ax_{i}-Ax_{j}||^{2}}}{\sum _{k}e^{-||Ax_{i}-Ax_{k}||^{2}}}},&{\mbox{if}}j\neq i\\0,&{\mbox{if}}j=i\end{cases}}$ $p_{{ij}}={\begin{cases}{\frac {e^{{-||Ax_{i}-Ax_{j}||^{2}}}}{\sum _{k}e^{{-||Ax_{i}-Ax_{k}||^{2}}}}},&{\mbox{if}}j\neq i\\0,&{\mbox{if}}j=i\end{cases}}$

输入点 $i {\displaystyle i}$ $i$ 的分类准确率是与其相邻的最近邻居集 $C_{i}$ $C_i$ 的分类准确率： $p_{i}=\sum _{j}^{n}p_{ij}\quad$ $p_{i}=\sum _{j}^{n}p_{{ij}}\quad$ 其中 $p_{ij}$ $p_{{ij}}$ 是 $j {\displaystyle j}$ $j$ 是 $i {\displaystyle i}$ $i$ 的最近邻居的概率。定义用全局数据集作为随机最近邻的留一分类方法确定的目标函数如下：

$f(A)=\sum _{i}\sum _{j\in C_{i}}p_{ij}=\sum _{i}p_{i}$ $f(A)=\sum _{i}\sum _{{j\in C_{i}}}p_{{ij}}=\sum _{i}p_{i}$

由随机近邻理论知，与单一样本点 $C_{i}$ $C_i$ 的同类别的在随机近邻域 $C_{i}$ $C_i$ 样本点 $j {\displaystyle j}$ $j$ 可以表示为：

$P(Class(X_{i})=Class(X_{j}))=p_{ij}$ $P(Class(X_{i})=Class(X_{j}))=p_{{ij}}$ 。因此，单一样本点 $i {\displaystyle i}$ $i$ 的预测类别是随机近邻集中其他样本类别的某种组合，其准确率与随机近邻域 $C_{i}$ $C_i$ 中与 $i {\displaystyle i}$ $i$ 同类别的 $y {\displaystyle y}$ $y$ 所占的比例有关。因此，目标函数可以更好的选为：

${\frac {\partial f}{\partial A}}=-2A\sum _{i}\sum _{j\in C_{i}}p_{ij}\left(x_{ij}x_{ij}^{T}-\sum _{k}p_{ik}x_{ik}x_{ik}^{T}\right)$ ${\frac {\partial f}{\partial A}}=-2A\sum _{i}\sum _{{j\in C_{i}}}p_{{ij}}\left(x_{{ij}}x_{{ij}}^{T}-\sum _{k}p_{{ik}}x_{{ik}}x_{{ik}}^{T}\right)$

这里用到了连续梯度下降算法。

最大化函数f（.）相当于最小化预测的类分布和真正的类分布之间的差距，即使两者更接近。故目标函数和梯度可以重新写作：

$g(A)=\sum _{i}\log \left(\sum _{j\in C_{i}}p_{ij}\right)=\sum _{i}\log(p_{i})$ $g(A)=\sum _{i}\log \left(\sum _{{j\in C_{i}}}p_{{ij}}\right)=\sum _{i}\log(p_{i})$

${\frac {\partial g}{\partial A}}=2A\sum _{i}\left(\sum _{k}p_{ik}x_{ik}x_{ik}^{T}-{\frac {\sum _{j\in C_{i}}p_{ij}x_{ij}x_{ij}^{T}}{\sum _{j\in C_{i}}p_{ij}}}\right)$ ${\frac {\partial g}{\partial A}}=2A\sum _{i}\left(\sum _{k}p_{{ik}}x_{{ik}}x_{{ik}}^{T}-{\frac {\sum _{{j\in C_{i}}}p_{{ij}}x_{{ij}}x_{{ij}}^{T}}{\sum _{{j\in C_{i}}}p_{{ij}}}}\right)$

在实际应用中运用此方法得到优化的 $A {\displaystyle A}$ $A$ 与之前的方法得到的 $A {\displaystyle A}$ $A$ 有相似的预测结果。

邻里成分分析是由Jacob Goldberger, Sam Roweis, Ruslan Salakhudinov和Geoff Hinton 等人在2004年在多伦多大学计算机系创建的。

相关

纳豆纳豆是日本常见的传统发酵食品，由黄豆通过Bacillus subtilis natto（枯草杆菌亚种之一）借由菌种发酵所释放的酵素转化蒸煮过黄豆的营养成分所制成的豆制品，气味浓烈，有黏性，不仅保
对日裔美国人的囚禁日裔美国人囚禁（英文：Internment of Japanese Americans）是珍珠港事件发生以后，自1942年起，美国政府对约11万居住在美国太平洋沿岸的日裔美国人的扣留，转移和囚禁。1942年2月19日，
韩国儒学韩国儒学，指儒学在韩国的传播与发展。儒学的遗产今天仍然是韩国社会的基本组成部分，塑造道德体系，生活方式。最早的儒学是来自秦朝的亡人带来，与汉字一起在汉四郡时代引入，后成为
马来短剑马来短剑别译为格里斯剑（印尼语：keris；马来语：keris；他加禄语：Kalis；泰语：กริช），是马来群岛及马来半岛各民族使用的一种独特的短剑，主要流行于印度尼西亚、马来西亚、文莱、泰国南
花鸟山花鸟山，或称是舟山群岛最北的一座岛屿，位于北纬30度51分，东经122度40分。行政上设立花鸟乡和花鸟社区，属于浙江省舟山市嵊泗县。因多生菊花、水仙花，岛形呈飞鸟状而得名。岛上有
夏季奥林匹克运动会摔跤比赛摔跤自1896年首届夏季奥运会起成为每届夏季奥运会比赛项目（除1900年夏季奥运会以外）。
显著喇叭口螺显著喇叭口螺（学名：），Möllendorff于1885年命名，是中国的特有物种。分布于广东、广西、湖南、长江流域一带等地，生活环境为陆地，主要生活于农田、公园、住宅附近的草丛中以及石块下
李平李平可以指：
1988-89球季英格兰足总杯1988/89球季英格兰足总杯（英语：FA Cup），是第108届英格兰足总杯，今届赛事的冠军是利物浦，他们在决赛以3:2击败埃弗顿，夺得冠军。利物浦击败了他们的同市宿敌埃弗顿而夺得冠军。
载昌宗室载昌（1867年－？），清朝宗室，爱新觉罗氏，清朝政治人物。宗室奕艾之子。光绪十六年，登进士，同年五月，改翰林院庶吉士。光绪十八年五月，散馆，授翰林院编修。光绪二十三年，担任右赞善。光绪