邻里成分分析

✍ dations ◷ 2025-04-28 03:33:04 #多变量统计,资料分析,统计模型

邻里成分分析（Neighborhood components analysis，NCA）是一种监督式学习的方法，根据一种给定的距离度量算法对样本数据进行度量，然后对多元变量数据进行分类。在功能上其和k近邻算法的目的相同，直接利用随即近邻的概念确定与测试样本临近的有标签的训练样本。

邻里成分分析是一种距离度量学习方法，其目的在于通过在训练集上学习得到一个线性空间转移矩阵，在新的转换空间中最大化平均留一（LOO）分类效果。该算法的关键是与空间转换矩阵相关的的一个正定矩阵A，该矩阵A可以通过定义A的一个可微的目标函数并利用迭代法（如共轭梯度法、共轭梯度下降法等）求解得到。该算法的好处之一是类别数K可以用一个函数f（确定标量常数）来定义。因此该算法可以用来解决模型选择的问题。

为了定义转换矩阵A，我们首先定义一个在新的转换矩阵中表示分类准确率的目标函数，并且尝试确定A*使得这个目标函数最大化。

$A^{*}={\mbox{argmax}}_{A}f(A)$ $A^{*}={\mbox{argmax}}_{A}f(A)$

对一个单一的数据点进行类别预测时，我们需要考虑有一种给定的距离度量确定的K个最近邻居，根据 $k {\displaystyle k}$ $k$ 个近邻的类别标签投票得到该样本的类别。这就是留一（Loo）分类算法。但是对所有数据集进行一个线性空间变换之后，新空间中的同一样本的最近邻居集可能跟原空间的最近邻居集有很大差别。特别的，为了平滑 $A {\displaystyle A}$ $A$ 中元素的变化，我们可以使该样本的最近邻居集离散化，也就是说任意一个基于一个点的最近邻居集的目标函数f都是离散的，因此也是不连续的。

我们可以用一种受随机梯度下降法算法的启示得到的方法解决该问题。在新的转换空间中，我们并不是对每个样本点用留一分类方法求取 $k {\displaystyle k}$ $k$ 个最近邻居，而是在新空间中考虑整个数据集作为随机最近邻居。我们用一个平方欧氏距离函数来定义在新的转换空间中的留一数据点与其他数据的距离，该函数定义如下：

$p_{ij}={\begin{cases}{\frac {e^{-||Ax_{i}-Ax_{j}||^{2}}}{\sum _{k}e^{-||Ax_{i}-Ax_{k}||^{2}}}},&{\mbox{if}}j\neq i\\0,&{\mbox{if}}j=i\end{cases}}$ $p_{{ij}}={\begin{cases}{\frac {e^{{-||Ax_{i}-Ax_{j}||^{2}}}}{\sum _{k}e^{{-||Ax_{i}-Ax_{k}||^{2}}}}},&{\mbox{if}}j\neq i\\0,&{\mbox{if}}j=i\end{cases}}$

输入点 $i {\displaystyle i}$ $i$ 的分类准确率是与其相邻的最近邻居集 $C_{i}$ $C_i$ 的分类准确率： $p_{i}=\sum _{j}^{n}p_{ij}\quad$ $p_{i}=\sum _{j}^{n}p_{{ij}}\quad$ 其中 $p_{ij}$ $p_{{ij}}$ 是 $j {\displaystyle j}$ $j$ 是 $i {\displaystyle i}$ $i$ 的最近邻居的概率。定义用全局数据集作为随机最近邻的留一分类方法确定的目标函数如下：

$f(A)=\sum _{i}\sum _{j\in C_{i}}p_{ij}=\sum _{i}p_{i}$ $f(A)=\sum _{i}\sum _{{j\in C_{i}}}p_{{ij}}=\sum _{i}p_{i}$

由随机近邻理论知，与单一样本点 $C_{i}$ $C_i$ 的同类别的在随机近邻域 $C_{i}$ $C_i$ 样本点 $j {\displaystyle j}$ $j$ 可以表示为：

$P(Class(X_{i})=Class(X_{j}))=p_{ij}$ $P(Class(X_{i})=Class(X_{j}))=p_{{ij}}$ 。因此，单一样本点 $i {\displaystyle i}$ $i$ 的预测类别是随机近邻集中其他样本类别的某种组合，其准确率与随机近邻域 $C_{i}$ $C_i$ 中与 $i {\displaystyle i}$ $i$ 同类别的 $y {\displaystyle y}$ $y$ 所占的比例有关。因此，目标函数可以更好的选为：

${\frac {\partial f}{\partial A}}=-2A\sum _{i}\sum _{j\in C_{i}}p_{ij}\left(x_{ij}x_{ij}^{T}-\sum _{k}p_{ik}x_{ik}x_{ik}^{T}\right)$ ${\frac {\partial f}{\partial A}}=-2A\sum _{i}\sum _{{j\in C_{i}}}p_{{ij}}\left(x_{{ij}}x_{{ij}}^{T}-\sum _{k}p_{{ik}}x_{{ik}}x_{{ik}}^{T}\right)$

这里用到了连续梯度下降算法。

最大化函数f（.）相当于最小化预测的类分布和真正的类分布之间的差距，即使两者更接近。故目标函数和梯度可以重新写作：

$g(A)=\sum _{i}\log \left(\sum _{j\in C_{i}}p_{ij}\right)=\sum _{i}\log(p_{i})$ $g(A)=\sum _{i}\log \left(\sum _{{j\in C_{i}}}p_{{ij}}\right)=\sum _{i}\log(p_{i})$

${\frac {\partial g}{\partial A}}=2A\sum _{i}\left(\sum _{k}p_{ik}x_{ik}x_{ik}^{T}-{\frac {\sum _{j\in C_{i}}p_{ij}x_{ij}x_{ij}^{T}}{\sum _{j\in C_{i}}p_{ij}}}\right)$ ${\frac {\partial g}{\partial A}}=2A\sum _{i}\left(\sum _{k}p_{{ik}}x_{{ik}}x_{{ik}}^{T}-{\frac {\sum _{{j\in C_{i}}}p_{{ij}}x_{{ij}}x_{{ij}}^{T}}{\sum _{{j\in C_{i}}}p_{{ij}}}}\right)$

在实际应用中运用此方法得到优化的 $A {\displaystyle A}$ $A$ 与之前的方法得到的 $A {\displaystyle A}$ $A$ 有相似的预测结果。

邻里成分分析是由Jacob Goldberger, Sam Roweis, Ruslan Salakhudinov和Geoff Hinton 等人在2004年在多伦多大学计算机系创建的。

相关

头孢唑林头孢唑林（英语：Cefazolin，cefazoline 或 cephazolin），是一种用于治疗多种病原细菌的抗细菌药，尤其针对蜂窝组织炎、泌尿道感染、肺炎、心内膜炎、败血性关节炎及胆道发炎（英语：bilia
17α羟化酶n/an/an/an/an/an/an/an/an/an/a细胞色素 P450 17A1（英语：Cytochrome P450 17A1）也被称为甾体17α-单加氧酶（steroid 17α-monooxygenase），17α-羟基化酶（17α-hydroxylase），17,20-碳
纽约都会区纽约都会区，也被称为三州地区，是全美国最大的都会区，也是全世界最大都会区之一，位于美国东北部。整个都会区以纽约市为中心，包括纽约州上州的六个郡与长岛的两个郡，新泽西州的十四
玉博会广西玉林市人民政府与中国国际贸易促进会联合主办、并根据每期主题不同邀请相关部门共同举办、以“中小企业大商机”为主题的一年一度的博览会，自2004年举办，是中国区域性较有
1,3,5-三庚基苯1,3,5-三庚基苯（英语：1,3,5-Triheptylbenzene，又名均三庚苯）是一种不溶于水的芳香族有机化合物，化学式为C27H48，式量372.67，可由1,1',1''-(1,3,5-苯三基)三的加氢还原反应制得。1-
李苏李苏（1914年－2005年），原名张宝庆，江苏省扬州市。中华人民共和国化工专家，化学工业组织领导者之一。1936年毕业于南京金陵大学化学系，获理学士学位。后考取南京金陵大学理科研究所化
Minato作品列表minato为日本音乐家、音乐制作人、歌手。本条目将会列出其创作及演唱的作品列表。于Niconico动画平台所投稿的作品。以minato名义创作的音乐影片，负责作词、作曲。因为影片使
平准基金平准基金，又称干预基金，是指政府通过法定方式建立的基金。其中“平准”一词来自于均输平准。通过对证券市场逆向操作以达到稳定证券市场的目的。
黄得功黄得功（？－1645年），字虎山，三万卫（开原）人，明末、南明将领，出身行伍，《甲申朝事小纪》载其“每战身自冲突，劲疾若飞，江、淮人呼曰‘闯子’”。善使铁鞭，在杂剧《桃花扇》中有登场，武器为双鞭
芙蓉山 (江原道)芙蓉山（韩语：부용산）是一座位于韩国江原道春川市和华川郡之间的山峰，主峰海拔882米。