维数灾难

✍ dations ◷ 2025-11-05 07:25:50 #维数灾难

维数灾难(英语:Curse of dimensionality,又名维度的诅咒)是一个最早由美国应用数学家理查德·贝尔曼在考虑优化问题时首次提出来的术语,用来描述当(数学)空间维度增加时,分析和组织高维空间(通常有成百上千维),因体积指数增加而遇到各种问题场景。这样的难题在低维空间中不会遇到,如物理空间通常只用三维来建模。

举例来说,100个平均分布的点能把一个单位区间以每个点距离不超过0.01采样;而当维度增加到10后,如果以相邻点距离不超过0.01小方格采样一单位超正方体,则需要1020 个采样点:所以,这个10维的超正方体也可以说是比单位区间大1018倍。(这个是理查德·贝尔曼所举的例子)

在很多领域中,如采样、组合数学、机器学习和数据挖掘都有提及到这个名字的现象。这些问题的共同特色是当维数提高时,空间的体积提高太快,因而可用数据变得很稀疏。稀疏性对于任何要求有统计学意义的方法而言都是一个问题,为了获得在统计学上正确并且有可靠的结果,用来支撑这一结果所需要的数据量通常随着维数的提高而呈指数级增长。而且,在组织和搜索数据时也有赖于检测对象区域,这些区域中的对象通过相似度属性而形成分组。然而在高维空间中,所有的数据都很稀疏,从很多角度看都不相似,因而平常使用的数据组织策略变得极其低效。

“维数灾难”通常是用来作为不要处理高维数据的无力借口。然而,学术界一直都对其有兴趣,而且在继续研究。另一方面,也由于本征维度(英语:intrinsic dimension)的存在,其概念是指任意低维数据空间可简单地通过增加空余(如复制)或随机维将其转换至更高维空间中,相反地,许多高维空间中的数据集也可削减至低维空间数据,而不必丢失重要信息。这一点也通过众多降维方法的有效性反映出来,如应用广泛的主成分分析方法。针对距离函数和最近邻搜索,当前的研究也表明除非其中存在太多不相关的维度,带有维数灾难特色的数据集依然可以处理,因为相关维度实际上可使得许多问题(如聚类分析)变得更加容易。另外,一些如马尔科夫蒙特卡洛或共享最近邻搜索方法经常在其他方法因为维数过高而处理棘手的数据集上表现得很好。

在一些问题中,每个变量都可取一系列离散值中的一个,或者可能值的范围被划分为有限个可能性。把这些变量放在一起,则必须考虑很多种值的组合方式,这后果就是常说的组合爆炸(英语:Combinatorial explosion)。即使在最简单的二元变量例子中,可能产生的组合总数就已经是在维数上呈现指数级的 O ( 2 d ) {displaystyle O(2^{d})} 或(以Gordon F. Hughes命名)。

在贝叶斯统计中维数灾难通常是一个难点,因为其后验分布(英语:posterior distributions)通常都包含着许多参数。

然而,这一问题在基于模拟的贝叶斯推理(尤其是适应于很多实践问题的马尔科夫蒙特卡洛方法)出现后得到极大地克服,当然,基于模拟的方法收敛很慢,因此这也并不是解决高维问题的灵丹妙药。

当一个度量,如欧几里德距离使用很多坐标来定义时,不同的样本对之间的距离已经基本上没有差别。

一种用来描述高维欧几里德空间的巨型性的方法是将超球体中半径 r {displaystyle r} 近邻(-NN)图,该图使用一些距离函数从数据集构造。当维度增加时,-NN有向图的入度分页将会向右倾斜,从而导致中心的出现,很多的数据实例出现在其他许多实例(比预期多得多)的-NN列表中。这一现象对很多技术,如分类(包括最近邻居法、半监督学习,和聚类分析都有很大的影响。,同时它也对信息检索问题有影响。

相关

  • 天谴天谴就是上天谴责的意思。在阴阳家思想中,在人伦社会秩序之上,“天”是比人更高层次的非人存有者,有独立意志,主宰人论秩序,负责赏善惩恶;所以认为,如果违反天命而行,或是作恶,就会受
  • 拉脱维亚国家银行拉脱维亚银行(拉脱维亚语:Latvijas Banka)是拉脱维亚的中央银行,也是欧洲中央银行的会员之一,总部位于里加。在拉脱维亚使用欧元之前,拉脱维亚银行是拉脱维亚拉特的发行单位。
  • 小六鉴定考试小学六年级检定考试(马来语:Ujian Pencapaian Sekolah Rendah;英语:Primary School Achievement Test;简称UPSR)是马来西亚的一项全国统一考试,由马来西亚教育部(Ministry of Educat
  • 贾马尔·贾马尔贾马尔·贾马尔(Jamal al-Jamal,1957年4月3日—2014年1月1日),是巴勒斯坦外交官,从2013年10月11日至逝世为止担任驻捷克大使。
  • 栾克勇栾克勇(1970年9月23日-),台湾音乐制作人,作品涵盖华语、闽南语、客语流行音乐。2011年获得第22届金曲奖最佳客语专辑奖、最佳客语歌手奖,也是首位非客家人获得此奖项者(父亲是外省
  • 减法减法是一种算术运算,代表从合集中移除对象,可视为“加法的逆运算”。减法的结果称作差。减法是符号是减号( − {\displaystyle -} )。加、减
  • 毛文书毛文书(1910年-1988年),女,四川乐山人,中国眼科专家,曾任第三、五、六、七届全国人大代表。丈夫陈耀真。
  • 2012年夏季奥林匹克运动会独立参赛者2012年夏季奥林匹克运动会独立参赛者是参加2012年7月27日至8月13日在英国伦敦举行的2012年夏季奥林匹克运动会的独立参赛者。来自荷属安的列斯的3名运动员与来自南苏丹的1名运动员以个人名义参加本次比赛。2010年荷属安的列斯解体后,国际奥委会执委会在2011年7月举行的123次全体会议上撤销了荷属安的列斯奥委会的成员资格。不过,国际奥委会同意荷属安的列斯运动员作为独立参赛者参加伦敦奥运会。2011年7月9日南苏丹正式宣布独立。然而根据国际奥委会的规定,一个国家需要两年审批时间才能注册参加奥运会(但
  • 戴维·巴特利特戴维·巴特利特(英语:David John Bartlett,1968年-)是前任澳大利亚塔斯马尼亚州州长( 州总理 )。他从2008年5月26日起担任州长一职直到2011年。他幼时就读于纳尔逊山小学,然后就读Taroona中学及霍巴特学院,并在塔斯马尼亚大学获得理学学士学位。戴维·巴特利特有两个孩子。
  • 罗伯特·罗斯 (英国军官)罗伯特·罗斯(英语:Robert Ross,1766年-1814年9月12日),爱尔兰-苏格兰裔英国人,英国陆军少将。罗斯出身军人家庭,1789年大学毕业后参军。先后转战荷兰、北非、意大利、伊比利亚半岛等战场,参与过埃及-叙利亚战役、马伊达会战(英语:Battle of Maida)、科鲁尼亚战役、瓦尔赫伦岛战役、比利牛斯山战役(英语:Battle of the Pyrenees)、奥尔泰兹战役(英语:Battle of Orthez)等拿破仑战争中的一系列战役,为威灵顿公爵麾下一员干将,以骁勇善战、身先