统计学习理论

✍ dations ◷ 2025-04-26 12:29:00 #统计学习理论
统计学习理论(英语:Statistical learning theory),一种机器学习的架构,根据统计学与泛函分析(Functional Analysis)而建立。统计学习理论基于资料(data),找出预测性函数,之后解决问题。支持向量机(Support Vector Machine)的理论基础来自于统计学习理论。令 X {displaystyle X} 为所有可能的输入组成的向量空间, Y {displaystyle Y} 为所有可能的输出组成的向量空间。统计学习理论认为,积空间 Z = X × Y {displaystyle Z=Xtimes Y} 上存在某个未知的概率分布 p ( z ) = p ( x → , y ) {displaystyle p(z)=p({vec {x}},y)} 。训练集由这个概率分布中的 n {displaystyle n} 个样例构成,并用 S = { ( x → 1 , y 1 ) , … , ( x → n , y n ) } = { z → 1 , … , z → n } {displaystyle S={({vec {x}}_{1},y_{1}),dots ,({vec {x}}_{n},y_{n})}={{vec {z}}_{1},dots ,{vec {z}}_{n}}} 表示。每个 x → i {displaystyle {vec {x}}_{i}} 都是训练数据的一个输入向量, 而 y i {displaystyle y_{i}} 则是对应的输出向量。损失函数的选择是机器学习算法所选的函数 f S {displaystyle f_{S}} 中的决定性因素。 损失函数也影响着算法的收敛速率。损失函数的凸性也十分重要。根据问题是回归问题还是分类问题,我们可以使用不同的损失函数。回归问题中最常用的损失函数是平方损失函数(也被称为L2-范数)。类似的损失函数也被用在普通最小二乘回归。其形式是:另一个常见的损失函数是绝对值范数(L1-范数):某种程度上说0-1指示函数是分类问题中最自然的损失函数。它在预测结果与真实结果相同时取0,相异时取1。对于 Y = { − 1 , 1 } {displaystyle Y={-1,1}} 的二分类问题,这可以表示为:其中 θ {displaystyle theta } 为单位阶跃函数。机器学习的一大常见问题是过拟合。由于机器学习是一个预测问题,其目标并不是找到一个与(之前观测到的)数据最拟合的的函数,而是寻找一个能对未来的输入作出最精确预测的函数。经验风险最小化有过拟合的风险:找到的函数完美地匹配现有数据但并不能很好地预测未来的输出。过拟合的常见表现是不稳定的解:训练数据的一个小的扰动会导致学到的函数的巨大波动。可以证明,如果解的稳定性可以得到保证,那么其可推广性和一致性也同样能得到保证。 正则化可以解决过拟合的问题并增加解的稳定性。正则化可以通过限制假设空间 H {displaystyle {mathcal {H}}} 来完成。一个常见的例子是把 H {displaystyle {mathcal {H}}} 限制为线性函数:这可以被看成是把问题简化为标准设计的线性回归。 H {displaystyle {mathcal {H}}} 也可以被限制为 p {displaystyle p} 次多项式,指数函数,或L1上的有界函数。对假设空间的限制能防止过拟合的原因是,潜在的函数的形式得到了限制,因此防止了那些能给出任意接近于0的经验风险的复杂函数。一个正则化的样例是吉洪诺夫正则化,即最小化如下损失函数其中正则化参数 γ {displaystyle gamma } 为一个固定的正参数。吉洪诺夫正则化保证了解的存在性、唯一性和稳定性。

相关

  • 血栓血栓是在血管中形成的血块,于循环系统中会妨碍或阻断血流。当血管受损,血液中的血小板和纤维蛋白会聚集而形成血块修补之,以避免失血或因血流冲击造成血管进一步伤害。若血块脱
  • 胃壁细胞胃壁细胞((gastric) parietal cells)又称壁细胞、泌酸细胞,为分泌盐酸及内在因子之上皮细胞。这些细胞都位于胃之胃底(gastric fundus)衬里中之胃腺体(gastric glands)里。它们含
  • 宫底高度宫底高度(Fundal height)也称为耻骨联合-宫底高度(symphysial fundal height,也称为SFH),也称为宫顶高度或宫高,是妊娠中量测子宫大小的方式,可以在怀孕中评估胎儿成长及其发育情形
  • 过氧化苯甲酰过氧苯甲酰 (过氧化苯甲酰) (BPO) 是一种药物与化学品,用来治疗 轻至中度痤疮,在程度严重时也会与其他药物联用。 过氧苯甲酰也可用于面粉漂白,头发漂白,牙齿美白,纺织品漂白等。
  • 交通工具载具指载运工具,也称交通工具,是指使用于人或货物运输的设备。本身不产生位移的传送带或非人造的某些水面漂浮物都不能称为“载具”。为上述目的以人的意志为驱使的动物和人本
  • 世代研究世代研究(英语:cohort study 或 panel study),又译为队列研究、群组研究、定群研究、追踪研究、梯次研究等,是在医学、社会科学、精算学、生态学等领域中使用的一种纵向研究(英语:l
  • 自然历史自然历史(拉丁语:Historia Naturalis)又译自然史、博物学,是人类在演化过程中对地球上各种生物(动物、植物、菌类、微生物)以及它们周边生存环境中各种事物的不断的观察记录与分析
  • 奥依语奥依语(langue d'oïl),是罗曼语族的一支,源自现在法国卢瓦尔河以北、一部分比利时和海峡群岛的地区。奥依语通常是指整个奥依语支的语言,而奥依语中使用最多的变体是法语。但是
  • 三一学院坐标:43°39′56″N 79°23′45″W / 43.66556°N 79.39583°W / 43.66556; -79.39583Met’agona stephanos (Greek) After the contest, the crown (比赛结束后, 加冕)多伦多
  • 甲巯咪唑甲巯咪唑(methimazole、thiamazole),是抗甲状腺药(英语:antithyroid agent),属于硫代酰胺类药物。甲巯咪唑的主要副作用和丙硫氧嘧啶类似,包括有粒细胞缺乏症(英语:agranulocytosis)及