统计学习理论

✍ dations ◷ 2025-04-25 05:07:17 #统计学习理论
统计学习理论(英语:Statistical learning theory),一种机器学习的架构,根据统计学与泛函分析(Functional Analysis)而建立。统计学习理论基于资料(data),找出预测性函数,之后解决问题。支持向量机(Support Vector Machine)的理论基础来自于统计学习理论。令 X {displaystyle X} 为所有可能的输入组成的向量空间, Y {displaystyle Y} 为所有可能的输出组成的向量空间。统计学习理论认为,积空间 Z = X × Y {displaystyle Z=Xtimes Y} 上存在某个未知的概率分布 p ( z ) = p ( x → , y ) {displaystyle p(z)=p({vec {x}},y)} 。训练集由这个概率分布中的 n {displaystyle n} 个样例构成,并用 S = { ( x → 1 , y 1 ) , … , ( x → n , y n ) } = { z → 1 , … , z → n } {displaystyle S={({vec {x}}_{1},y_{1}),dots ,({vec {x}}_{n},y_{n})}={{vec {z}}_{1},dots ,{vec {z}}_{n}}} 表示。每个 x → i {displaystyle {vec {x}}_{i}} 都是训练数据的一个输入向量, 而 y i {displaystyle y_{i}} 则是对应的输出向量。损失函数的选择是机器学习算法所选的函数 f S {displaystyle f_{S}} 中的决定性因素。 损失函数也影响着算法的收敛速率。损失函数的凸性也十分重要。根据问题是回归问题还是分类问题,我们可以使用不同的损失函数。回归问题中最常用的损失函数是平方损失函数(也被称为L2-范数)。类似的损失函数也被用在普通最小二乘回归。其形式是:另一个常见的损失函数是绝对值范数(L1-范数):某种程度上说0-1指示函数是分类问题中最自然的损失函数。它在预测结果与真实结果相同时取0,相异时取1。对于 Y = { − 1 , 1 } {displaystyle Y={-1,1}} 的二分类问题,这可以表示为:其中 θ {displaystyle theta } 为单位阶跃函数。机器学习的一大常见问题是过拟合。由于机器学习是一个预测问题,其目标并不是找到一个与(之前观测到的)数据最拟合的的函数,而是寻找一个能对未来的输入作出最精确预测的函数。经验风险最小化有过拟合的风险:找到的函数完美地匹配现有数据但并不能很好地预测未来的输出。过拟合的常见表现是不稳定的解:训练数据的一个小的扰动会导致学到的函数的巨大波动。可以证明,如果解的稳定性可以得到保证,那么其可推广性和一致性也同样能得到保证。 正则化可以解决过拟合的问题并增加解的稳定性。正则化可以通过限制假设空间 H {displaystyle {mathcal {H}}} 来完成。一个常见的例子是把 H {displaystyle {mathcal {H}}} 限制为线性函数:这可以被看成是把问题简化为标准设计的线性回归。 H {displaystyle {mathcal {H}}} 也可以被限制为 p {displaystyle p} 次多项式,指数函数,或L1上的有界函数。对假设空间的限制能防止过拟合的原因是,潜在的函数的形式得到了限制,因此防止了那些能给出任意接近于0的经验风险的复杂函数。一个正则化的样例是吉洪诺夫正则化,即最小化如下损失函数其中正则化参数 γ {displaystyle gamma } 为一个固定的正参数。吉洪诺夫正则化保证了解的存在性、唯一性和稳定性。

相关

  • 睡眠相位后移障碍睡眠相位后移综合征(Delayed sleep-phase syndrome(Disorder),简称DSPS或DSPD)是一种慢性睡眠紊乱,患者一般都会晚睡晚起,生活节奏受严重影响。在临床诊断中,部分患者要到等至天亮
  • 尤因氏肉瘤尤文氏肉瘤(英语:Ewing's sarcoma)又称为尤因肉瘤、未分化网状细胞瘤。原于骨髓内的原始细胞,是常见骨的恶性肿瘤。系美国的病理学家詹姆斯·尤因(James Ewing)于1921年首先报道
  • 壳层电子层,或称电子壳或电子壳层,是原子物理学中,一组拥有相同主量子数n的原子轨道。电子层组成为一粒原子的电子序。这可以证明电子层可容纳最多电子的数量为
  • 库恩里夏德·库恩(德语:Richard Kuhn,1900年12月3日-1967年8月1日)生于奥地利维也纳,奥地利裔德国化学家,1939年获得1938年度的诺贝尔化学奖;1942年获得歌德奖。1967年逝于德国海德堡。1
  • 光放大器光放大器是光纤通信系统中能对光信号进行放大的一种子系统产品。光放大器的原理基本上是基于激光的受激辐射,通过将泵浦光的能量转变为信号光的能量实现放大作用。光放大器自
  • 肌强直性营养不良1型强直性肌肉失养症(Myotonic dystrophy)也称为肌强直性营养不良,是一种影响肌肉功能的慢性遗传性疾病。其症状包括逐渐恶化的肌肉损失(英语:Muscle atrophy)和虚弱,肌肉经常收缩而且
  • 勋奖奖章或奖牌是一种拥有浮雕的金属制奖励品,一般用以奖励那些在运动、军事、科学、学术、艺术上或其他领域拥有特别成就及贡献者。在许多非军事项目,如一般的体育比赛,会颁发奖牌
  • 高速公路德国高速公路是德国的全国高速公路系统,其德文名称(Autobahn .mw-parser-output .IPA{font-family:"Charis SIL","Doulos SIL","Linux Libertine","Segoe UI","Lucida Sans Un
  • 字典纸字典纸,也称圣经纸(英语:Bible Paper),是一种薄而略透明的纸张,多用于印刷圣经、字典、百科全书等页数很多的书籍。这种纸通常含有棉或亚麻成分以增加其强度。
  • 贝叶斯概率贝叶斯概率(英语:Bayesian probability)是由贝叶斯理论所提供的一种对概率的解释,它采用将概率定义为某人对一个命题信任的程度的概念。贝叶斯理论同时也建议贝叶斯定理可以用作