统计学习理论

✍ dations ◷ 2025-12-08 23:40:34 #统计学习理论
统计学习理论(英语:Statistical learning theory),一种机器学习的架构,根据统计学与泛函分析(Functional Analysis)而建立。统计学习理论基于资料(data),找出预测性函数,之后解决问题。支持向量机(Support Vector Machine)的理论基础来自于统计学习理论。令 X {displaystyle X} 为所有可能的输入组成的向量空间, Y {displaystyle Y} 为所有可能的输出组成的向量空间。统计学习理论认为,积空间 Z = X × Y {displaystyle Z=Xtimes Y} 上存在某个未知的概率分布 p ( z ) = p ( x → , y ) {displaystyle p(z)=p({vec {x}},y)} 。训练集由这个概率分布中的 n {displaystyle n} 个样例构成,并用 S = { ( x → 1 , y 1 ) , … , ( x → n , y n ) } = { z → 1 , … , z → n } {displaystyle S={({vec {x}}_{1},y_{1}),dots ,({vec {x}}_{n},y_{n})}={{vec {z}}_{1},dots ,{vec {z}}_{n}}} 表示。每个 x → i {displaystyle {vec {x}}_{i}} 都是训练数据的一个输入向量, 而 y i {displaystyle y_{i}} 则是对应的输出向量。损失函数的选择是机器学习算法所选的函数 f S {displaystyle f_{S}} 中的决定性因素。 损失函数也影响着算法的收敛速率。损失函数的凸性也十分重要。根据问题是回归问题还是分类问题,我们可以使用不同的损失函数。回归问题中最常用的损失函数是平方损失函数(也被称为L2-范数)。类似的损失函数也被用在普通最小二乘回归。其形式是:另一个常见的损失函数是绝对值范数(L1-范数):某种程度上说0-1指示函数是分类问题中最自然的损失函数。它在预测结果与真实结果相同时取0,相异时取1。对于 Y = { − 1 , 1 } {displaystyle Y={-1,1}} 的二分类问题,这可以表示为:其中 θ {displaystyle theta } 为单位阶跃函数。机器学习的一大常见问题是过拟合。由于机器学习是一个预测问题,其目标并不是找到一个与(之前观测到的)数据最拟合的的函数,而是寻找一个能对未来的输入作出最精确预测的函数。经验风险最小化有过拟合的风险:找到的函数完美地匹配现有数据但并不能很好地预测未来的输出。过拟合的常见表现是不稳定的解:训练数据的一个小的扰动会导致学到的函数的巨大波动。可以证明,如果解的稳定性可以得到保证,那么其可推广性和一致性也同样能得到保证。 正则化可以解决过拟合的问题并增加解的稳定性。正则化可以通过限制假设空间 H {displaystyle {mathcal {H}}} 来完成。一个常见的例子是把 H {displaystyle {mathcal {H}}} 限制为线性函数:这可以被看成是把问题简化为标准设计的线性回归。 H {displaystyle {mathcal {H}}} 也可以被限制为 p {displaystyle p} 次多项式,指数函数,或L1上的有界函数。对假设空间的限制能防止过拟合的原因是,潜在的函数的形式得到了限制,因此防止了那些能给出任意接近于0的经验风险的复杂函数。一个正则化的样例是吉洪诺夫正则化,即最小化如下损失函数其中正则化参数 γ {displaystyle gamma } 为一个固定的正参数。吉洪诺夫正则化保证了解的存在性、唯一性和稳定性。

相关

  • 细胞程序性死亡细胞程序性死亡(Programmed cell death)是一种多细胞生物中的细胞按照预定的程序集体自杀的行为。它包括细胞凋亡和自噬两类。细胞程序性死亡与细胞坏死不同。
  • 胸部在解剖学上,胸部在许多动物身体的其中一部分。人科动物(包括人类)的胸部位于颈部和腹部之间,由肋骨、脊椎和肩带骨骼所支撑。胸部同时有乳房部分,女性的乳房作哺乳之用,因此胸部也
  • 神经组织神经组织是四大基本组织之一,由神经细胞和神经胶质细胞组成。神经细胞通过突触相连接形成复杂的神经网络,具有感受内外刺激、传导整合信息的能力。神经胶质细胞对神经元起支持
  • 田纳西河谷管理局田纳西河谷管理局(英语:Tennessee Valley Authority),简称TVA,成立于1933年5月,总部位于美国田纳西州诺克斯维尔,是大萧条时代美国总统富兰克林·德拉诺·罗斯福所推动的新政中专责
  • 冰按摩冰按摩(Ice Massage)是物理治疗中冷疗的一种,利用冰块在皮肤表面进行按摩治疗,可同时达到冰敷与按摩两种治疗效果。可作为急性运动伤害时的治疗,有降低发炎和止痛的效果。
  • 果园果园通常是生长乔木或灌木,收获水果以及坚果的人工农业用地。实际上果园很接近于种植水果的花园,如果按照某种分布模式在花园中种植果树,除了收获水果、坚果之外还可以获得美学
  • 皮斯可皮斯可酒(Pisco)是秘鲁和智利传统的一种由葡萄发酵蒸馏而成的烈酒,在世界上知名度很高,堪称秘鲁和智利的国酒。多年来,秘鲁智利两国就皮斯科酒的国籍问题一直争论不休,2013年,欧盟
  • 阿拉伯叙利亚共和国面积以下资讯是以2019年估计国家领袖国内生产总值(购买力平价) 以下资讯是以2016年估计国内生产总值(国际汇率) 以下资讯是以2015年估计人类发展指数 以下资讯是以2018年估计立
  • 荷兰历史罗马帝国时期,荷兰地区归属高卢行省以及下日耳曼行省,当时这块地区有广义的日耳曼部落,而南部有高卢人,高卢人后来占领这块地区并建立法兰克王国墨洛温王朝。中世纪时期,这些沿着
  • 法兰克福书展法兰克福书展是世界上最大的国际图书博览会,自1949年开始,每年10月于德国举行。提供给出版商及一般访客参与。其被视为在国际书籍贸易上最重要的展览,每年10月中旬为期5天在德