统计学习理论

✍ dations ◷ 2025-12-07 18:25:29 #统计学习理论
统计学习理论(英语:Statistical learning theory),一种机器学习的架构,根据统计学与泛函分析(Functional Analysis)而建立。统计学习理论基于资料(data),找出预测性函数,之后解决问题。支持向量机(Support Vector Machine)的理论基础来自于统计学习理论。令 X {displaystyle X} 为所有可能的输入组成的向量空间, Y {displaystyle Y} 为所有可能的输出组成的向量空间。统计学习理论认为,积空间 Z = X × Y {displaystyle Z=Xtimes Y} 上存在某个未知的概率分布 p ( z ) = p ( x → , y ) {displaystyle p(z)=p({vec {x}},y)} 。训练集由这个概率分布中的 n {displaystyle n} 个样例构成,并用 S = { ( x → 1 , y 1 ) , … , ( x → n , y n ) } = { z → 1 , … , z → n } {displaystyle S={({vec {x}}_{1},y_{1}),dots ,({vec {x}}_{n},y_{n})}={{vec {z}}_{1},dots ,{vec {z}}_{n}}} 表示。每个 x → i {displaystyle {vec {x}}_{i}} 都是训练数据的一个输入向量, 而 y i {displaystyle y_{i}} 则是对应的输出向量。损失函数的选择是机器学习算法所选的函数 f S {displaystyle f_{S}} 中的决定性因素。 损失函数也影响着算法的收敛速率。损失函数的凸性也十分重要。根据问题是回归问题还是分类问题,我们可以使用不同的损失函数。回归问题中最常用的损失函数是平方损失函数(也被称为L2-范数)。类似的损失函数也被用在普通最小二乘回归。其形式是:另一个常见的损失函数是绝对值范数(L1-范数):某种程度上说0-1指示函数是分类问题中最自然的损失函数。它在预测结果与真实结果相同时取0,相异时取1。对于 Y = { − 1 , 1 } {displaystyle Y={-1,1}} 的二分类问题,这可以表示为:其中 θ {displaystyle theta } 为单位阶跃函数。机器学习的一大常见问题是过拟合。由于机器学习是一个预测问题,其目标并不是找到一个与(之前观测到的)数据最拟合的的函数,而是寻找一个能对未来的输入作出最精确预测的函数。经验风险最小化有过拟合的风险:找到的函数完美地匹配现有数据但并不能很好地预测未来的输出。过拟合的常见表现是不稳定的解:训练数据的一个小的扰动会导致学到的函数的巨大波动。可以证明,如果解的稳定性可以得到保证,那么其可推广性和一致性也同样能得到保证。 正则化可以解决过拟合的问题并增加解的稳定性。正则化可以通过限制假设空间 H {displaystyle {mathcal {H}}} 来完成。一个常见的例子是把 H {displaystyle {mathcal {H}}} 限制为线性函数:这可以被看成是把问题简化为标准设计的线性回归。 H {displaystyle {mathcal {H}}} 也可以被限制为 p {displaystyle p} 次多项式,指数函数,或L1上的有界函数。对假设空间的限制能防止过拟合的原因是,潜在的函数的形式得到了限制,因此防止了那些能给出任意接近于0的经验风险的复杂函数。一个正则化的样例是吉洪诺夫正则化,即最小化如下损失函数其中正则化参数 γ {displaystyle gamma } 为一个固定的正参数。吉洪诺夫正则化保证了解的存在性、唯一性和稳定性。

相关

  • 贝氏定理贝叶斯定理(英语:Bayes' theorem)是概率论中的一个定理,描述在已知一些条件下,某事件的发生概率。比如,如果已知某癌症与寿命有关,使用贝叶斯定理则可以通过得知某人年龄,来更加准确
  • 定律定律,或称科学定律(英语:Scientific law或Laws of science)、科学法则,为研究宇宙间不变的事实规律所归纳出的结论,不同于理论、假设、定义、定理,是对客观事实的一种表达形式,通过
  • 亚属亚属(拉丁语:subgenera;英语:subgenus)是生物分类法中的一级,位于属和种之间。在分类学中,“亚属”可单独使用或与种名同时使用。但亚属的使用并非必要。
  • 磷酸酐五氧化二磷(实验式:P2O5,分子式:P4O10),磷在空气中燃烧生成的磷氧化物。它吸水性强、并有极强的脱水性,甚至可以将浓硫酸脱水,生成三氧化硫。极易潮解,是一种强力干燥剂。它与冷水生
  • 路易·马莱路易·马卢(法语:Louis Malle,1932年10月30日-1995年11月23日),法国电影导演。1932年生于法国北省(Nord)Thumeries。1995年殁于美国洛杉矶(Los Angeles)。
  • 受洗洗礼(英语:Baptism),又称浸礼、圣洗圣事、施洗、受洗和受浸,是一宗教仪式,现普遍指基督教的传统仪式。据《圣经》记载,施洗约翰曾为耶稣施洗,而这亦是耶稣吩咐的。洗礼一词来自通用
  • 秦杨秦杨(1970年2月27日-),本名庄政博,台湾男演员、男歌手,出生于高雄市。其表姐夫是资深演员黄西田。秦杨小时家境富裕,后因父亲生意失败遂转穷困,最早在滚石唱片当仓库管理员,也当过林
  • 刨花板胶合板也叫夹板、多层材(英语:Laminated Veneer Lumber,缩写LVL,更通用的英文用语是Plywood)是第一种发明的科技木材。由比较薄的木单板制作。由相邻两层木纹相互垂直的木片(单板)
  • 2-甲基-3-戊醇2-甲基-3-戊醇(英语:2-Methyl-3-pentanol,IUPAC名:2-methylpentan-3-ol)是一种仲醇类的有机化合物,能作为燃料使用
  • 桔梗科桔梗科包括84属大约2380种,一般为多年生草本或灌木,也有一些种是小乔木,一般茎叶折断后都会流出无毒的白色乳汁。桔梗科植物主要分布在北半球,但在南部非洲也有许多种类。中国有