统计学习理论

✍ dations ◷ 2025-08-26 18:28:10 #统计学习理论
统计学习理论(英语:Statistical learning theory),一种机器学习的架构,根据统计学与泛函分析(Functional Analysis)而建立。统计学习理论基于资料(data),找出预测性函数,之后解决问题。支持向量机(Support Vector Machine)的理论基础来自于统计学习理论。令 X {displaystyle X} 为所有可能的输入组成的向量空间, Y {displaystyle Y} 为所有可能的输出组成的向量空间。统计学习理论认为,积空间 Z = X × Y {displaystyle Z=Xtimes Y} 上存在某个未知的概率分布 p ( z ) = p ( x → , y ) {displaystyle p(z)=p({vec {x}},y)} 。训练集由这个概率分布中的 n {displaystyle n} 个样例构成,并用 S = { ( x → 1 , y 1 ) , … , ( x → n , y n ) } = { z → 1 , … , z → n } {displaystyle S={({vec {x}}_{1},y_{1}),dots ,({vec {x}}_{n},y_{n})}={{vec {z}}_{1},dots ,{vec {z}}_{n}}} 表示。每个 x → i {displaystyle {vec {x}}_{i}} 都是训练数据的一个输入向量, 而 y i {displaystyle y_{i}} 则是对应的输出向量。损失函数的选择是机器学习算法所选的函数 f S {displaystyle f_{S}} 中的决定性因素。 损失函数也影响着算法的收敛速率。损失函数的凸性也十分重要。根据问题是回归问题还是分类问题,我们可以使用不同的损失函数。回归问题中最常用的损失函数是平方损失函数(也被称为L2-范数)。类似的损失函数也被用在普通最小二乘回归。其形式是:另一个常见的损失函数是绝对值范数(L1-范数):某种程度上说0-1指示函数是分类问题中最自然的损失函数。它在预测结果与真实结果相同时取0,相异时取1。对于 Y = { − 1 , 1 } {displaystyle Y={-1,1}} 的二分类问题,这可以表示为:其中 θ {displaystyle theta } 为单位阶跃函数。机器学习的一大常见问题是过拟合。由于机器学习是一个预测问题,其目标并不是找到一个与(之前观测到的)数据最拟合的的函数,而是寻找一个能对未来的输入作出最精确预测的函数。经验风险最小化有过拟合的风险:找到的函数完美地匹配现有数据但并不能很好地预测未来的输出。过拟合的常见表现是不稳定的解:训练数据的一个小的扰动会导致学到的函数的巨大波动。可以证明,如果解的稳定性可以得到保证,那么其可推广性和一致性也同样能得到保证。 正则化可以解决过拟合的问题并增加解的稳定性。正则化可以通过限制假设空间 H {displaystyle {mathcal {H}}} 来完成。一个常见的例子是把 H {displaystyle {mathcal {H}}} 限制为线性函数:这可以被看成是把问题简化为标准设计的线性回归。 H {displaystyle {mathcal {H}}} 也可以被限制为 p {displaystyle p} 次多项式,指数函数,或L1上的有界函数。对假设空间的限制能防止过拟合的原因是,潜在的函数的形式得到了限制,因此防止了那些能给出任意接近于0的经验风险的复杂函数。一个正则化的样例是吉洪诺夫正则化,即最小化如下损失函数其中正则化参数 γ {displaystyle gamma } 为一个固定的正参数。吉洪诺夫正则化保证了解的存在性、唯一性和稳定性。

相关

  • 流鼻涕鼻漏(英语:rhinorrhea或rhinorrhoea)是指鼻腔充斥大量黏液的一种症状。该症状也被称为流鼻涕、流鼻水等,在人身上较为常见。鼻漏是过敏(过敏性鼻炎)和其他一些疾病(如普通感冒)的常
  • 反宗教主义反宗教指反对宗教的教义乃至其存在合理性的思想或行为。反宗教者也可能是无神论者或反神论者,因此反宗教不等同于无神论、不可知论或者反神论。这个词可以用来形容反对现有的
  • 幻肢幻肢(phantom limb)是某些失去四肢的人类所产生的一种幻觉,这些人感觉失去的四肢仍旧附着在躯干上、并和身体的其他部分一起移动。幻痛,或幻肢痛、肢幻觉痛(phantom (limb) pain)
  • 总理意大利总理,正式名称为“部长会议主席”(意大利语:Presidente del Consiglio dei Ministri),是意大利共和国的最高行政首长,也是意大利的政府首脑,负责领导各行政机关运作。其产生
  • 太田朋子太田朋子(日语:太田 朋子,1933年9月7日-),日本遗传学家,主要贡献在分子演化领域,1973 年,太田发表近中性演化理论(日语:分子进化のほぼ中立说),提倡“分子阶段的损害较小的突变(1990 年后,
  • A1· cytosol· G1/S transition of mitotic cell cycle · regulation of transcription involved in G1/S phase of mitotic cell cycle · G2/M transition of mitotic c
  • Xe氙(Xe,原子量:131.293(6))的同位素,其中有5个稳定同位素和2个观测上稳定的同位素,这7种同位素都可以在天然的氙元素中找到,是所有元素中,稳定元素第二多的元素。除这些稳定同位素之
  • 米歇尔·让米歇尔·让 PC CC CMM COM CD (法语:Michaëlle Jean,加拿大汉译庄美楷、另有一译庄美霞,1957年9月6日-)为加拿大的第27任总督。1957年生于海地太子港,早年于加拿大魁北克任新闻从
  • 威斯乔斯艾瑞克·威斯乔斯,(Eric F. Wieschaus,1947年6月8日-),美国发育生物学家,1995年获得诺贝尔生理学或医学奖。出生于印第安纳南本德,圣母大学本科毕业,耶鲁大学博士。1978年开始在欧洲
  • 电工电工(electrician)是专门处理大楼配线(英语:electrical wiring)、传输线、电气机械及相关设备的技工。电工的工作可能是架设新的电机设备,或是维护保养现有的电机设备。电工也可擅