统计学习理论

✍ dations ◷ 2025-04-02 13:13:07 #统计学习理论
统计学习理论(英语:Statistical learning theory),一种机器学习的架构,根据统计学与泛函分析(Functional Analysis)而建立。统计学习理论基于资料(data),找出预测性函数,之后解决问题。支持向量机(Support Vector Machine)的理论基础来自于统计学习理论。令 X {displaystyle X} 为所有可能的输入组成的向量空间, Y {displaystyle Y} 为所有可能的输出组成的向量空间。统计学习理论认为,积空间 Z = X × Y {displaystyle Z=Xtimes Y} 上存在某个未知的概率分布 p ( z ) = p ( x → , y ) {displaystyle p(z)=p({vec {x}},y)} 。训练集由这个概率分布中的 n {displaystyle n} 个样例构成,并用 S = { ( x → 1 , y 1 ) , … , ( x → n , y n ) } = { z → 1 , … , z → n } {displaystyle S={({vec {x}}_{1},y_{1}),dots ,({vec {x}}_{n},y_{n})}={{vec {z}}_{1},dots ,{vec {z}}_{n}}} 表示。每个 x → i {displaystyle {vec {x}}_{i}} 都是训练数据的一个输入向量, 而 y i {displaystyle y_{i}} 则是对应的输出向量。损失函数的选择是机器学习算法所选的函数 f S {displaystyle f_{S}} 中的决定性因素。 损失函数也影响着算法的收敛速率。损失函数的凸性也十分重要。根据问题是回归问题还是分类问题,我们可以使用不同的损失函数。回归问题中最常用的损失函数是平方损失函数(也被称为L2-范数)。类似的损失函数也被用在普通最小二乘回归。其形式是:另一个常见的损失函数是绝对值范数(L1-范数):某种程度上说0-1指示函数是分类问题中最自然的损失函数。它在预测结果与真实结果相同时取0,相异时取1。对于 Y = { − 1 , 1 } {displaystyle Y={-1,1}} 的二分类问题,这可以表示为:其中 θ {displaystyle theta } 为单位阶跃函数。机器学习的一大常见问题是过拟合。由于机器学习是一个预测问题,其目标并不是找到一个与(之前观测到的)数据最拟合的的函数,而是寻找一个能对未来的输入作出最精确预测的函数。经验风险最小化有过拟合的风险:找到的函数完美地匹配现有数据但并不能很好地预测未来的输出。过拟合的常见表现是不稳定的解:训练数据的一个小的扰动会导致学到的函数的巨大波动。可以证明,如果解的稳定性可以得到保证,那么其可推广性和一致性也同样能得到保证。 正则化可以解决过拟合的问题并增加解的稳定性。正则化可以通过限制假设空间 H {displaystyle {mathcal {H}}} 来完成。一个常见的例子是把 H {displaystyle {mathcal {H}}} 限制为线性函数:这可以被看成是把问题简化为标准设计的线性回归。 H {displaystyle {mathcal {H}}} 也可以被限制为 p {displaystyle p} 次多项式,指数函数,或L1上的有界函数。对假设空间的限制能防止过拟合的原因是,潜在的函数的形式得到了限制,因此防止了那些能给出任意接近于0的经验风险的复杂函数。一个正则化的样例是吉洪诺夫正则化,即最小化如下损失函数其中正则化参数 γ {displaystyle gamma } 为一个固定的正参数。吉洪诺夫正则化保证了解的存在性、唯一性和稳定性。

相关

  • 健康人体解剖学 - 人体生理学 组织学 - 胚胎学 人体寄生虫学 - 免疫学 病理学 - 病理生理学 细胞学 - 营养学 流行病学 - 药理学 - 毒理学健康是指生物的功能性和代谢效率的水
  • μm微米(Micrometer、㎛)是长度单位,符号µm。1微米相当于1米的一百万分之一(10-6,此即为“微”的字义)。此外,在ISO 2955的国际标准中,“u”已经被接纳为一个代替“μ”来代表10-6的国
  • 生态系统服务生态系统服务(英语:ecosystem services)是指在生态系统中,人类直接或间接谋取的所有福利。生态系统为人类提供食物来源、衣服材料、洁净的空气和食水等,但人类取得该服务的同时,可
  • 企业企业是组织众多个人开展经济活动的一种方式。企业在现代汉语中的基本用法,主要指独立的盈利性组织,并可进一步分为公司和非公司企业,后者如合伙企业、个人独资企业、个体工商户
  • 催吐剂呕吐,是由于胃和肠道内容物(食糜)由于受到强力积压经过食道由口腔吐出的动作。在呕吐的过程中腹肌急剧收缩,贲门括约肌舒张、胃体肌肉舒张,这些生理反应造成腹腔压强升高,胃内容物
  • 彼得·德拜德国 荷兰亚琛科技大学苏黎世大学(1911年-1912年) 乌得勒支大学(1912年-1914年) 格奥尔格-奥古斯特格丁根大学(1914年-1920年) 苏黎世联邦理工学院(1920年-1927年) 莱比锡大学(1927年
  • 肌节肌小节(英语:sarcomere,即肌节、肌原纤维节)是肌原纤维(英语:myofibril)的基本单位。肌节由三种不同肌丝系统组成。二头肌的一个肌细胞可以有100000个肌节。平滑肌的肌原纤维不排列
  • 五个自治领土美国领地是指美国行政区划的一种分类,其领土由美国政府管理但不属于美国任何一个州。建立这些领地的目的是为了管理这些新获得的地区,因为当时美国领土的边界还在扩张中。这些
  • 亚特兰大号《亚特兰大号》(法语:L'Atalante)是一部1934年尚·维果执导的法国电影,也是他生涯的代表作,被认为是影史上最伟大的电影之一。
  • 糖脂糖脂(英语:Glycolipid)是通过糖苷键连接的碳水化合物的脂质。它们的作用是保持膜的稳定性并促进细胞识别。 在所有真核细胞膜的表面上发现这些碳水化合物。它们从磷脂双层延伸