首页 >
统计学习理论
✍ dations ◷ 2025-02-23 03:27:46 #统计学习理论
统计学习理论(英语:Statistical learning theory),一种机器学习的架构,根据统计学与泛函分析(Functional Analysis)而建立。统计学习理论基于资料(data),找出预测性函数,之后解决问题。支持向量机(Support Vector Machine)的理论基础来自于统计学习理论。令
X
{displaystyle X}
为所有可能的输入组成的向量空间,
Y
{displaystyle Y}
为所有可能的输出组成的向量空间。统计学习理论认为,积空间
Z
=
X
×
Y
{displaystyle Z=Xtimes Y}
上存在某个未知的概率分布
p
(
z
)
=
p
(
x
→
,
y
)
{displaystyle p(z)=p({vec {x}},y)}
。训练集由这个概率分布中的
n
{displaystyle n}
个样例构成,并用
S
=
{
(
x
→
1
,
y
1
)
,
…
,
(
x
→
n
,
y
n
)
}
=
{
z
→
1
,
…
,
z
→
n
}
{displaystyle S={({vec {x}}_{1},y_{1}),dots ,({vec {x}}_{n},y_{n})}={{vec {z}}_{1},dots ,{vec {z}}_{n}}}
表示。每个
x
→
i
{displaystyle {vec {x}}_{i}}
都是训练数据的一个输入向量, 而
y
i
{displaystyle y_{i}}
则是对应的输出向量。损失函数的选择是机器学习算法所选的函数
f
S
{displaystyle f_{S}}
中的决定性因素。 损失函数也影响着算法的收敛速率。损失函数的凸性也十分重要。根据问题是回归问题还是分类问题,我们可以使用不同的损失函数。回归问题中最常用的损失函数是平方损失函数(也被称为L2-范数)。类似的损失函数也被用在普通最小二乘回归。其形式是:另一个常见的损失函数是绝对值范数(L1-范数):某种程度上说0-1指示函数是分类问题中最自然的损失函数。它在预测结果与真实结果相同时取0,相异时取1。对于
Y
=
{
−
1
,
1
}
{displaystyle Y={-1,1}}
的二分类问题,这可以表示为:其中
θ
{displaystyle theta }
为单位阶跃函数。机器学习的一大常见问题是过拟合。由于机器学习是一个预测问题,其目标并不是找到一个与(之前观测到的)数据最拟合的的函数,而是寻找一个能对未来的输入作出最精确预测的函数。经验风险最小化有过拟合的风险:找到的函数完美地匹配现有数据但并不能很好地预测未来的输出。过拟合的常见表现是不稳定的解:训练数据的一个小的扰动会导致学到的函数的巨大波动。可以证明,如果解的稳定性可以得到保证,那么其可推广性和一致性也同样能得到保证。 正则化可以解决过拟合的问题并增加解的稳定性。正则化可以通过限制假设空间
H
{displaystyle {mathcal {H}}}
来完成。一个常见的例子是把
H
{displaystyle {mathcal {H}}}
限制为线性函数:这可以被看成是把问题简化为标准设计的线性回归。
H
{displaystyle {mathcal {H}}}
也可以被限制为
p
{displaystyle p}
次多项式,指数函数,或L1上的有界函数。对假设空间的限制能防止过拟合的原因是,潜在的函数的形式得到了限制,因此防止了那些能给出任意接近于0的经验风险的复杂函数。一个正则化的样例是吉洪诺夫正则化,即最小化如下损失函数其中正则化参数
γ
{displaystyle gamma }
为一个固定的正参数。吉洪诺夫正则化保证了解的存在性、唯一性和稳定性。
相关
- 淋巴瘤淋巴瘤(英文:lymphoma)又称淋巴癌,是由淋巴细胞病变造成的血液细胞瘤(英语:blood cell tumors)。有时候这个词汇被用来单指癌症、而不包括良性的肿瘤。症状包括淋巴结肿大 (通常为无
- 血清白蛋白1AO6, 1BJ5, 1BKE, 1BM0, 1E78, 1E7A, 1E7B, 1E7C, 1E7E, 1E7F, 1E7G, 1E7H, 1E7I, 1GNI, 1GNJ, 1H9Z, 1HA2, 1HK1, 1HK2, 1HK3, 1HK4, 1HK5, 1N5U, 1O9X, 1TF0, 1UOR, 1YSX
- X-单体综合征 (XO)特纳氏综合征(Turner syndrome,简称TS)也被称作Ullrich-Turner氏综合征(Ullrich-Turner syndronme)、性腺发育不良(Gonodal dysgenesis)以及45,X,是雌性个体因X染色体部分或完全缺失
- 七鳃鳗七鳃鳗科(学名:Petromyzontidae),又名八目鳗、七星子,是圆口纲七鳃鳗亚纲七鳃鳗目的一个科,其下生物是至今少数仅存的无颌类脊椎鱼形动物之一。最古老的七鳃鳗化石,有3.6亿年历史,在
- 奎孕酮奎孕酮(英语:Quingestrone)也称为孕酮-3-烯醇环戊醚(progesterone 3-cyclopentyl enol ether,PCPE)是一种黄体制剂药物,在1962年起用作复合口服避孕药,但在意大利等国已不再使用奎孕
- 亚裔蒙古人种(英语:Mongoloid),通称黄种人,是西方人定义的一个居住范围包括东亚、中亚、东南亚、北亚、南亚、北极地区、美洲以及太平洋岛屿上的种族。根据18-19世纪法国人类学家乔治
- 扬马延扬马延(挪威语:Jan Mayen)是一个位于北冰洋的火山岛屿,是挪威的领土。岛长约55 km(34 mi),面积约 377 km2(146 sq mi) ,贝伦火山附近约114.2 km(71.0 mi)被冰川所覆盖,约占岛上约1
- 郭正堂郭正堂(1964年-),出生于山西省应县,中国地质学家。1983年毕业于北京大学地貌学与第四纪地质学专业,次年公派赴法国留学。1985年在法国获得波尔多大学第四纪学院获硕士学位,1990年获
- 真蛸胺章胺(或称章鱼胺,真蛸胺)是一种与去甲肾上腺素相关的内源生物胺,见于多种动物组织中,是某些无脊椎动物的主要神经递质。生物内D-(−)-章胺是由酪胺在多巴胺β-羟化酶催化下羟基化
- 德康斯坦保罗-亨利-邦雅曼·德斯图内勒·德康斯坦(法语:Paul-Henri-Benjamin d'Estournelles de Constant,1852年11月22日-1924年5月15日),法国外交家、政治家,国际仲裁倡议者,因为促进美法