首页 >
统计学习理论
✍ dations ◷ 2025-07-14 19:58:28 #统计学习理论
统计学习理论(英语:Statistical learning theory),一种机器学习的架构,根据统计学与泛函分析(Functional Analysis)而建立。统计学习理论基于资料(data),找出预测性函数,之后解决问题。支持向量机(Support Vector Machine)的理论基础来自于统计学习理论。令
X
{displaystyle X}
为所有可能的输入组成的向量空间,
Y
{displaystyle Y}
为所有可能的输出组成的向量空间。统计学习理论认为,积空间
Z
=
X
×
Y
{displaystyle Z=Xtimes Y}
上存在某个未知的概率分布
p
(
z
)
=
p
(
x
→
,
y
)
{displaystyle p(z)=p({vec {x}},y)}
。训练集由这个概率分布中的
n
{displaystyle n}
个样例构成,并用
S
=
{
(
x
→
1
,
y
1
)
,
…
,
(
x
→
n
,
y
n
)
}
=
{
z
→
1
,
…
,
z
→
n
}
{displaystyle S={({vec {x}}_{1},y_{1}),dots ,({vec {x}}_{n},y_{n})}={{vec {z}}_{1},dots ,{vec {z}}_{n}}}
表示。每个
x
→
i
{displaystyle {vec {x}}_{i}}
都是训练数据的一个输入向量, 而
y
i
{displaystyle y_{i}}
则是对应的输出向量。损失函数的选择是机器学习算法所选的函数
f
S
{displaystyle f_{S}}
中的决定性因素。 损失函数也影响着算法的收敛速率。损失函数的凸性也十分重要。根据问题是回归问题还是分类问题,我们可以使用不同的损失函数。回归问题中最常用的损失函数是平方损失函数(也被称为L2-范数)。类似的损失函数也被用在普通最小二乘回归。其形式是:另一个常见的损失函数是绝对值范数(L1-范数):某种程度上说0-1指示函数是分类问题中最自然的损失函数。它在预测结果与真实结果相同时取0,相异时取1。对于
Y
=
{
−
1
,
1
}
{displaystyle Y={-1,1}}
的二分类问题,这可以表示为:其中
θ
{displaystyle theta }
为单位阶跃函数。机器学习的一大常见问题是过拟合。由于机器学习是一个预测问题,其目标并不是找到一个与(之前观测到的)数据最拟合的的函数,而是寻找一个能对未来的输入作出最精确预测的函数。经验风险最小化有过拟合的风险:找到的函数完美地匹配现有数据但并不能很好地预测未来的输出。过拟合的常见表现是不稳定的解:训练数据的一个小的扰动会导致学到的函数的巨大波动。可以证明,如果解的稳定性可以得到保证,那么其可推广性和一致性也同样能得到保证。 正则化可以解决过拟合的问题并增加解的稳定性。正则化可以通过限制假设空间
H
{displaystyle {mathcal {H}}}
来完成。一个常见的例子是把
H
{displaystyle {mathcal {H}}}
限制为线性函数:这可以被看成是把问题简化为标准设计的线性回归。
H
{displaystyle {mathcal {H}}}
也可以被限制为
p
{displaystyle p}
次多项式,指数函数,或L1上的有界函数。对假设空间的限制能防止过拟合的原因是,潜在的函数的形式得到了限制,因此防止了那些能给出任意接近于0的经验风险的复杂函数。一个正则化的样例是吉洪诺夫正则化,即最小化如下损失函数其中正则化参数
γ
{displaystyle gamma }
为一个固定的正参数。吉洪诺夫正则化保证了解的存在性、唯一性和稳定性。
相关
- 实验室实验室是进行科学研究与实验的场所。一般有控制实验条件的实验设备等。由于研究对象不同,实验室的设备和布置等也会有很大的不同。有些学术机构或研究单位也会冠以“实验室”
- 菊粉菊糖(Inulin),也叫菊粉是FDA 认可的可溶性纤维,一种果聚糖,由果糖分子聚合而成,(请勿与甜菊糖苷混淆)多含在菊科和桔梗科植物的细胞中(如洋姜)。菊糖是一种天然的多糖体,由许多种植
- 非处方药非处方药(over-the-counter (OTC) drug),又称为成药,指的是未经处方而可以从药店购买得到的药品,与处方药相对。这些药品临床应用时间较长、药效确定、药物不良反应较少,患者不须
- 皮亚杰让·皮亚杰(法语:Jean Piaget,1896年8月9日-1980年9月16日),全名让·威廉·弗里兹·皮亚杰(法语:Jean William Fritz Piaget),瑞士人,是近代最有名的发展心理学家,同时也是哲学家。他的
- 一一部,是为汉字索引中的部首之一,康熙字典214个部首中的第一个(一划的则为第一个)。就繁体和简体中文中,一部归于一划部首。一部只以上方、下方为部字。且无其他部首可用者将部首
- 自治市荷兰政府与政治 系列条目荷兰所有的省份的下一级行政区划均为市镇(荷兰语:gemeenten)。截至2019年1月,荷兰共有355个市镇和3个“特别市”(正式名称为公共实体,openbare lichamen)。
- 布莱恩·德鲁克尔布莱恩·J·德鲁克尔(英语:Brian J. Druker,1955年4月30日-),美国医学家,俄勒冈健康与科学大学教授。他是奈特癌症研究所主管、JELD-WEN血癌研究所主席。2009年他因开发治疗慢性粒
- 花神咖啡馆花神咖啡馆(法语:Café de Flore)是巴黎的一座咖啡馆,位于巴黎第六区圣日耳曼大道和圣伯努瓦街(Rue St. Benoit)转角,创建于1887年。其名称源自于林荫大道旁的一尊雕像:芙劳拉,罗马神
- 卵子冷冻贮藏人类的卵子冷冻贮藏(冻卵)是一种用深低温保存来保存女性卵子的作法。此方式可以让女性在一段时间之后(一般是不容易自然受孕的年龄),有机会再选择是否要怀孕,考虑卵子冷冻贮藏可能
- 经济互助委员会经济互助委员会(俄语:Сове́т экономи́ческой взаимопо́мощи,缩写:СЭВ),中文简称经互会,由苏联组织建立的一个由社会主义国家组成的政治经济合