Lasso算法

✍ dations ◷ 2025-07-09 13:47:43 #Lasso算法

在统计学和机器学习中,Lasso算法(英语:least absolute shrinkage and selection operator,又译最小绝对值收敛和选择算子、套索算法)是一种同时进行特征选择和正则化(数学)的回归分析方法,旨在增强统计模型的预测准确性和可解释性,最初由斯坦福大学统计学教授Robert Tibshirani(英语:Robert Tibshirani)于1996年基于Leo Breiman的非负参数推断(Nonnegative Garrote, NNG)提出。Lasso算法最初用于计算最小二乘法模型,这个简单的算法揭示了很多估计量的重要性质,如估计量与岭回归(Ridge regression,也叫吉洪诺夫正则化)和最佳子集选择的关系,Lasso系数估计值(estimate)和软阈值(soft thresholding)之间的联系。它也揭示了当协变量共线时,Lasso系数估计值不一定唯一(类似标准线性回归)。

虽然最早是为应用最小二乘法而定义的算法,lasso正则化可以简单直接地拓展应用于许多统计学模型上,包括广义线性模型,广义估计方程,成比例灾难模型和M-估计。Lasso选择子集的能力依赖于限制条件的形式并且有多种表现形式,包括几何学,贝叶斯统计,和凸分析。

Lasso算法与基追踪降噪联系紧密。

Robert Tibshirani最初使用Lasso来提高预测的准确性与回归模型的可解释性,他修改了模型拟合的过程,在协变量中只选择一个子集应用到最终模型中,而非用上全部协变量。这是基于有着相似目的,但方法有所不同的Breiman的非负参数推断。

在Lasso之前,选择模型中协变量最常用的方法是移步选择,这种方法在某些情况下是准确的,例如一些协变量与模型输出值有强相关性情况。然而在另一些情况下,这种方法会让预测结果更差。在当时,岭回归是提高模型预测准确性最常用的方法。岭回归可以通过缩小大的回归系数来减少过拟合从而改善模型预测偏差。但是它并不选择协变量,所以对模型的准确构建和解释没有帮助。

Lasso结合了上述的两种方法,它通过强制让回归系数绝对值之和小于某固定值,即强制一些回归系数变为0,有效地选择了不包括这些回归系数对应的协变量的更简单的模型。这种方法和岭回归类似,在岭回归中,回归系数平方和被强制小于某定值,不同点在于岭回归只改变系数的值,而不把任何值设为0。

Lasso最初为了最小二乘法而被设计出来,Lasso的最小二乘法应用能够简单明了地展示Lasso的许多特性。

假设一个样本包括N种事件,每个事件包括个协变量和一个输出值。让 y i {displaystyle y_{i}} 行,那么上式可以写成更紧凑的形式:

这里 β p = ( i = 1 N | β i | p ) 1 / p {displaystyle |beta |_{p}=left(sum _{i=1}^{N}|beta _{i}|^{p}right)^{1/p}} and , are identical for each case, so that x ( j ) = x ( k ) {displaystyle x_{(j)}=x_{(k)}} , where x ( j ) , i = x i j {displaystyle x_{(j),i}=x_{ij}} . Then the values of β j {displaystyle beta _{j}} and β k {displaystyle beta _{k}} that minimize the lasso objective function are not uniquely determined. In fact, if there is some solution β ^ {displaystyle {hat {beta }}} in which β ^ j β ^ k 0 {displaystyle {hat {beta }}_{j}{hat {beta }}_{k}geq 0} , then if s {displaystyle sin } replacing β ^ j {displaystyle {hat {beta }}_{j}} by s ( β ^ j + β ^ k ) {displaystyle s({hat {beta }}_{j}+{hat {beta }}_{k})} and β ^ k {displaystyle {hat {beta }}_{k}} by ( 1 s ) ( β ^ j + β ^ k ) {displaystyle (1-s)({hat {beta }}_{j}+{hat {beta }}_{k})} , while keeping all the other β ^ i {displaystyle {hat {beta }}_{i}} fixed, gives a new solution, so the lasso objective function then has a continuum of valid minimizers. Several variants of the lasso, including the Elastic Net, have been designed to address this shortcoming, which are discussed below.


相关

  • 幽门狭窄幽门狭窄(Pyloric stenosis)是指胃部和小肠之间的幽门窄化的状况。症状为喷射性呕吐,且呕吐物不含胆汁,好发于婴儿吃奶之后。此一症状通常出现在婴儿出生二周到十二周之间的期间
  • 大瘟疫伦敦大瘟疫是一场1665年至1666年间发生在英国的大规模传染病爆发,超过10万人死于这次瘟疫之中,足足相当于当时伦敦人口的五分之一。该次的疾病后来被确认为是淋巴腺鼠疫,一种由
  • 贵州省本表所列中华人民共和国城市按行政区类型分为直辖市、特别行政区、地级市(包括副省级市)和县级市。中国有很多城市。其中省会、首府用粗体字表明。15 副省级市10 省会城市5 计
  • 合字合字、连字、连结字或合体字(英语:Ligature),在西方字体排印学中一般表示将多于一个字母的合成一个字形。如印刷品中常常将拉丁字母两个字母fi的i上一点常与f的一钩合并,而德语字
  • 张曾敭张曾敭(1852年-1920年),字小帆,又字润生、抑仲,号静渊。直隶南皮(今属河北)人。清末政治人物。同治十年(1871年)进士。选庶吉士,授编修。历官湖南、广东知府,除福建盐法道。光绪三十一年
  • 风暴突击者《风暴突击者》(英语:,在美国记作)是一部2006年英国、美国和德国合拍的动作间谍片,由杰佛瑞·萨克斯(英语:Geoffrey Sax)执导,改编自畅销同名小说的英国电影作品。电影描述14岁少年艾
  • 车辆识别代号车辆识别代号(英语:Vehicle Identification Number,简称成VIN)有时也被称为车架号,是一组由17个英文或数字组成,可以识别汽车的生产商、发动机、车架序号及其他性能等材料。为了避
  • 何桥乡何桥乡,是中华人民共和国河北省保定市清苑区下辖的一个乡镇级行政单位。何桥乡下辖以下地区:何桥村、史家桥村、苑桥村、杨村、良庙村、郭村、范郭桥村、李胡桥村、张桥村、石
  • 台湾妇人界《台湾妇人界》是台湾日治时期最具规模的日文女性杂志,亦刊载大量通俗文学。1934年5月创刊,台湾妇人社发行,创办者为《台南新报》记者柿沼文明。1939年6月停刊,共计57期。其创刊
  • 安妮·塔玛尔-马蒂斯安妮·塔玛尔-马蒂斯是美国律师,人权倡议者,并且是interACT的创始人。她目前担任interACT的法律总监。