Lasso算法

✍ dations ◷ 2025-07-09 11:24:28 #Lasso算法

在统计学和机器学习中,Lasso算法(英语:least absolute shrinkage and selection operator,又译最小绝对值收敛和选择算子、套索算法)是一种同时进行特征选择和正则化(数学)的回归分析方法,旨在增强统计模型的预测准确性和可解释性,最初由斯坦福大学统计学教授Robert Tibshirani(英语:Robert Tibshirani)于1996年基于Leo Breiman的非负参数推断(Nonnegative Garrote, NNG)提出。Lasso算法最初用于计算最小二乘法模型,这个简单的算法揭示了很多估计量的重要性质,如估计量与岭回归(Ridge regression,也叫吉洪诺夫正则化)和最佳子集选择的关系,Lasso系数估计值(estimate)和软阈值(soft thresholding)之间的联系。它也揭示了当协变量共线时,Lasso系数估计值不一定唯一(类似标准线性回归)。

虽然最早是为应用最小二乘法而定义的算法,lasso正则化可以简单直接地拓展应用于许多统计学模型上,包括广义线性模型,广义估计方程,成比例灾难模型和M-估计。Lasso选择子集的能力依赖于限制条件的形式并且有多种表现形式,包括几何学,贝叶斯统计,和凸分析。

Lasso算法与基追踪降噪联系紧密。

Robert Tibshirani最初使用Lasso来提高预测的准确性与回归模型的可解释性,他修改了模型拟合的过程,在协变量中只选择一个子集应用到最终模型中,而非用上全部协变量。这是基于有着相似目的,但方法有所不同的Breiman的非负参数推断。

在Lasso之前,选择模型中协变量最常用的方法是移步选择,这种方法在某些情况下是准确的,例如一些协变量与模型输出值有强相关性情况。然而在另一些情况下,这种方法会让预测结果更差。在当时,岭回归是提高模型预测准确性最常用的方法。岭回归可以通过缩小大的回归系数来减少过拟合从而改善模型预测偏差。但是它并不选择协变量,所以对模型的准确构建和解释没有帮助。

Lasso结合了上述的两种方法,它通过强制让回归系数绝对值之和小于某固定值,即强制一些回归系数变为0,有效地选择了不包括这些回归系数对应的协变量的更简单的模型。这种方法和岭回归类似,在岭回归中,回归系数平方和被强制小于某定值,不同点在于岭回归只改变系数的值,而不把任何值设为0。

Lasso最初为了最小二乘法而被设计出来,Lasso的最小二乘法应用能够简单明了地展示Lasso的许多特性。

假设一个样本包括N种事件,每个事件包括个协变量和一个输出值。让 y i {displaystyle y_{i}} 行,那么上式可以写成更紧凑的形式:

这里 β p = ( i = 1 N | β i | p ) 1 / p {displaystyle |beta |_{p}=left(sum _{i=1}^{N}|beta _{i}|^{p}right)^{1/p}} and , are identical for each case, so that x ( j ) = x ( k ) {displaystyle x_{(j)}=x_{(k)}} , where x ( j ) , i = x i j {displaystyle x_{(j),i}=x_{ij}} . Then the values of β j {displaystyle beta _{j}} and β k {displaystyle beta _{k}} that minimize the lasso objective function are not uniquely determined. In fact, if there is some solution β ^ {displaystyle {hat {beta }}} in which β ^ j β ^ k 0 {displaystyle {hat {beta }}_{j}{hat {beta }}_{k}geq 0} , then if s {displaystyle sin } replacing β ^ j {displaystyle {hat {beta }}_{j}} by s ( β ^ j + β ^ k ) {displaystyle s({hat {beta }}_{j}+{hat {beta }}_{k})} and β ^ k {displaystyle {hat {beta }}_{k}} by ( 1 s ) ( β ^ j + β ^ k ) {displaystyle (1-s)({hat {beta }}_{j}+{hat {beta }}_{k})} , while keeping all the other β ^ i {displaystyle {hat {beta }}_{i}} fixed, gives a new solution, so the lasso objective function then has a continuum of valid minimizers. Several variants of the lasso, including the Elastic Net, have been designed to address this shortcoming, which are discussed below.


相关

  • 威尼克外瓶霉威尼克外瓶霉(Exophiala werneckii,旧称 Hortaea werneckii)是一种会分泌黑色素的外瓶霉属真菌,是黑癣的病原体 。原属Hortaea属。 部分文献把这种霉与 Hortaea werneckii、Clad
  • 美国外国情报监控法院美国外国情报监控法院(United States Foreign Intelligence Surveillance Court,缩写为FISC),是根据美国1978年外国情报监控法建立的联邦法院,主要任务是审查联邦执法机构关于监
  • 法国法郎balles (≥1₣)sacs (1,000₣) 法国法郎(符号:₣,简写为FF或F),曾是法国以及摩纳哥和安道尔的流通货币。现在,这些国家也都已经转用欧元。因为法语的读法,书写时法郎的符号习惯放置
  • 四氯化锇四氯化锇的化学式为OsCl4,是锇的一种氯化物。四氯化锇可由锇粉在氟硅酸玻璃容器中,和干燥且过量的氧气与氯气在650℃以上反应得到。或者由氯化亚砜作用于四氧化锇得到:但盐酸作
  • 反特征值理论在应用数学中,反特征值理论(antieigenvalue theory)应用于数值分析、小波、统计学、量子力学、金融以及最优化,由Karl Gustafson于1966至1968年间创立。一个矩阵或算子
  • 伊藤之雄伊藤之雄(1952年9月26日-)是一名日本历史学家,专门研究近・现代日本政治外交史。出生于福井县大野市,就读于岐阜县立大垣南高等学校后1976年毕业于京都大学文学部卒业,1978年修毕
  • 柯文哲著作列表本条目为柯文哲著作的清单。
  • 权力的游戏 (桌上游戏)权力的游戏(英语:A Game of Thrones),是一个由克里斯蒂安‧皮特森(Christian T. Petersen)所设计,Fantasy Flight Games公司在2003年发售的德式桌上游戏。2003年版本是基于乔治‧R
  • 她们三个《她们三个》,中国大陆剧情片,导演王一玫,主演归亚蕾、刘雪华、焦恩俊、林心如,原著出自小说家琼瑶。该片讲述离婚多年寡居的职业妇女和老年痴呆症的母亲、叛逆的女儿以及比自己
  • 2014年冬季奥林匹克运动会瑞士代表团2014年冬季奥林匹克运动会瑞士代表团是瑞士派出的2014年冬季奥林匹克运动会代表团,共有163名运动员参加12个项目的赛事。