偏最小二乘回归

✍ dations ◷ 2025-04-25 17:24:19 #偏最小二乘回归
偏最小二乘回归(英语:Partial least squares regression, PLS回归)是一种统计学方法,与主成分回归有关系,但不是寻找响应和独立变量之间最小方差的超平面,而是通过投影预测变量和观测变量到一个新空间来寻找一个线性回归模型。因为数据X和Y都会投影到新空间,PLS系列的方法都被称为双线性因子模型。当Y是分类数据时有“偏最小二乘判别分析(英语:Partial least squares Discriminant Analysis, PLS-DA)”,是PLS的一个变形。偏最小二乘用于查找两个矩阵(X和Y)的基本关系,即一个在这两个空间对协方差结构建模的隐变量方法。偏最小二乘模型将试图找到X空间的多维方向来解释Y空间方差最大的多维方向。偏最小二乘回归特别适合当预测矩阵比观测的有更多变量,以及X的值中有多重共线性的时候。相比之下,标准的回归在这些情况下不见效(除非它是吉洪诺夫正则化)。偏最小二乘算法被用在偏最小二乘路径建模中, 一个建立隐变量(原因不能没有实验和拟实验来确定,但一个典型的模型会基于之前理论假设(隐变量影响衡量指标的表现)的隐变量模型)这种技术是结构方程模型的一种形式,与经典方法不同的是基于组件而不是基于协方差。偏最小二乘来源于瑞典统计学家Herman Wold,然后由他的儿子Svante Wold发展。偏最小二乘的另一个词(根据Svante Wold)是投影到潜在结构,但偏最小二乘法依然在许多领域占据着主导地位。尽管最初的应用是在社会科学中,偏最小二乘回归今天被广泛用于化学计量学和相关领域。它也被用于生物信息学,sensometrics,神经科学和人类学。而相比之下,偏最小二乘回归最常用于社会科学、计量经济学、市场营销和战略管理。偏最小二乘的一般多元底层模型是其中 X {displaystyle X} 是一个 n × m {displaystyle ntimes m} 的预测矩阵, Y {displaystyle Y} 是一个 n × p {displaystyle ntimes p} 的响应矩阵; T {displaystyle T} 和 U {displaystyle U} 是 n × l {displaystyle ntimes l} 的矩阵,分别为 X {displaystyle X} 的投影(“X分数”、“组件”或“因子”矩阵)和 Y {displaystyle Y} 的投影(“Y分数”); P {displaystyle P} 和 Q {displaystyle Q} 分别是 m × l {displaystyle mtimes l} 和 p × l {displaystyle ptimes l} 的正交载荷矩阵,以及矩阵 E {displaystyle E} 和 F {displaystyle F} 是错误项,假设是独立同分布的随机正态变量。对 X {displaystyle X} 和 Y {displaystyle Y} 分解来最大化 T {displaystyle T} 和 U {displaystyle U} 之间的协方差。偏最小二乘的许多变量是为了估计因子和载荷矩阵 T , U , P {displaystyle T,U,P} 和 Q {displaystyle Q} 。它们中大多数构造了 X {displaystyle X} 和 Y {displaystyle Y} 之间线性回归的估计 Y = X B ~ + B ~ 0 {displaystyle Y=X{tilde {B}}+{tilde {B}}_{0}} 。一些偏最小二乘算法只适合 Y {displaystyle Y} 是一个列向量的情况,而其它的算法则处理了 Y {displaystyle Y} 是一个矩阵的一般情况。算法也根据他们是否估计因子矩阵 T {displaystyle T} 为一个正交矩阵而不同。 最后的预测在所有不同最小二乘算法中都是一样的,但组件是不同的。PLS1是一个 Y {displaystyle Y} 是向量时广泛使用的算法。它估计 T {displaystyle T} 是一个正交矩阵。以下是伪代码(大写字母是矩阵,带上标的小写字母是向量,带下标的小写字母和单独的小写字母都是标量):这种形式的算法不需要输入 X {displaystyle X} 和 Y {displaystyle Y} 定中心,因为算法隐式处理了。这个算法的特点是收缩于 X {displaystyle X} (减去 t k t ( k ) p ( k ) T {displaystyle t_{k}t^{(k)}{p^{(k)}}^{T}} ),但向量 y {displaystyle y} 不收缩,因为没有必要(可以证明收缩 y {displaystyle y} 和不收缩的结果是一样的)。用户提供的变量 l {displaystyle l} 是回归中隐藏因子数量的限制;如果它等于矩阵 X {displaystyle X} 的秩,算法将产生 B {displaystyle B} 和 B 0 {displaystyle B_{0}} 的最小二乘回归估计。2002年,一个叫做正交投影(英语:Orthogonal Projections to Latent Structures, OPLS)的方法提出。在OPLS中,连续变量数据被分为预测的和不相关的信息。这有利于改进诊断,以及更容易解释可视化。然而,这些变化只是改善模型的可解释性,不是生产力。 L-PLS通过3个连接数据块扩展了偏最小二乘回归。 同样,OPLS-DA(英语:Discriminant Analysis, 判别分析)可能被应用在处理离散变量,如分类和生物标志物的研究。大多数统计软件包都提供偏最小二乘回归。 R中的‘pls’包提供了一系列算法。

相关

  • 炮弹病毒水泡病毒属 Vesiculovirus 丽沙病毒属 Lyssavirus 短时热病毒属 Ephemerovirus 胞内水稻黄矮炮弹病毒属 Cytorhabdovirus 核内水稻黄矮炮弹病毒 Nucleorhabdovirus 粒外弹状
  • ESR红细胞沉降率(Erythrocyte sedimentation rate,ESR),也称为Biernacki反应,简称血沉,是指血红细胞在1小时内沉降的速率。红细胞沉降率是一个非常常见的血液学测试,是炎症反应的非特
  • 风湿风湿(英语:rheumatism)又称风湿病(英语:rheumatic disease)或是风湿症(英语:rheumatic disorders),泛指造成关节或结缔组织(包括:肌肉及其它软组织)慢性疼痛的一类疾病,症状常会间歇性发作
  • 埃及第一王朝第八第十古埃及第一王朝连同第二王朝通常被纳入为早王朝时期。在这段时期,埃及的首都在提尼斯(Thinis)。埃及第一王朝法老列表有关这个时期的资料乃来自少数的遗址及其他刻有法
  • 高能物理学粒子物理学是研究组成物质和射线的基本粒子以及它们之间相互作用的一个物理学分支。由于许多基本粒子在大自然的一般条件下不存在或不单独出现,物理学家只有使用粒子加速器在
  • 表型表型(英语:Phenotype),又称表现型,对于一个生物而言,表示它某一特定的物理外观或成分。一个人是否有耳珠、植物的高度、人的血型、蛾的颜色等等,都是表型的例子。由丹麦遗传学家威
  • 1,1,2-三氯乙烷1,1,2-三氯乙烷,结构式CHCl2CH2Cl。纯品为无色透明有特殊甜味的易挥发液体。不易燃。不溶于水,可与醇、醚、酯、酮混溶。高毒,对眼、鼻粘膜有刺激作用。先向反应器中投入三氯乙
  • 向光性向光性(英语:phototropism)是向性的一种,指生物的生长由光源的方向而影响的性质,常见于植物之中。朝向有光的一面生长称为正向光性,反之称为负向光性。大部分植物的茎部都是正向光
  • 产业组成这里列出各国国内生产总值中各产业所占成分。此表根据的是美国中央情报局的《世界概况》中提供的国内生产总值(按国际汇率和购买力平价计算)和各产业所占比重进行估算,即按官方
  • 宝贝鱼Yahoo! Babel Fish(Yahoo! 奇摩称作Yahoo! 奇摩翻译;又译宝贝鱼、巴别鱼)是一个互联网上一个自动化的免费机械翻译系统服务,由门户网站AltaVista(已被雅虎收购)提供。宝贝鱼可以为