首页 >
偏最小二乘回归
✍ dations ◷ 2025-04-26 12:22:36 #偏最小二乘回归
偏最小二乘回归(英语:Partial least squares regression, PLS回归)是一种统计学方法,与主成分回归有关系,但不是寻找响应和独立变量之间最小方差的超平面,而是通过投影预测变量和观测变量到一个新空间来寻找一个线性回归模型。因为数据X和Y都会投影到新空间,PLS系列的方法都被称为双线性因子模型。当Y是分类数据时有“偏最小二乘判别分析(英语:Partial least squares Discriminant Analysis, PLS-DA)”,是PLS的一个变形。偏最小二乘用于查找两个矩阵(X和Y)的基本关系,即一个在这两个空间对协方差结构建模的隐变量方法。偏最小二乘模型将试图找到X空间的多维方向来解释Y空间方差最大的多维方向。偏最小二乘回归特别适合当预测矩阵比观测的有更多变量,以及X的值中有多重共线性的时候。相比之下,标准的回归在这些情况下不见效(除非它是吉洪诺夫正则化)。偏最小二乘算法被用在偏最小二乘路径建模中, 一个建立隐变量(原因不能没有实验和拟实验来确定,但一个典型的模型会基于之前理论假设(隐变量影响衡量指标的表现)的隐变量模型)这种技术是结构方程模型的一种形式,与经典方法不同的是基于组件而不是基于协方差。偏最小二乘来源于瑞典统计学家Herman Wold,然后由他的儿子Svante Wold发展。偏最小二乘的另一个词(根据Svante Wold)是投影到潜在结构,但偏最小二乘法依然在许多领域占据着主导地位。尽管最初的应用是在社会科学中,偏最小二乘回归今天被广泛用于化学计量学和相关领域。它也被用于生物信息学,sensometrics,神经科学和人类学。而相比之下,偏最小二乘回归最常用于社会科学、计量经济学、市场营销和战略管理。偏最小二乘的一般多元底层模型是其中
X
{displaystyle X}
是一个
n
×
m
{displaystyle ntimes m}
的预测矩阵,
Y
{displaystyle Y}
是一个
n
×
p
{displaystyle ntimes p}
的响应矩阵;
T
{displaystyle T}
和
U
{displaystyle U}
是
n
×
l
{displaystyle ntimes l}
的矩阵,分别为
X
{displaystyle X}
的投影(“X分数”、“组件”或“因子”矩阵)和
Y
{displaystyle Y}
的投影(“Y分数”);
P
{displaystyle P}
和
Q
{displaystyle Q}
分别是
m
×
l
{displaystyle mtimes l}
和
p
×
l
{displaystyle ptimes l}
的正交载荷矩阵,以及矩阵
E
{displaystyle E}
和
F
{displaystyle F}
是错误项,假设是独立同分布的随机正态变量。对
X
{displaystyle X}
和
Y
{displaystyle Y}
分解来最大化
T
{displaystyle T}
和
U
{displaystyle U}
之间的协方差。偏最小二乘的许多变量是为了估计因子和载荷矩阵
T
,
U
,
P
{displaystyle T,U,P}
和
Q
{displaystyle Q}
。它们中大多数构造了
X
{displaystyle X}
和
Y
{displaystyle Y}
之间线性回归的估计
Y
=
X
B
~
+
B
~
0
{displaystyle Y=X{tilde {B}}+{tilde {B}}_{0}}
。一些偏最小二乘算法只适合
Y
{displaystyle Y}
是一个列向量的情况,而其它的算法则处理了
Y
{displaystyle Y}
是一个矩阵的一般情况。算法也根据他们是否估计因子矩阵
T
{displaystyle T}
为一个正交矩阵而不同。
最后的预测在所有不同最小二乘算法中都是一样的,但组件是不同的。PLS1是一个
Y
{displaystyle Y}
是向量时广泛使用的算法。它估计
T
{displaystyle T}
是一个正交矩阵。以下是伪代码(大写字母是矩阵,带上标的小写字母是向量,带下标的小写字母和单独的小写字母都是标量):这种形式的算法不需要输入
X
{displaystyle X}
和
Y
{displaystyle Y}
定中心,因为算法隐式处理了。这个算法的特点是收缩于
X
{displaystyle X}
(减去
t
k
t
(
k
)
p
(
k
)
T
{displaystyle t_{k}t^{(k)}{p^{(k)}}^{T}}
),但向量
y
{displaystyle y}
不收缩,因为没有必要(可以证明收缩
y
{displaystyle y}
和不收缩的结果是一样的)。用户提供的变量
l
{displaystyle l}
是回归中隐藏因子数量的限制;如果它等于矩阵
X
{displaystyle X}
的秩,算法将产生
B
{displaystyle B}
和
B
0
{displaystyle B_{0}}
的最小二乘回归估计。2002年,一个叫做正交投影(英语:Orthogonal Projections to Latent Structures, OPLS)的方法提出。在OPLS中,连续变量数据被分为预测的和不相关的信息。这有利于改进诊断,以及更容易解释可视化。然而,这些变化只是改善模型的可解释性,不是生产力。 L-PLS通过3个连接数据块扩展了偏最小二乘回归。 同样,OPLS-DA(英语:Discriminant Analysis, 判别分析)可能被应用在处理离散变量,如分类和生物标志物的研究。大多数统计软件包都提供偏最小二乘回归。
R中的‘pls’包提供了一系列算法。
相关
- 排泄物排泄物指一生物的消化系统中任何排泄的固体或液体,通常指人类的。因此它最常被指为尿液和粪便,是这些词语的委婉说法。它在医疗说法中最常出现。虽然日常生活所指的“排泄”包
- 类人猿类人猿下目(学名:Simiiformes)是一类高等灵长类,由旧世界猴及猿组成。它们比原猴亚目的要大。类人猿下目分成三类。阔鼻小目于约4000万年前分支出来,只余下狭鼻小目留在旧世界。
- 异位性皮炎异位性皮肤炎(Atopic dermatitis,简称AD),又叫过敏性皮肤炎或异位性湿疹(Atopic eczema),常见症状包含发痒、红肿,以及皮肤龟裂。发炎区域常有清澈液体流出,液体会随着发炎时间越久而
- 冰球冰球自1920年夏季奥运会起成为奥运会比赛项目之一。1924年改为冬季奥运会项目。1998年开始,女子冰球也加入到奥运会项目中。最初加拿大是冰球超级强国,在7届男子冰球比赛中夺
- 卡尔加里-埃德蒙顿走廊卡尔加里-埃德蒙顿走廊(英语:Calgary–Edmonton Corridor)是加拿大艾伯塔省的一个区域,该区域是艾伯塔省城市化程度最高的区域,也是加拿大城市化程度最高的四个区域之一。走廊
- 1145年重要事件及趋势重要人物
- 索贝克索贝克(英文:Sobek,希腊文:Σοῦχος,拉丁文:Suchus),亦称苏贝克,为带有不可捉摸的性情的古埃及神祇,是当地尼罗鳄与西非鳄(英语:West African crocodile)的象征,常以鳄鱼或鳄头人身的
- 本溪市 (1949–1954)本溪直辖市,中华人民共和国已撤消的直辖市,范围包括今地级本溪市市区及本溪满族自治县。1949年时,中国大陆共设有12个直辖市,分别为:南京、上海、武汉(今武汉三镇)、鞍山、抚顺、沈
- 光圈收缩光圈收缩,是摄影时光圈由大(F1.2)到小(F64)的变换过程。在拍摄中如果遇到光线不足或太强烈的光线时,都需要进行光圈及快门速度调整。P档或自动挡拍摄时将无需手动设置。光圈控制了
- 多弗粉杜佛氏散(英语:Dover's powder)别称吐根阿片散或复方吐根散,是一种用来医治感冒和发烧症状的传统药物,得名于其开发者英国医师汤玛士·杜佛,并约在1960年代后完全不再应用于现代医