首页 >
偏最小二乘回归
✍ dations ◷ 2024-09-20 11:54:33 #偏最小二乘回归
偏最小二乘回归(英语:Partial least squares regression, PLS回归)是一种统计学方法,与主成分回归有关系,但不是寻找响应和独立变量之间最小方差的超平面,而是通过投影预测变量和观测变量到一个新空间来寻找一个线性回归模型。因为数据X和Y都会投影到新空间,PLS系列的方法都被称为双线性因子模型。当Y是分类数据时有“偏最小二乘判别分析(英语:Partial least squares Discriminant Analysis, PLS-DA)”,是PLS的一个变形。偏最小二乘用于查找两个矩阵(X和Y)的基本关系,即一个在这两个空间对协方差结构建模的隐变量方法。偏最小二乘模型将试图找到X空间的多维方向来解释Y空间方差最大的多维方向。偏最小二乘回归特别适合当预测矩阵比观测的有更多变量,以及X的值中有多重共线性的时候。相比之下,标准的回归在这些情况下不见效(除非它是吉洪诺夫正则化)。偏最小二乘算法被用在偏最小二乘路径建模中, 一个建立隐变量(原因不能没有实验和拟实验来确定,但一个典型的模型会基于之前理论假设(隐变量影响衡量指标的表现)的隐变量模型)这种技术是结构方程模型的一种形式,与经典方法不同的是基于组件而不是基于协方差。偏最小二乘来源于瑞典统计学家Herman Wold,然后由他的儿子Svante Wold发展。偏最小二乘的另一个词(根据Svante Wold)是投影到潜在结构,但偏最小二乘法依然在许多领域占据着主导地位。尽管最初的应用是在社会科学中,偏最小二乘回归今天被广泛用于化学计量学和相关领域。它也被用于生物信息学,sensometrics,神经科学和人类学。而相比之下,偏最小二乘回归最常用于社会科学、计量经济学、市场营销和战略管理。偏最小二乘的一般多元底层模型是其中
X
{displaystyle X}
是一个
n
×
m
{displaystyle ntimes m}
的预测矩阵,
Y
{displaystyle Y}
是一个
n
×
p
{displaystyle ntimes p}
的响应矩阵;
T
{displaystyle T}
和
U
{displaystyle U}
是
n
×
l
{displaystyle ntimes l}
的矩阵,分别为
X
{displaystyle X}
的投影(“X分数”、“组件”或“因子”矩阵)和
Y
{displaystyle Y}
的投影(“Y分数”);
P
{displaystyle P}
和
Q
{displaystyle Q}
分别是
m
×
l
{displaystyle mtimes l}
和
p
×
l
{displaystyle ptimes l}
的正交载荷矩阵,以及矩阵
E
{displaystyle E}
和
F
{displaystyle F}
是错误项,假设是独立同分布的随机正态变量。对
X
{displaystyle X}
和
Y
{displaystyle Y}
分解来最大化
T
{displaystyle T}
和
U
{displaystyle U}
之间的协方差。偏最小二乘的许多变量是为了估计因子和载荷矩阵
T
,
U
,
P
{displaystyle T,U,P}
和
Q
{displaystyle Q}
。它们中大多数构造了
X
{displaystyle X}
和
Y
{displaystyle Y}
之间线性回归的估计
Y
=
X
B
~
+
B
~
0
{displaystyle Y=X{tilde {B}}+{tilde {B}}_{0}}
。一些偏最小二乘算法只适合
Y
{displaystyle Y}
是一个列向量的情况,而其它的算法则处理了
Y
{displaystyle Y}
是一个矩阵的一般情况。算法也根据他们是否估计因子矩阵
T
{displaystyle T}
为一个正交矩阵而不同。
最后的预测在所有不同最小二乘算法中都是一样的,但组件是不同的。PLS1是一个
Y
{displaystyle Y}
是向量时广泛使用的算法。它估计
T
{displaystyle T}
是一个正交矩阵。以下是伪代码(大写字母是矩阵,带上标的小写字母是向量,带下标的小写字母和单独的小写字母都是标量):这种形式的算法不需要输入
X
{displaystyle X}
和
Y
{displaystyle Y}
定中心,因为算法隐式处理了。这个算法的特点是收缩于
X
{displaystyle X}
(减去
t
k
t
(
k
)
p
(
k
)
T
{displaystyle t_{k}t^{(k)}{p^{(k)}}^{T}}
),但向量
y
{displaystyle y}
不收缩,因为没有必要(可以证明收缩
y
{displaystyle y}
和不收缩的结果是一样的)。用户提供的变量
l
{displaystyle l}
是回归中隐藏因子数量的限制;如果它等于矩阵
X
{displaystyle X}
的秩,算法将产生
B
{displaystyle B}
和
B
0
{displaystyle B_{0}}
的最小二乘回归估计。2002年,一个叫做正交投影(英语:Orthogonal Projections to Latent Structures, OPLS)的方法提出。在OPLS中,连续变量数据被分为预测的和不相关的信息。这有利于改进诊断,以及更容易解释可视化。然而,这些变化只是改善模型的可解释性,不是生产力。 L-PLS通过3个连接数据块扩展了偏最小二乘回归。 同样,OPLS-DA(英语:Discriminant Analysis, 判别分析)可能被应用在处理离散变量,如分类和生物标志物的研究。大多数统计软件包都提供偏最小二乘回归。
R中的‘pls’包提供了一系列算法。
相关
- 喉头炎喉炎(Laryngitis)是描述喉部发炎的现象。喉为人体主要的发声构造,喉炎常见症状包含声音沙哑(英语:hoarse voice)、发烧、咳嗽、前颈疼痛,以及吞咽困难。症状通常会持续两周。喉炎可
- 脸部脸(“脸”通“面”、脸又称脸孔、脸庞、颜脸)是人类和动物的多种感觉器官的集合。脸通常位于头部的正面,而且通常只有一个。脸的范围约为额至颔。包括额、眉、睫毛、眼、鼻、耳
- 对氨基苯甲酸对胺基苯甲酸(PABA)是苯甲酸的苯环上的对位(4-位)被氨基取代后形成的化合物。纯品对氨基苯甲酸是白色针状单斜棱晶,露置于空气中或见光易氧化变黄,因此市售品常为淡棕黄色晶体。易
- 顶叶顶叶(Parietal lobe)是大脑的一部分,位在额叶、枕叶和颞叶之间,而其与额叶的分界线为中央沟,另外顶枕沟为顶叶和枕叶的分界线。一般而言,顶叶为处理各类感觉讯息(包括痛觉、触觉等)
- 成衣成衣(法文:Prêt-à-porter),是相对于在裁缝店量身订做的衣服。在 历史上,在成衣未出现的年代,衣服的出品是用家自制的,或者到裁缝店度身订造的。后来也有少量的成衣生产出售,但数量
- 50味觉感受器,类型2,成员50,TAS2R50 是一个人类基因组中TAS2R50基因编码的蛋白质,是苦味味觉感受器的一员。
- 数字相机数码相机(英语:Digital Camera),是一种利用电子感测器把光学影像转换成电子数据的照相机,有别于传统照相机通过光线引起底片上的化学变化来记录图像。“数码”一词原本是英文Digi
- 斯莫兰斯莫兰(Småland)是位于瑞典南部,约塔兰地区的一个旧省。与布莱金厄、斯科讷、哈兰、西约特兰和东约特兰陆上接壤。
- 塞尔维亚救国政府解体 · 内战塞尔维亚救国政府(德语:Gebiet des Militärbefehlshabers in Serbien)是在第二次世界大战中,纳粹德国通过1941年4月的入侵南斯拉夫之战肢解了南斯拉夫王国,在其中
- 里德·爱思唯尔集团RELX集团(RELX Group),原称里德·爱思唯尔集团或里德·埃尔塞维尔(Reed Elsevier),成立于1993年,由英国的里德国际公司(Reed International PLC)和荷兰的爱思唯尔公司(Elsevier NV)合并