回归分析

回归分析（英语：Regression Analysis）是一种统计学上分析数据的方法，目的在于了解两个或多个变量间是否相关、相关方向与强度，并建立数学模型以便观察特定变量来预测研究者感兴趣的变量。更具体的来说，回归分析可以帮助人们了解在只有一个自变量变化时因变量的变化量。一般来说，通过回归分析我们可以由给出的自变量估计因变量的条件期望。回归分析是建立因变量 Y {displaystyle Y} （或称依变量，反因变量）与自变量 X {displaystyle X} （或称独变量，解释变量）之间关系的模型。简单线性回归使用一个自变量 X {displaystyle X} ，复回归使用超过一个自变量（ X 1 , X 2 . . . X i {displaystyle X_{1},X_{2}...X_{i}} ）。回归的最早形式是最小二乘法，由1805年的勒让德(Legendre)，和1809年的高斯(Gauss)出版。勒让德和高斯都将该方法应用于从天文观测中确定关于太阳的物体的轨道（主要是彗星，但后来是新发现的小行星）的问题。 高斯在1821年发表了最小二乘理论的进一步发展，包括高斯－马尔可夫定理的一个版本。“回归”一词最早由法兰西斯·高尔顿（Francis Galton）所使用。他曾对亲子间的身高做研究，发现父母的身高虽然会遗传给子女，但子女的身高却有逐渐“回归到中等（即人的平均值）”的现象。不过当时的回归和现在的回归在意义上已不尽相同。在1950年代和60年代，经济学家使用机械电子桌面计算器来计算回归。在1970年之前，它有时需要长达24小时从一个回归接收结果。回归模型主要包括以下变量：回归模型将 Y {displaystyle Y} 和一个关于 X {displaystyle mathbf {X} } 和 β {displaystyle beta } 的函数关联起来。在不同的应用领域有各自不同的术语代替这里的“自变量”和“因变量”。这个估计值通常写作: E ( X | Y ) = f ( X , β ) {displaystyle E(X|Y)=f(mathbf {X} ,{boldsymbol {beta }})} 。在进行回归分析时，函数 f {displaystyle f} 的形式必须预先指定。有时函数 f {displaystyle f} 的形式是在对 Y {displaystyle Y} 和 X {displaystyle mathbf {X} } 关系的已有知识上建立的，而不是在数据的基础之上。如果没有这种已有知识，那么就要选择一个灵活和便于回归的 f {displaystyle f} 的形式。假设现在未知向量 β {displaystyle beta } 的维数为k。为了进行回归分析，必须要先有关于 Y {displaystyle Y} 的信息：在最后一种情况下，回归分析提供了一种完成以下任务的工具： ⒈找出一个未知量 β {displaystyle beta } 的解使因变量 Y {displaystyle Y} 的预测值和实际值差别最小(又称最小二乘法)。⒉在特定统计假设下，回归分析使用数据中的多余信息给出关于因变量 Y {displaystyle Y} 和未知量 β {displaystyle beta } 之间的关系。简单线性回归（英语：Simple linear regression）（英语：simple linear regression）复回归分析（英语：multiple regression analysis）是简单线性回归的一种延伸应用，用以了解一个依变项与两组以上自变项的函数关系。对数线性回归（英语：Log-linear model）（英语：Log-linear model），是将解释变项（实验设计中的自变项）和反应变项（实验设计中的依变项）都取对数值之后再进行线性回归，所以依据解释变项的数量，可能是对数简单线性回归，也可能是对数复回归。对数几率回归（英语：Logistic Regression）偏回归（英语：Partial Regression）（英语：Partial Regression）