最小二乘法

最小二乘法（英语：least squares method），又称最小平方法，是一种数学优化方法。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便的求得未知的数据，并使得求得的数据与实际数据之间误差的平方和为最小。“最小二乘法”是对线性方程组，即方程个数比未知数更多的方程组，以回归分析求得近似解的标准方法。在这整个解决方案中，最小二乘法演算为每一方程式的结果中，将残差平方和的总和最小化。最重要的应用是在曲线拟合上。最小平方所涵义的最佳拟合，即残差（残差为：观测值与模型提供的拟合值之间的差距）平方总和的最小化。当问题在自变量（x变量）有重大不确定性时，那么使用简易回归和最小二乘法会发生问题；在这种情况下，须另外考虑变量-误差-拟合模型所需的方法，而不是最小二乘法。最小平方问题分为两种：线性或普通的最小二乘法，和非线性的最小二乘法，取决于在所有未知数中的残差是否为线性。线性的最小平方问题发生在统计回归分析中；它有一个封闭形式的解决方案。非线性的问题通常经由迭代细致化来解决；在每次迭代中，系统由线性近似，因此在这两种情况下核心演算是相同的。最小二乘法所得出的多项式，即以拟合曲线的函数来描述自变量与预计应变量的变异数关系。当观测值来自指数族且满足轻度条件时，最小平方估计和最大似然估计是相同的。最小二乘法也能从动差法得出。以下讨论大多是以线性函数形式来表示，但对于更广泛的函数族，最小二乘法也是有效和实用的。此外，迭代地将局部的二次近似应用于或然性（借由费雪信息），最小二乘法可用于拟合广义线性模型。最小二乘法通常归功于高斯（Carl Friedrich Gauss，1795），但最小二乘法是由阿德里安-马里·勒让德（Adrien-Marie Legendre）首先发表的。最小二乘法发展于天文学和大地测量学领域，科学家和数学家尝试为大航海探索时期的海洋航行挑战提供解决方案。准确描述天体的行为是船舰在大海洋上航行的关键，水手不能再依靠陆上目标导航作航行。这个方法是在十八世纪期间一些进步的集大成：1801年，意大利天文学家朱塞普·皮亚齐发现了第一颗小行星谷神星。经过40天的追踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。当年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星。高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中，而法国科学家勒壤得于1806年独立发现“最小二乘法”，但因不为世人所知而没没无闻。两人曾为谁最早创立最小二乘法原理发生争执。1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，见高斯-马尔可夫定理。某次实验得到了四个数据点 ( x , y ) {displaystyle (x,y)} ： ( 1 , 6 ) {displaystyle (1,6)} 、 ( 2 , 5 ) {displaystyle (2,5)} 、 ( 3 , 7 ) {displaystyle (3,7)} 、 ( 4 , 10 ) {displaystyle (4,10)} （右图红色的点）。我们希望找出一条和这四个点最匹配的直线 y = β 1 + β 2 x {displaystyle y=beta _{1}+beta _{2}x} ，即找出在某种“最佳情况”下能够大致符合如下超定线性方程组的 β 1 {displaystyle beta _{1}} 和 β 2 {displaystyle beta _{2}} ：最小二乘法采用的方法是尽量使得等号两边的平方差最小，也就是找出这个函数的最小值：最小值可以通过对 S ( β 1 , β 2 ) {displaystyle S(beta _{1},beta _{2})} 分别求 β 1 {displaystyle beta _{1}} 和 β 2 {displaystyle beta _{2}} 的偏导数，然后使他们等于零得到。如此就得到了一个只有两个未知数的方程组，很容易就可以解出：也就是说直线 y = 3.5 + 1.4 x {displaystyle y=3.5+1.4x} 是最佳的。人们对由某一变量 t {displaystyle t} 或多个变量 t 1 {displaystyle t_{1}} …… t n {displaystyle t_{n}} 构成的相关变量 y {displaystyle y} 感兴趣。如弹簧的形变与所用的力相关，一个企业的盈利与其营业额，投资收益和原始资本有关。为了得到这些变量同 y {displaystyle y} 之间的关系，便用不相关变量去构建 y {displaystyle y} ，使用如下函数模型q {displaystyle q} 个独立变量或 p {displaystyle p} 个系数去拟合。通常人们将一个可能的、对不相关变量t的构成都无困难的函数类型称作函数模型（如抛物线函数或指数函数）。参数b是为了使所选择的函数模型同观测值y相匹配。（如在测量弹簧形变时，必须将所用的力与弹簧的膨胀系数联系起来）。其目标是合适地选择参数，使函数模型最好的拟合观测值。一般情况下，观测值远多于所选择的参数。其次的问题是怎样判断不同拟合的质量。高斯和勒让德的方法是，假设测量误差的平均值为0。令每一个测量误差对应一个变量并与其它测量误差不相关（随机无关）。人们假设，在测量误差中绝对不含系统误差，它们应该是纯偶然误差(有固定的变异数)，围绕真值波动。除此之外，测量误差符合正态分布，这保证了偏差值在最后的结果y上忽略不计。确定拟合的标准应该被重视，并小心选择，较大误差的测量值应被赋予较小的权。并建立如下规则：被选择的参数，应该使算出的函数曲线与观测值之差的平方和最小。用函数表示为：min b → ∑ i = 1 n ( y m − y i ) 2 . {displaystyle min _{vec {b}}{sum _{i=1}^{n}(y_{m}-y_{i})^{2}}.}用欧几里得度量表达为：min b → ‖ y → m ( b → ) − y → ‖ 2 2   . {displaystyle min _{vec {b}}|{vec {y}}_{m}({vec {b}})-{vec {y}}|_{2}^{2} .}又因为 ‖ y → m ( b → ) − y → ‖ 2 {displaystyle |{vec {y}}_{m}({vec {b}})-{vec {y}}|_{2}} ≥0,所以也可以表示为 min b → ‖ y → m ( b → ) − y → ‖ 2   . {displaystyle min _{vec {b}}|{vec {y}}_{m}({vec {b}})-{vec {y}}|_{2} .}最小化问题的精度，依赖于所选择的函数模型。典型的一类函数模型是线性函数模型。最简单的线性式是 y = b 0 + b 1 t {displaystyle y=b_{0}+b_{1}t} ，写成矩阵式，为直接给出该式的参数解：其中 t ¯ = 1 n ∑ i = 1 n t i {displaystyle {bar {t}}={frac {1}{n}}sum _{i=1}^{n}t_{i}} ，为t值的算术平均值。也可解得如下形式：随机选定10艘战舰，并分析它们的长度与宽度，寻找它们长度与宽度之间的关系。由下面的描点图可以直观地看出，一艘战舰的长度（t）与宽度（y）基本呈线性关系。散点图如下：以下图表列出了各战舰的数据，随后步骤是采用最小二乘法确定两变量间的线性关系。仿照上面给出的例子t ¯ = ∑ i = 1 n t i n = 1678 10 = 167 . 8 {displaystyle {bar {t}}={frac {sum _{i=1}^{n}t_{i}}{n}}={frac {1678}{10}}=167{.}8} 并得到相应的 y ¯ = 18 . 41 {displaystyle {bar {y}}=18{.}41} .然后确定b1可以看出，战舰的长度每变化1m，相对应的宽度便要变化16cm。并由下式得到常数项b0：在这里随机理论不加阐述。可以看出点的拟合非常好，长度和宽度的相关性大约为96.03％。 利用Matlab得到拟合直线：若含有更多不相关模型变量 t 1 , . . . , t q {displaystyle t_{1},...,t_{q}} ，可如组成线性函数的形式即线性方程组通常人们将tij记作数据矩阵 A，参数bj记做参数向量b，观测值yi记作Y，则线性方程组又可写成：上述方程运用最小二乘法导出为线性平方差计算的形式为：min b ‖ A b − Y ‖ 2 , A ∈ C n × m , Y ∈ C n {displaystyle min _{b}left|{boldsymbol {Ab}}-{boldsymbol {Y}}right|_{2},{boldsymbol {A}}in mathbf {C} ^{ntimes m},{boldsymbol {Y}}in mathbf {C} ^{n}}的特解为A的广义逆矩阵与Y的乘积，这同时也是二范数极小的解，其通解为特解加上A的零空间。证明如下：先将Y拆成A的值域及其正交补两部分所以 A b − Y 1 ∈ R ( A ) {displaystyle {boldsymbol {Ab}}-{boldsymbol {Y}}_{1}in Rleft({boldsymbol {A}}right)} ，可得故当且仅当 b {displaystyle {boldsymbol {b}}} 是 A b = Y 1 = A A † Y {displaystyle {boldsymbol {Ab}}={boldsymbol {Y}}_{1}={boldsymbol {A}}{boldsymbol {A}}^{dagger }{boldsymbol {Y}}} 解时， b {displaystyle {boldsymbol {b}}} 即为最小二乘解，即 b = A † Y = ( A H A ) − 1 A H Y {displaystyle {boldsymbol {b}}={boldsymbol {A}}^{dagger }{boldsymbol {Y}}={left({{{mathbf {A} }^{H}}{mathbf {A} }}right)^{-1}}{{mathbf {A} }^{H}}{mathbf {Y} }} 。又因为故 A b = A A † Y {displaystyle {boldsymbol {Ab}}={boldsymbol {A}}{boldsymbol {A}}^{dagger }{boldsymbol {Y}}} 的通解为因为所以 A † Y {displaystyle {boldsymbol {A}}^{dagger }{boldsymbol {Y}}} 又是二范数极小的最小二乘解。