残差平方和

残差平方和（residual sum of squares，缩写：RSS）在统计学上是指将所有做预测时的误差值平方加起来得出的数：

它是衡量数据与估计模型之间差异的尺度。较小的残差平方和表示模型能良好地拟合数据。在确定参数和选择模型时，残差平方和是一种最优性准则。通常，总的方差=已经被模型解释了的平方和+残差平方和。

残差平方和这个数值在机器学习上是普通最小二乘法等算法的重心。

对于两变量x和y, 它们的数据组的均值分别记为${\displaystyle \stackrel{¯<!--\; ¯\; -->}{x},\stackrel{¯<!--\; ¯\; -->}{y}}$，则两数据组的皮尔逊相关系数为 ${\displaystyle r=\frac{S_{xy}}{\sqrt{S_{xx}{S}_{yy}}}}$，其中， ${\displaystyle S_{xy}=\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}(\stackrel{¯<!--\; ¯\; -->}{x}-<!--\; -\; -->x_i)(\stackrel{¯<!--\; ¯\; -->}{y}-<!--\; -\; -->y_i)}$；${\displaystyle S_{xx}=\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}(\stackrel{¯<!--\; ¯\; -->}{x}-<!--\; -\; -->x_i{)}^2}$； ${\displaystyle S_{yy}=\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}(\stackrel{¯<!--\; ¯\; -->}{y}-<!--\; -\; -->y_i{)}^2}$.

给定最小二乘回归线方程为 ${\displaystyle \stackrel{^<!--\; ^\; -->}{y}=ax+b=f(x)}$, 其中 ${\displaystyle b=\stackrel{¯<!--\; ¯\; -->}{y}-<!--\; -\; -->a\stackrel{¯<!--\; ¯\; -->}{x}}$ ; ${\displaystyle a=\frac{S_{xy}}{S_{xx}}}$. 则这时残差平方和可以表示为：

通过皮尔逊相关系数的公式，可以得到 ${\displaystyle \mathrm{RSS}=S_{yy}(1-<!--\; -\; -->r^2)}$.