普通最小二乘法

在回归分析当中，最常用的估计${\displaystyle \mathrm{\beta <!--\; \beta \; -->}}$（回归系数）的方法是普通最小二乘法（英语：ordinary least squares，简称OLS），它基于误差值之上。用这种方法估计${\displaystyle \mathrm{\beta <!--\; \beta \; -->}}$，首先要计算残差平方和（residual sum of squares；RSS），RSS是指将所有误差值的平方加起来得出的数：

${\displaystyle RSS=\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}{e}_i^2}$

${\displaystyle {\mathrm{\beta <!--\; \beta \; -->}}_0}$与${\displaystyle {\mathrm{\beta <!--\; \beta \; -->}}_1}$的数值可以用以下算式计算出来：

${\displaystyle {\stackrel{^<!--\; ^\; -->}{\mathrm{\beta <!--\; \beta \; -->}}}_1=\frac{\sum <!--\; \sum \; -->(x_i-<!--\; -\; -->\stackrel{¯<!--\; ¯\; -->}{x})(y_i-<!--\; -\; -->\stackrel{¯<!--\; ¯\; -->}{y})}{\sum <!--\; \sum \; -->(x_i-<!--\; -\; -->\stackrel{¯<!--\; ¯\; -->}{x}{)}^2}}$

${\displaystyle {\stackrel{^<!--\; ^\; -->}{\mathrm{\beta <!--\; \beta \; -->}}}_0=\stackrel{¯<!--\; ¯\; -->}{y}-<!--\; -\; -->{\stackrel{^<!--\; ^\; -->}{\mathrm{\beta <!--\; \beta \; -->}}}_1\stackrel{¯<!--\; ¯\; -->}{x}}$

当中${\displaystyle \stackrel{¯<!--\; ¯\; -->}{x}}$为${\displaystyle x}$的平均值，而${\displaystyle \stackrel{¯<!--\; ¯\; -->}{y}}$为${\displaystyle y}$的平均值。

假设总体的误差值有一个固定的方差，这个方差可以用以下算式估计：

${\displaystyle {\stackrel{^<!--\; ^\; -->}{\mathrm{\sigma <!--\; \sigma \; -->}}}_{\mathrm{\epsilon <!--\; \epsilon \; -->}}^2=\frac{RSS}{n-<!--\; -\; -->2}.}$

这个数就是均方误差（mean square error），这个分母是样本大小减去模型要估计的参数的量。这个回归模型当中有两个未知的参数（${\displaystyle {\mathrm{\beta <!--\; \beta \; -->}}_0}$与${\displaystyle {\mathrm{\beta <!--\; \beta \; -->}}_1}$）。

而这些参数估计的标准误差（standard error）为：

${\displaystyle {\stackrel{^<!--\; ^\; -->}{\mathrm{\sigma <!--\; \sigma \; -->}}}_{{\mathrm{\beta <!--\; \beta \; -->}}_1}={\stackrel{^<!--\; ^\; -->}{\mathrm{\sigma <!--\; \sigma \; -->}}}_{\mathrm{\epsilon <!--\; \epsilon \; -->}}\sqrt{\frac{1}{\sum <!--\; \sum \; -->(x_i-<!--\; -\; -->\stackrel{¯<!--\; ¯\; -->}{x}{)}^2}}}$

${\displaystyle {\stackrel{^<!--\; ^\; -->}{\mathrm{\sigma <!--\; \sigma \; -->}}}_{{\mathrm{\beta <!--\; \beta \; -->}}_0}={\stackrel{^<!--\; ^\; -->}{\mathrm{\sigma <!--\; \sigma \; -->}}}_{\mathrm{\epsilon <!--\; \epsilon \; -->}}\sqrt{\frac{1}{n}+\frac{{\stackrel{¯<!--\; ¯\; -->}{x}}^2}{\sum <!--\; \sum \; -->(x_i-<!--\; -\; -->\stackrel{¯<!--\; ¯\; -->}{x}{)}^2}}={\stackrel{^<!--\; ^\; -->}{\mathrm{\sigma <!--\; \sigma \; -->}}}_{{\mathrm{\beta <!--\; \beta \; -->}}_1}\sqrt{\frac{\sum <!--\; \sum \; -->x_i^2}{n}}}$

有了上面这个模型，研究者手上就有会有${\displaystyle {\mathrm{\beta <!--\; \beta \; -->}}_0}$与${\displaystyle {\mathrm{\beta <!--\; \beta \; -->}}_1}$的估计值，就可以用这个算式来预测${\displaystyle Y}$的数值。