高斯-马尔可夫定理

在统计学中，高斯-马尔可夫定理(Gauss-Markov Theorem)陈述的是：在线性回归模型中，如果误差满足零均值、同方差且互不相关，则回归系数的最佳线性无偏估计(BLUE, Best Linear unbiased estimator)就是普通最小二乘法估计。

对于简单（一元）线性回归模型，

其中${\displaystyle {\mathrm{\beta <!--\; \beta \; -->}}_0}$和${\displaystyle {\mathrm{\beta <!--\; \beta \; -->}}_1}$是非随机但不能观测到的参数，${\displaystyle x_i}$是非随机且可观测到的一般变量，${\displaystyle {\mathrm{\epsilon <!--\; \epsilon \; -->}}_i}$是不可观测的随机变量，或称为随机误差或噪音，因此${\displaystyle y_i}$是可观测的随机变量。

高斯-马尔可夫定理的假设条件是：

则对${\displaystyle {\mathrm{\beta <!--\; \beta \; -->}}_0}$和${\displaystyle {\mathrm{\beta <!--\; \beta \; -->}}_1}$的最佳线性无偏估计为，

对于多元线性回归模型，

使用矩阵形式，线性回归模型可简化记为${\displaystyle \mathbf{Y}=\mathbf{X}\mathit{\beta <!--\; \beta \; -->}+\mathit{\epsilon <!--\; \epsilon \; -->}}$，其中采用了以下记号：

${\displaystyle \mathbf{Y}=(y_1,y_2,\dots <!--\; \dots \; -->,y_n{)}^T}$ (观测值向量，Vector of Responses),

(设计矩阵，Design Matrix),

${\displaystyle \mathit{\beta <!--\; \beta \; -->}=({\mathrm{\beta <!--\; \beta \; -->}}_0,{\mathrm{\beta <!--\; \beta \; -->}}_1,\dots <!--\; \dots \; -->,{\mathrm{\beta <!--\; \beta \; -->}}_p{)}^T}$ (参数向量，Vector of Parameters),

${\displaystyle \mathit{\epsilon <!--\; \epsilon \; -->}=({\mathrm{\epsilon <!--\; \epsilon \; -->}}_1,{\mathrm{\epsilon <!--\; \epsilon \; -->}}_2,\dots <!--\; \dots \; -->,{\mathrm{\epsilon <!--\; \epsilon \; -->}}_n{)}^T}$ (随机误差向量，Vectors of Error)。

高斯-马尔可夫定理的假设条件是：

则对${\displaystyle \mathit{\beta <!--\; \beta \; -->}}$的最佳线性无偏估计为

首先，注意的是这里数据是${\displaystyle \mathbf{Y}}$而非${\displaystyle \mathbf{X}}$，我们希望找到${\displaystyle \mathit{\beta <!--\; \beta \; -->}}$对于${\displaystyle \mathbf{Y}}$的线性估计量，记作

其中${\displaystyle \stackrel{^<!--\; ^\; -->}{\mathit{\beta <!--\; \beta \; -->}}}$，${\displaystyle \mathbf{M}}$，${\displaystyle \mathbf{N}}$和${\displaystyle \mathbf{Y}}$分别是${\displaystyle (p+1)\times <!--\; \times \; -->1}$，${\displaystyle (p+1)\times <!--\; \times \; -->1}$，${\displaystyle (p+1)\times <!--\; \times \; -->n}$和${\displaystyle n\times <!--\; \times \; -->1}$矩阵。

根据零均值假设所得，

其次，我们同时限制寻找的估计量为无偏的估计量，即要求${\displaystyle \mathrm{E}\left(\stackrel{^<!--\; ^\; -->}{\mathit{\beta <!--\; \beta \; -->}}\right)=\mathit{\beta <!--\; \beta \; -->}}$，因此有