吉布斯采样

吉布斯采样（英语：Gibbs sampling）是统计学中用于马尔科夫蒙特卡洛（MCMC）的一种算法，用于在难以直接采样时从某一多变量概率分布中近似抽取样本序列。该序列可用于近似联合分布、部分变量的边缘分布或计算积分（如某一变量的期望值）。某些变量可能为已知变量，故对这些变量并不需要采样。

吉布斯采样常用于统计推断（尤其是贝叶斯推断）之中。这是一种随机化算法，与最大期望算法等统计推断中的确定性算法相区别。与其他MCMC算法一样，吉布斯采样从马尔科夫链中抽取样本，可以看作是Metropolis–Hastings算法的特例。

该算法的名称源于约西亚·威拉德·吉布斯，由斯图尔特·杰曼（英语：Stuart Geman）与唐纳德·杰曼（英语：Donald Geman）兄弟于1984年提出。

吉布斯采样适用于条件分布比边缘分布更容易采样的多变量分布。假设我们需要从联合分布 ${\displaystyle p(x_1,\dots <!--\; \dots \; -->,x_n)}$中抽取${\displaystyle \mathbf{X}=(x_1,\dots <!--\; \dots \; -->,x_n)}$的${\displaystyle k}$个样本。记第${\displaystyle i}$个样本为${\displaystyle {\mathbf{X}}^{(i)}=\left(x_1^{(i)},\dots <!--\; \dots \; -->,x_n^{(i)}\right)}$。吉布斯采样的过程则为：

在采样完成后，我们可以用这些样本来近似所有变量的联合分布。如果仅考虑其中部分变量，则可以得到这些变量的边缘分布。此外，我们还可以对所有样本求某一变量的平均值来估计该变量的期望。