概率图模型

在概率论、统计学及机器学习中，概率图模型（Graphical Model）是用图论方法以表现数个独立随机变量之关联的一种建模法。一个${\displaystyle p}$个节点的图中，节点${\displaystyle i}$对应一个随机变量，记为${\displaystyle X_i}$。概率图模型被广泛地应用于贝叶斯统计与机器学习中。

在一个无向概率图模型(Undirected Graphical Model)中，两个节点${\displaystyle i}$和${\displaystyle j}$之间没有边相连，当且仅当它们对应的随机变量${\displaystyle X_i}$和${\displaystyle X_j}$给定其它所有节点上的随机变量条件下条件独立。数学表述为：

${\displaystyle {\mathrm{\Theta <!--\; \Theta \; -->}}_{ij}=0\iff <!--\; \iff \; -->X_i\perp <!--\; \perp \; -->X_j|\{X_{\mathrm{\ell <!--\; \ell \; -->}},\mathrm{\ell <!--\; \ell \; -->}=1,\dots <!--\; \dots \; -->,p,\mathrm{\ell <!--\; \ell \; -->}\ne <!--\; \ne \; -->i,\mathrm{\ell <!--\; \ell \; -->}\ne <!--\; \ne \; -->j\}}$

当所有的随机变量${\displaystyle X_1,\dots <!--\; \dots \; -->,X_p}$的联合分布是多元正态分布时，${\displaystyle \mathrm{\Theta <!--\; \Theta \; -->}}$被理解为是多元正态分布的方差矩阵的逆${\displaystyle \mathrm{\Theta <!--\; \Theta \; -->}={\mathrm{\Sigma <!--\; \Sigma \; -->}}^{-<!--\; -\; -->1}}$，又称为精度矩阵(Precision Matrix)。现代统计学中，相当大比例的关于无向图模型的理论结果都是在多元正态分布的假设下取得的。

在一个有向概率图模型(Directed Graphical Model)中，两个节点${\displaystyle i}$和${\displaystyle j}$之间的边际独立性和条件独立性比较复杂，一般需要用贝叶斯球规则(Bayes Ball)来确定。

一类很重要的有向概率图模型叫做有向无环概率图模型(Directed Acyclic Graphs, 简称DAG)，可以证明，相互关系能用DAG表示的p个随机变量，其联合分布函数可以被分解为根节点的边际分布函数乘以由边决定的那些条件概率。数学表述为：

${\displaystyle \mathrm{\pi <!--\; \pi \; -->}(X_1,\dots <!--\; \dots \; -->,X_p)=\underset{i\in <!--\; \in \; -->\mathcal{I}}{\prod <!--\; \prod \; -->}\mathrm{\pi <!--\; \pi \; -->}(X_i)\times <!--\; \times \; -->\underset{j\in <!--\; \in \; -->\mathcal{J}}{\prod <!--\; \prod \; -->}\mathrm{\pi <!--\; \pi \; -->}(X_j|X_{\text{Parent}(j)})}$

上式中，${\displaystyle \mathcal{I}}$表示所有根节点的集合，${\displaystyle \mathcal{J}}$表示所有其它节点的集合，${\displaystyle \text{Parent}(j)}$表示有向图中节点${\displaystyle j}$的所有父节点的集合。

一般概率图模型输入的数据是其节点上的随机变量${\displaystyle (X_1,\dots <!--\; \dots \; -->,X_p)}$的独立重复观测值，可记为：

${\displaystyle (X_1^{(k)},\dots <!--\; \dots \; -->,X_p^{(k)}),k=1,\dots <!--\; \dots \; -->,n}$

其中${\displaystyle n}$为样本量(Sample size)。一般来说，估计和统计推断的目标是在哪些节点间存在边，也就是从节点数据中恢复整个网络的样貌。现代统计学和生物统计学中，概率图模型多研究高维统计的情景，即样本量远小于随机变量数目：${\displaystyle n\ll <!--\; \ll \; -->p}$。一般的方法是假设图模型是一个高度稀疏的图，也就是只有几条很少的边，然后运用惩罚项或边际过滤等高维统计分析中的常用套路来获得稀疏的估计。这样的估计既可以是同时估计整个图中所有的边，也可以是对每一个节点估计其所连的边。理论研究多集中于各种惩罚项所估计出的图模型，其稀疏性质的正确性(这个概念叫做Sparsistency，注意它并不是相合性(Consistency))。