概率图模型

✍ dations ◷ 2025-04-03 10:44:01 #统计学,概率图模型,机器学习,图论

在概率论、统计学及机器学习中,概率图模型(Graphical Model)是用图论方法以表现数个独立随机变量之关联的一种建模法。一个 p {\displaystyle p} 个节点的图中,节点 i {\displaystyle i} 对应一个随机变量,记为 X i {\displaystyle X_{i}} 。概率图模型被广泛地应用于贝叶斯统计与机器学习中。

在一个无向概率图模型(Undirected Graphical Model)中,两个节点 i {\displaystyle i} j {\displaystyle j} 之间没有边相连,当且仅当它们对应的随机变量 X i {\displaystyle X_{i}} X j {\displaystyle X_{j}} 给定其它所有节点上的随机变量条件下条件独立。数学表述为:

Θ i j = 0 X i X j | { X , = 1 , , p , i , j } {\displaystyle \Theta _{ij}=0\Leftrightarrow X_{i}\perp X_{j}|\{X_{\ell },\ell =1,\ldots ,p,\ell \neq i,\ell \neq j\}}

当所有的随机变量 X 1 , , X p {\displaystyle X_{1},\ldots ,X_{p}} 的联合分布是多元正态分布时, Θ {\displaystyle \Theta } 被理解为是多元正态分布的方差矩阵的逆 Θ = Σ 1 {\displaystyle \Theta =\Sigma ^{-1}} ,又称为精度矩阵(Precision Matrix)。现代统计学中,相当大比例的关于无向图模型的理论结果都是在多元正态分布的假设下取得的。

在一个有向概率图模型(Directed Graphical Model)中,两个节点 i {\displaystyle i} j {\displaystyle j} 之间的边际独立性和条件独立性比较复杂,一般需要用贝叶斯球规则(Bayes Ball)来确定。

一类很重要的有向概率图模型叫做有向无环概率图模型(Directed Acyclic Graphs, 简称DAG),可以证明,相互关系能用DAG表示的p个随机变量,其联合分布函数可以被分解为根节点的边际分布函数乘以由边决定的那些条件概率。数学表述为:

π ( X 1 , , X p ) = i I π ( X i ) × j J π ( X j | X Parent ( j ) ) {\displaystyle \pi (X_{1},\ldots ,X_{p})=\prod _{i\in {\cal {I}}}\pi (X_{i})\times \prod _{j\in {\cal {J}}}\pi (X_{j}|X_{{\textrm {Parent}}(j)})}

上式中, I {\displaystyle {\cal {I}}} 表示所有根节点的集合, J {\displaystyle {\cal {J}}} 表示所有其它节点的集合, Parent ( j ) {\displaystyle {\textrm {Parent}}(j)} 表示有向图中节点 j {\displaystyle j} 的所有父节点的集合。

一般概率图模型输入的数据是其节点上的随机变量 ( X 1 , , X p ) {\displaystyle (X_{1},\ldots ,X_{p})} 的独立重复观测值,可记为:

( X 1 ( k ) , , X p ( k ) ) , k = 1 , , n {\displaystyle (X_{1}^{(k)},\ldots ,X_{p}^{(k)}),k=1,\ldots ,n}

其中 n {\displaystyle n} 为样本量(Sample size)。一般来说,估计和统计推断的目标是在哪些节点间存在边,也就是从节点数据中恢复整个网络的样貌。现代统计学和生物统计学中,概率图模型多研究高维统计的情景,即样本量远小于随机变量数目: n p {\displaystyle n\ll p} 。一般的方法是假设图模型是一个高度稀疏的图,也就是只有几条很少的边,然后运用惩罚项或边际过滤等高维统计分析中的常用套路来获得稀疏的估计。这样的估计既可以是同时估计整个图中所有的边,也可以是对每一个节点估计其所连的边。理论研究多集中于各种惩罚项所估计出的图模型,其稀疏性质的正确性(这个概念叫做Sparsistency,注意它并不是相合性(Consistency))。

相关

  • 冰原气候分布在格陵兰岛和南极大陆的冰冻高原1、全年严寒,各月温度皆在0摄氏度以下,是全球年均温最低的气候。其成因是一年中有长时期的极夜,在冰雪的覆盖之下,下垫面对太阳辐射反軇作用
  • 核酶核酶(英语:ribozyme,又译核糖酶),又称核酸类酶、酶RNA、类酶RNA,是具有催化特定生物化学反应的功能的RNA分子,类似于蛋白质中的酶。在核酶的发现之前,酶,其被定义为催化作用的蛋白质,
  • 基因克隆基因工程(英语:genetic engineering,又称为遗传工程、转基因、基因修饰)是一种使用生物技术直接操纵有机体基因组、用于改变细胞的遗传物质的技术。包括了同一物种和跨物种的基
  • 陈志明陈志明(1965年7月-),生于江苏苏州,籍贯浙江湖州,中国计算数学家,中国科学院数学与系统科学研究院研究员。2017年当选为中国科学院院士。1986年毕业于南京大学数学系,1989年在中国科
  • 反射星云反射星云,以天文学的观点,只是由尘埃组成,单纯的反射附近恒星或星团光线的云气。这些邻近的恒星没有足够的热让云气像发射星云那样因被电离而发光,但有足够的亮度可以让尘粒因散
  • 淡水街长多田荣吉故居淡水街长多田荣吉故居又可称多田荣吉故居是一个在台日本式建筑。始建于1937年。原先为日治时期的淡水街长多田荣吉的住居。原预定2014年能完成整修并且开放参观,但因种种因素
  • 太空探测器空间探测器(英语:space probe)也称深空探测器,是用于探测地球以外天体和星际空间的无人航天器。空间探测器的基本构造多与人造地球卫星相近,但探测器通常用于执行某一特定探测或
  • 路易-尼古拉·沃克兰路易-尼古拉·沃克兰(法语:Louis-Nicolas Vauquelin,1763年5月16日-1829年11月14日),生于法国诺曼地圣昂德雷代贝尔托,药剂师及化学家,为化学元素铬及铍以及氨基酸天冬酰胺的发现者
  • 米·伊林米·伊林(俄语:М. Ильи́н,英语:Mikhail Il'in),全名:伊利亚·雅科夫列维奇·马尔沙克(Илья́ Я́ковлевич Марша́к),1896年1月10日-1953年11月15日)诞生于乌
  • 李瑗李瑗,可以指