概率图模型

✍ dations ◷ 2025-04-03 17:55:09 #统计学,概率图模型,机器学习,图论

在概率论、统计学及机器学习中,概率图模型(Graphical Model)是用图论方法以表现数个独立随机变量之关联的一种建模法。一个 p {\displaystyle p} 个节点的图中,节点 i {\displaystyle i} 对应一个随机变量,记为 X i {\displaystyle X_{i}} 。概率图模型被广泛地应用于贝叶斯统计与机器学习中。

在一个无向概率图模型(Undirected Graphical Model)中,两个节点 i {\displaystyle i} j {\displaystyle j} 之间没有边相连,当且仅当它们对应的随机变量 X i {\displaystyle X_{i}} X j {\displaystyle X_{j}} 给定其它所有节点上的随机变量条件下条件独立。数学表述为:

Θ i j = 0 X i X j | { X , = 1 , , p , i , j } {\displaystyle \Theta _{ij}=0\Leftrightarrow X_{i}\perp X_{j}|\{X_{\ell },\ell =1,\ldots ,p,\ell \neq i,\ell \neq j\}}

当所有的随机变量 X 1 , , X p {\displaystyle X_{1},\ldots ,X_{p}} 的联合分布是多元正态分布时, Θ {\displaystyle \Theta } 被理解为是多元正态分布的方差矩阵的逆 Θ = Σ 1 {\displaystyle \Theta =\Sigma ^{-1}} ,又称为精度矩阵(Precision Matrix)。现代统计学中,相当大比例的关于无向图模型的理论结果都是在多元正态分布的假设下取得的。

在一个有向概率图模型(Directed Graphical Model)中,两个节点 i {\displaystyle i} j {\displaystyle j} 之间的边际独立性和条件独立性比较复杂,一般需要用贝叶斯球规则(Bayes Ball)来确定。

一类很重要的有向概率图模型叫做有向无环概率图模型(Directed Acyclic Graphs, 简称DAG),可以证明,相互关系能用DAG表示的p个随机变量,其联合分布函数可以被分解为根节点的边际分布函数乘以由边决定的那些条件概率。数学表述为:

π ( X 1 , , X p ) = i I π ( X i ) × j J π ( X j | X Parent ( j ) ) {\displaystyle \pi (X_{1},\ldots ,X_{p})=\prod _{i\in {\cal {I}}}\pi (X_{i})\times \prod _{j\in {\cal {J}}}\pi (X_{j}|X_{{\textrm {Parent}}(j)})}

上式中, I {\displaystyle {\cal {I}}} 表示所有根节点的集合, J {\displaystyle {\cal {J}}} 表示所有其它节点的集合, Parent ( j ) {\displaystyle {\textrm {Parent}}(j)} 表示有向图中节点 j {\displaystyle j} 的所有父节点的集合。

一般概率图模型输入的数据是其节点上的随机变量 ( X 1 , , X p ) {\displaystyle (X_{1},\ldots ,X_{p})} 的独立重复观测值,可记为:

( X 1 ( k ) , , X p ( k ) ) , k = 1 , , n {\displaystyle (X_{1}^{(k)},\ldots ,X_{p}^{(k)}),k=1,\ldots ,n}

其中 n {\displaystyle n} 为样本量(Sample size)。一般来说,估计和统计推断的目标是在哪些节点间存在边,也就是从节点数据中恢复整个网络的样貌。现代统计学和生物统计学中,概率图模型多研究高维统计的情景,即样本量远小于随机变量数目: n p {\displaystyle n\ll p} 。一般的方法是假设图模型是一个高度稀疏的图,也就是只有几条很少的边,然后运用惩罚项或边际过滤等高维统计分析中的常用套路来获得稀疏的估计。这样的估计既可以是同时估计整个图中所有的边,也可以是对每一个节点估计其所连的边。理论研究多集中于各种惩罚项所估计出的图模型,其稀疏性质的正确性(这个概念叫做Sparsistency,注意它并不是相合性(Consistency))。

相关

  • 肋骨肋骨(拉丁语Costa,复数Costae,形容词costalis)是胸腔中枝状的骨,背起于脊柱胸部。是肋的组成部分,肋包括肋骨和肋软骨。一种正常的畸变为叉状肋骨。每条肋由肋骨(Os costale)和肋软
  • NOWnewsNOWnews今日新闻,属综合性的网络新闻网站。于2008年4月正式上线,最大股东分别是游戏橘子、信义房屋。2008年4月1日,东森电视出售价值新台币数千万元的东森新闻报资产设备给中华
  • 海德堡城堡海德堡城堡位于德国的南部,是现今德国著名的城堡废墟和海德堡里程碑式建筑,城堡废墟是阿尔卑斯山以北最著名的文艺复兴建筑。自17和18世纪遭到损坏后,城堡现已部分重建。城堡位
  • 虎航坐标:25°04′06″N 121°13′15″E / 25.0684019°N 121.220824°E / 25.0684019; 121.220824台湾虎航(英语:Tigerair Taiwan ;IATA代码:IT ;ICAO代码:TTW;呼号:Smart Cat;简称台虎)是
  • 斯万特·阿伦尼乌斯斯万特·奥古斯特·阿伦尼乌斯(瑞典语:Svante August Arrhenius,1859年2月19日-1927年10月2日),瑞典化学家。提出了电解质在水溶液中电离的阿伦尼乌斯理论,研究了温度对化学反应速
  • 李璋煜李璋煜(1784年-1857年),字方赤,又字礼南,号月汀,山东诸城人,清朝政治人物,进士出身。嘉庆二十五年(1820年)登庚辰科进士,授刑部主事,升迁四川司郎中。道光十七年(1837年)任江苏常州府知府,兼
  • 布赖恩·博鲁布赖恩·博鲁(英语:Brian Boru、古爱尔兰语:Brian Bóruma mac Cennétig、中古爱尔兰语:Brian Bóruma、现代爱尔兰语:Brian Bóramha,约941年-1014年4月23日),爱尔兰至尊王。布赖恩
  • 翻转蛋糕翻转蛋糕(英语:Upside-down cake),是将蛋糕倒转放在平底锅上煎,切好的菠萝和樱桃放在煎好的蛋糕上。
  • 僬侥僬侥,古代神话传说中的身材矮小的人,身长只一尺五寸,古代西南少数民族中的矮小民族也有僬侥国,为八蛮之一。亦作嶕峣、焦侥、僬侥国、周饶国。《山海经》、《史记》、《列子》对
  • 爱德华·柯蒂斯爱德华·施里夫·柯蒂斯(Edward Sheriff Curtis,1868年2月16日-1952年10月2日)是一位以拍摄美国西部和北美印地安人而著名的摄影师。柯蒂斯1868年出生在美国威斯康星州的农村。