最大期望算法

✍ dations ◷ 2025-04-03 17:59:46 #估计理论,算法,机器学习算法

最大期望算法(Expectation-maximization algorithm,又译期望最大化算法)在统计中被用于寻找,依赖于不可观察的隐性变量的概率模型中,参数的最大似然估计。

在统计计算中,最大期望(EM)算法是在概率模型中寻找参数最大似然估计或者最大后验估计的算法,其中概率模型依赖于无法观测的隐变量。最大期望算法经常用在机器学习和计算机视觉的数据聚类(Data Clustering)领域。最大期望算法经过两个步骤交替进行计算,第一步是计算期望(E),利用对隐藏变量的现有估计值,计算其最大似然估计值;第二步是最大化(M),最大化在E步上求得的最大似然值来计算参数的值。M步上找到的参数估计值被用于下一个E步计算中,这个过程不断交替进行。

最大期望值算法由Arthur P. Dempster(英语:Arthur P. Dempster),Nan Laird(英语:Nan Laird)和Donald Rubin(英语:Donald Rubin)在他们1977年发表的经典论文中提出。他们指出此方法之前其实已经被很多作者“在他们特定的研究领域中多次提出过”。

EM算法用于在方程不能直接求解的情况下寻找统计模型的(局部)最大似然参数。这些模型中较为典型的是含有潜变量,未知参数并且已知观测数据的模型。也就是说,要么数据中存在缺失的值,要么模型可以通过假设存在更多未观测到的数据点来更简单地表示。以混合模型(Mixture Model)为例,通过假设每个观察到的数据点都有一个对应的未观察到的数据点,也可以说是潜在变量,来指定每个数据点所属的混合部分,这样就可以更简单地描述混合模型。

EM是一个在已知部分相关变量的情况下,估计未知变量的迭代技术。EM的算法流程如下:

我们用 y {\displaystyle {\textbf {y}}} 表示能够观察到的不完整的变量值,用 x {\displaystyle {\textbf {x}}} 表示无法观察到的变量值,这样 x {\displaystyle {\textbf {x}}} y {\displaystyle {\textbf {y}}} 一起组成了完整的数据。 x {\displaystyle {\textbf {x}}} 可能是实际测量丢失的数据,也可能是能够简化问题的隐藏变量,如果它的值能够知道的话。例如,在混合模型中,如果“产生”样本的混合元素成分已知的话最大似然公式将变得更加便利(参见下面的例子)。

p {\displaystyle p\,} 代表矢量 θ {\displaystyle \theta } : p ( y , x | θ ) {\displaystyle p(\mathbf {y} ,\mathbf {x} |\theta )} 定义的参数的全部数据的几率密度函数(连续情况下)或者几率质量函数(离散情况下),那么从这个函数就可以得到全部数据的最大似然值,另外,在给定的观察到的数据条件下未知数据的条件分布可以表示为:

相关

  • 恶性高热恶性高热、致命高热(英语:Malignant hyperthermia (MH))是病人因全身麻醉而导致的严重反应,是因为使用特定全身麻醉药而引发的罕见危及生命病症(英语:life-threatening condition),
  • 北京大学第一医院坐标:39°55′54″N 116°22′49″E / 39.931765°N 116.380416°E / 39.931765; 116.380416 北京大学第一医院,简称“北大医院”,创立于1915年,是中国最早建立的临床医学院。现
  • 王锡阐王锡阐(1628年-1682年),字晓庵,号余不、天同一生,江苏吴江人,明末清初天文学家暨数学家。明亡后,终生不仕,一生钻研历法、天象。曾独立发明计算金星凌日、水星凌日的方法,并提出推算日
  • 萝岗区萝岗区,是中华人民共和国广东省广州市曾经存在的市辖区,在2005年5月设立,于2014年2月撤销,其区域合并入新的黄埔区,管辖面积393.22平方千米。其前身为1984年成立的广州经济技术开
  • 米歇尔·巴赫曼米歇尔·巴赫曼(Michele Marie Bachmann,1956年4月6日-)是美国律师及政治家。共和党人。她有5个孩子。巴赫曼支持草根保守派运动茶党运动,也是共和党内茶党议员连盟的创立者。巴
  • 冈萨雷斯诉卡哈特案冈萨雷斯诉卡哈特案(Gonzales v. Carhart,550 U.S.(2007)),是近年美国联邦最高法院对于妇女堕胎问题的重要案例,最高法院推翻下级法院见解,认为2003年经由美国总统小布什签署的联
  • 红谷滩区红谷滩区,原为红谷滩新区,是中华人民共和国江西省省会南昌市的一个市辖区,是该市重要党政机关驻地。红谷滩区东边接壤赣江,西边接壤320国道和昌樟高速公路,北边接壤英雄大桥,南边
  • 默沙东诊疗手册默沙东诊疗手册(英语:Merck Manual of Diagnosis and Therapy),是一本医学教科书,属于《默克手册》的一部分,该手册由制药公司默沙东在美国和加拿大的子公司默克出版公司发行。默
  • 内比都狩猎旅行公园内比都狩猎旅行公园 (缅甸语:နေပြည်တော် ဆာဖာရီ ဥယျာဉ်)位于 内比都是缅甸一个野生动物园。内比都狩猎旅行公园面积35.1英亩(14.2公顷)的亚洲狩猎旅行区
  • 南日镇南日镇是福建省莆田市秀屿区的一个海岛乡镇,位于兴化湾和平海湾交汇处。南日岛古称南匿山,又名南日山,因该岛位于莆田市区的东南方,隐匿于茫茫大海中,故名南匿。后因方言同音,又取