最大期望算法

✍ dations ◷ 2025-11-25 14:40:37 #估计理论,算法,机器学习算法

最大期望算法（Expectation-maximization algorithm，又译期望最大化算法）在统计中被用于寻找，依赖于不可观察的隐性变量的概率模型中，参数的最大似然估计。

在统计计算中，最大期望（EM）算法是在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐变量。最大期望算法经常用在机器学习和计算机视觉的数据聚类（Data Clustering）领域。最大期望算法经过两个步骤交替进行计算，第一步是计算期望（E），利用对隐藏变量的现有估计值，计算其最大似然估计值；第二步是最大化（M），最大化在E步上求得的最大似然值来计算参数的值。M步上找到的参数估计值被用于下一个E步计算中，这个过程不断交替进行。

最大期望值算法由Arthur P. Dempster（英语：Arthur P. Dempster），Nan Laird（英语：Nan Laird）和Donald Rubin（英语：Donald Rubin）在他们1977年发表的经典论文中提出。他们指出此方法之前其实已经被很多作者“在他们特定的研究领域中多次提出过”。

EM算法用于在方程不能直接求解的情况下寻找统计模型的(局部)最大似然参数。这些模型中较为典型的是含有潜变量，未知参数并且已知观测数据的模型。也就是说，要么数据中存在缺失的值，要么模型可以通过假设存在更多未观测到的数据点来更简单地表示。以混合模型（Mixture Model）为例，通过假设每个观察到的数据点都有一个对应的未观察到的数据点，也可以说是潜在变量，来指定每个数据点所属的混合部分，这样就可以更简单地描述混合模型。

EM是一个在已知部分相关变量的情况下，估计未知变量的迭代技术。EM的算法流程如下：

我们用 ${\textbf {y}}$ ${\textbf {y}}$ 表示能够观察到的不完整的变量值，用 ${\textbf {x}}$ ${\textbf {x}}$ 表示无法观察到的变量值，这样 ${\textbf {x}}$ ${\textbf {x}}$ 和 ${\textbf {y}}$ ${\textbf {y}}$ 一起组成了完整的数据。 ${\textbf {x}}$ ${\textbf {x}}$ 可能是实际测量丢失的数据，也可能是能够简化问题的隐藏变量，如果它的值能够知道的话。例如，在混合模型中，如果“产生”样本的混合元素成分已知的话最大似然公式将变得更加便利（参见下面的例子）。

让 $p\,$ $p\,$ 代表矢量 $\theta$ $\theta$ : $p(\mathbf {y} ,\mathbf {x} |\theta )$ $p({\mathbf y},{\mathbf x}|\theta )$ 定义的参数的全部数据的几率密度函数（连续情况下）或者几率质量函数（离散情况下），那么从这个函数就可以得到全部数据的最大似然值，另外，在给定的观察到的数据条件下未知数据的条件分布可以表示为：

相关

兽用解剖学治疗学及化学分类系统解剖学治疗学及化学分类系统（英语：Anatomical Therapeutic Chemical Classification System, ATC），是世界卫生组织对药品的官方分类系统。ATC系统由世界卫生组织药物统计方法整
保　善保善（1788年 - ？），字翼之，号和斋，蒙古镶白旗人。嘉庆己卯科举人，庚辰科进士。后任翰林院侍讲学生、内阁中书等职。曾祖伊通阿曾任教习；祖父永安，乾隆十七年壬申科进士，官辽宁铁岭县知
脊髓损伤常导致性功能障碍脊髓损伤（SCI）常导致性功能障碍，但许多患者的性生活却很美满。脊髓损伤会人体活动受限，患者的性功能以及性生活因此也会受到影响。性功能障碍以及性生活不美满反过来又会严重影
font color=white马来西亚/font马来西亚大学列表如下：所有坐标的地图 - OSM 所有坐标的地图 - Google 所有上至200个坐标的地图 - Bing3°08′17″N 101°36′25″E / 3.1379367°N 101.6070017°E / 3.137
俾路支语俾路支语（Baluchi）是巴基斯坦俾路支族的民族语，分布在俾路支地区，属于印欧语系印度-伊朗语族的伊朗语支。19世纪以前无文字。虽然官方口语使用俾路支语，但书面文字用波斯语。大英
伊斯兰教义学伊斯兰教义学（阿拉伯语：علم الكلام‎，ʿIlm al-Kalām），也译为伊斯兰神学，音译为凯拉姆学（Kalām原意是话语，或是说话），将伊斯兰哲学的训练方法，用于探讨伊斯兰神学议题，所形成
五氧化二铌五氧化二铌是铌的氧化物之一，化学式为Nb2O5。白色粉末。不溶于水，难溶于酸，可溶于熔融硫酸氢钾或碱金属碳酸盐和氢氧化物中。铌用硝酸和氢氟酸混酸溶解得氟铌酸，经萃取铌和反萃
南达尔帕蒂岛南达尔帕蒂岛（孟加拉语：দক্ষিণ তালপট্টি দ্বীপ、印地语：दक्षिण तालपटि द्वीप）为孟加拉国方称呼，印度方则称为新摩尔岛、新穆尔岛、普尔巴沙
加州州立大学贝克斯菲尔德分校加州州立大学贝克斯菲尔德分校（California State University, Bakersfield，CSUB或CSU Bakersfield），或译贝克斯菲尔德加州大学是加利福尼亚州立大学系统内、位于美国加利福尼亚
乌图赫加尔乌图赫加尔（英语：Utu-hengal），（约公元前2123年—约公元前2113年在位）乌鲁克国王。他击败游牧民族古提人，成为乌鲁克第五王朝的建立者。后败于乌尔纳姆。