最大期望算法

✍ dations ◷ 2025-09-18 13:32:38 #估计理论,算法,机器学习算法

最大期望算法(Expectation-maximization algorithm,又译期望最大化算法)在统计中被用于寻找,依赖于不可观察的隐性变量的概率模型中,参数的最大似然估计。

在统计计算中,最大期望(EM)算法是在概率模型中寻找参数最大似然估计或者最大后验估计的算法,其中概率模型依赖于无法观测的隐变量。最大期望算法经常用在机器学习和计算机视觉的数据聚类(Data Clustering)领域。最大期望算法经过两个步骤交替进行计算,第一步是计算期望(E),利用对隐藏变量的现有估计值,计算其最大似然估计值;第二步是最大化(M),最大化在E步上求得的最大似然值来计算参数的值。M步上找到的参数估计值被用于下一个E步计算中,这个过程不断交替进行。

最大期望值算法由Arthur P. Dempster(英语:Arthur P. Dempster),Nan Laird(英语:Nan Laird)和Donald Rubin(英语:Donald Rubin)在他们1977年发表的经典论文中提出。他们指出此方法之前其实已经被很多作者“在他们特定的研究领域中多次提出过”。

EM算法用于在方程不能直接求解的情况下寻找统计模型的(局部)最大似然参数。这些模型中较为典型的是含有潜变量,未知参数并且已知观测数据的模型。也就是说,要么数据中存在缺失的值,要么模型可以通过假设存在更多未观测到的数据点来更简单地表示。以混合模型(Mixture Model)为例,通过假设每个观察到的数据点都有一个对应的未观察到的数据点,也可以说是潜在变量,来指定每个数据点所属的混合部分,这样就可以更简单地描述混合模型。

EM是一个在已知部分相关变量的情况下,估计未知变量的迭代技术。EM的算法流程如下:

我们用 y {\displaystyle {\textbf {y}}} 表示能够观察到的不完整的变量值,用 x {\displaystyle {\textbf {x}}} 表示无法观察到的变量值,这样 x {\displaystyle {\textbf {x}}} y {\displaystyle {\textbf {y}}} 一起组成了完整的数据。 x {\displaystyle {\textbf {x}}} 可能是实际测量丢失的数据,也可能是能够简化问题的隐藏变量,如果它的值能够知道的话。例如,在混合模型中,如果“产生”样本的混合元素成分已知的话最大似然公式将变得更加便利(参见下面的例子)。

p {\displaystyle p\,} 代表矢量 θ {\displaystyle \theta } : p ( y , x | θ ) {\displaystyle p(\mathbf {y} ,\mathbf {x} |\theta )} 定义的参数的全部数据的几率密度函数(连续情况下)或者几率质量函数(离散情况下),那么从这个函数就可以得到全部数据的最大似然值,另外,在给定的观察到的数据条件下未知数据的条件分布可以表示为:

相关

  • 生物复育生物修复(英语:Bioremediation)是一种使用生物体来移除或中和污染现场内污染物的技术。根据美国国家环境保护局的定义,生物修复是一种“使用自然产生的生物体来把有害物质分解成
  • 非典型畸胎横纹肌样瘤非典型畸胎瘤样/横纹肌样瘤(AT/RT)是一种很罕见的恶性肿瘤,通常在患者的童年时诊断发现。患者以一至七岁儿童为主,但亦偶有病人至成年时才发现。 虽然通常是脑肿瘤 ,AT/RT可以发
  • 弗洛勒斯岛弗洛勒斯或花岛(葡萄牙语:Flores,“花”的意思)是印尼小巽他群岛中的一个岛屿,人口约150万, 最大城市是毛梅里。弗洛勒斯位于松巴哇岛和科莫多岛以东,阿洛群岛以西;其东南方则是帝汶
  • 责任保险责任保险(liability insurance),或称第三者保险(third-party insurance),通指承担第三者损失的保险。该损失系因受保人的行为而产生。受损范围通常包括人体受伤(bodily injury)及财
  • 阿岱汗阿岱汗(蒙古语:.mw-parser-output .font-mong{font-family:"Menk Hawang Tig","Menk Qagan Tig","Menk Garqag Tig","Menk Har_a Tig","Menk Scnin Tig","Oyun Gurban Ulus Ti
  • 女人的价值《女人的价值》(英语:)是美国节奏蓝调歌手艾莉西亚·凯斯创作的一首以钢琴为配乐具有当代节奏蓝调和黑人灵歌元素的灵魂乐曲。这首歌由艾丽西亚与音乐人埃里卡·罗丝共同创作,收
  • 侧带小公鱼属侧带小公鱼属(学名:)是鲱形目鳀科的一属,俗称小公鱼、小江鱼、江鱼仔,主要分布于太平洋与印度洋,已知至少有22种。本属目前受承认的22个物种如下:
  • 楠木正成楠木正成(?-1336年7月4日),幼名多闻丸,明治时代起尊称大楠公,为镰仓幕府末期到南北朝时期著名武将。楠木正成一生竭力效忠后醍醐天皇,在凑川之战阵殁。后世以其为忠臣与军人之典范,被
  • 2018年夏季青年奥林匹克运动会匈牙利代表团2018年夏季青年奥林匹克运动会匈牙利代表团是匈牙利所派出的2018年夏季青年奥林匹克运动会代表团。匈牙利共派出16名运动员参加青奥田径比赛。根据2018年5月3日的世界羽联青
  • 克兰西·布朗克兰西·布朗(Clarence J. "Clancy" Brown III,1959年1月5日-)是美国的一位演员和配音演员,最著名的是《海绵宝宝》里的蟹老板。他出生在俄亥俄州厄巴那,父亲是一位政治家。他已婚