最大期望算法

✍ dations ◷ 2025-04-03 12:33:28 #估计理论,算法,机器学习算法

最大期望算法(Expectation-maximization algorithm,又译期望最大化算法)在统计中被用于寻找,依赖于不可观察的隐性变量的概率模型中,参数的最大似然估计。

在统计计算中,最大期望(EM)算法是在概率模型中寻找参数最大似然估计或者最大后验估计的算法,其中概率模型依赖于无法观测的隐变量。最大期望算法经常用在机器学习和计算机视觉的数据聚类(Data Clustering)领域。最大期望算法经过两个步骤交替进行计算,第一步是计算期望(E),利用对隐藏变量的现有估计值,计算其最大似然估计值;第二步是最大化(M),最大化在E步上求得的最大似然值来计算参数的值。M步上找到的参数估计值被用于下一个E步计算中,这个过程不断交替进行。

最大期望值算法由Arthur P. Dempster(英语:Arthur P. Dempster),Nan Laird(英语:Nan Laird)和Donald Rubin(英语:Donald Rubin)在他们1977年发表的经典论文中提出。他们指出此方法之前其实已经被很多作者“在他们特定的研究领域中多次提出过”。

EM算法用于在方程不能直接求解的情况下寻找统计模型的(局部)最大似然参数。这些模型中较为典型的是含有潜变量,未知参数并且已知观测数据的模型。也就是说,要么数据中存在缺失的值,要么模型可以通过假设存在更多未观测到的数据点来更简单地表示。以混合模型(Mixture Model)为例,通过假设每个观察到的数据点都有一个对应的未观察到的数据点,也可以说是潜在变量,来指定每个数据点所属的混合部分,这样就可以更简单地描述混合模型。

EM是一个在已知部分相关变量的情况下,估计未知变量的迭代技术。EM的算法流程如下:

我们用 y {\displaystyle {\textbf {y}}} 表示能够观察到的不完整的变量值,用 x {\displaystyle {\textbf {x}}} 表示无法观察到的变量值,这样 x {\displaystyle {\textbf {x}}} y {\displaystyle {\textbf {y}}} 一起组成了完整的数据。 x {\displaystyle {\textbf {x}}} 可能是实际测量丢失的数据,也可能是能够简化问题的隐藏变量,如果它的值能够知道的话。例如,在混合模型中,如果“产生”样本的混合元素成分已知的话最大似然公式将变得更加便利(参见下面的例子)。

p {\displaystyle p\,} 代表矢量 θ {\displaystyle \theta } : p ( y , x | θ ) {\displaystyle p(\mathbf {y} ,\mathbf {x} |\theta )} 定义的参数的全部数据的几率密度函数(连续情况下)或者几率质量函数(离散情况下),那么从这个函数就可以得到全部数据的最大似然值,另外,在给定的观察到的数据条件下未知数据的条件分布可以表示为:

相关

  • 咪达唑仑咪达唑仑(英语:Midazolam、Dormicum、Hypnovel、Versed),又称“速眠安”常见以Versed为商品名贩售,主要用为治疗急性发作、中度至重度的失眠,及进行医疗程序前之导引镇静及失忆的
  • 病毒包膜一个位于宿主细胞之外的独立、功能完全的病毒颗粒一些病毒拥有的包裹病毒体的脂肪泡一段DNA或RNA。如果把核苷酸比作字的话,那么基因就是由核苷酸写成的句子。基因会指导病毒
  • 抗链球菌溶血素 O 滴度抗链球菌溶血素O试验(Anti-streptolysin O),简称ASO试验,是一种毒素和抗毒素的中和试验,用于疑风湿热或急性肾小球肾炎患者。ASO试验是用链球菌溶血素O作为抗原,检测血清中的ASO值
  • 詹姆斯·门罗詹姆斯·门罗(英语:James Monroe,1758年4月28日-1831年7月4日)美国政治家,律师,外交官,第五任美国总统,第七任美国国务卿。门罗是最后一位担任总统的美国开国元勋。他出生于弗吉尼亚
  • 614年薛仁贵
  • 总达客运总达客运股份有限公司(英文:All Day Bus),简称总达客运,是台湾的一家客运公司,1998年成立,营运地区主要在台中市、南投县,主要经营公路客运,2017年新增台中市公车服务。曾用英文名All
  • C-3POC-3PO(音为See-Threepio),亦有简单地叫他作3PO,是《星球大战》系列中的角色,无论声音或演绎,在正传九部曲里全由安东尼·丹尼尔斯(英语:Anthony Daniels)(Anthony Daniels)所担任。星球
  • 创可贴 (电影)《创可贴》(韩语:반창꼬,英语:Love 911),是一部2012年上映的韩国电影。每天穿梭于各类事故,救人于水火的消防员姜一(高修饰),却没能挽回爱妻的生命,失去妻子后将伤痛埋在心中,一次执勤中
  • 天则经济研究所天则经济研究所是位于北京的一家智库。由经济学家茅于轼、张曙光、盛洪、吴滨、卢跃刚、樊纲、唐寿宁等人与北京大象文化有限公司共同发起,于1993年7月创立。天则经济研究所
  • 高雄海军航空队高雄海军航空队为大日本帝国海军航空部队之一,为帝国海军第三支以陆基攻击机为部队主力机种的战斗部队,成立于台湾日治时期1938年;参与中国抗日战争、太平洋战争等。1942年10月