最大期望算法

✍ dations ◷ 2025-06-08 14:09:27 #估计理论,算法,机器学习算法

最大期望算法(Expectation-maximization algorithm,又译期望最大化算法)在统计中被用于寻找,依赖于不可观察的隐性变量的概率模型中,参数的最大似然估计。

在统计计算中,最大期望(EM)算法是在概率模型中寻找参数最大似然估计或者最大后验估计的算法,其中概率模型依赖于无法观测的隐变量。最大期望算法经常用在机器学习和计算机视觉的数据聚类(Data Clustering)领域。最大期望算法经过两个步骤交替进行计算,第一步是计算期望(E),利用对隐藏变量的现有估计值,计算其最大似然估计值;第二步是最大化(M),最大化在E步上求得的最大似然值来计算参数的值。M步上找到的参数估计值被用于下一个E步计算中,这个过程不断交替进行。

最大期望值算法由Arthur P. Dempster(英语:Arthur P. Dempster),Nan Laird(英语:Nan Laird)和Donald Rubin(英语:Donald Rubin)在他们1977年发表的经典论文中提出。他们指出此方法之前其实已经被很多作者“在他们特定的研究领域中多次提出过”。

EM算法用于在方程不能直接求解的情况下寻找统计模型的(局部)最大似然参数。这些模型中较为典型的是含有潜变量,未知参数并且已知观测数据的模型。也就是说,要么数据中存在缺失的值,要么模型可以通过假设存在更多未观测到的数据点来更简单地表示。以混合模型(Mixture Model)为例,通过假设每个观察到的数据点都有一个对应的未观察到的数据点,也可以说是潜在变量,来指定每个数据点所属的混合部分,这样就可以更简单地描述混合模型。

EM是一个在已知部分相关变量的情况下,估计未知变量的迭代技术。EM的算法流程如下:

我们用 y {\displaystyle {\textbf {y}}} 表示能够观察到的不完整的变量值,用 x {\displaystyle {\textbf {x}}} 表示无法观察到的变量值,这样 x {\displaystyle {\textbf {x}}} y {\displaystyle {\textbf {y}}} 一起组成了完整的数据。 x {\displaystyle {\textbf {x}}} 可能是实际测量丢失的数据,也可能是能够简化问题的隐藏变量,如果它的值能够知道的话。例如,在混合模型中,如果“产生”样本的混合元素成分已知的话最大似然公式将变得更加便利(参见下面的例子)。

p {\displaystyle p\,} 代表矢量 θ {\displaystyle \theta } : p ( y , x | θ ) {\displaystyle p(\mathbf {y} ,\mathbf {x} |\theta )} 定义的参数的全部数据的几率密度函数(连续情况下)或者几率质量函数(离散情况下),那么从这个函数就可以得到全部数据的最大似然值,另外,在给定的观察到的数据条件下未知数据的条件分布可以表示为:

相关

  • 乙型交感神经阻断剂β受体阻断药(英语:Beta blockers),又称Beta受体阻断药、β受体阻断剂、β受体阻滞剂、β受体拮抗剂或β阻断药、乙型阻断剂,是一类用来治疗心律不齐、防止心脏病发作后的二次心
  • 厄立特里亚意属厄立特里亚(意大利语:Colonia eritrea) 指1890年起由意大利占领并管治的厄立特里亚殖民地,首府为阿斯马拉。随着苏伊士运河于1869年竣工,环红海地区与欧洲地区的航运迅速地发
  • 博伊西博伊西国家森林(英语:Boise National Forest)是美国的一处国家森林,1908年7月1日建立,位处爱达荷州,占地面积约2,203,703英亩(8,918.07平方千米),最近的城市为博伊西。
  • 俄亥俄大学25,543名本科生 3,261名研究生俄亥俄大学(英语:Ohio University)是一所公立大学,位于美国俄亥俄州雅典市,创建于1804年。大学为俄亥俄州乃至阿巴拉契亚山脉(Appalachian Mountain
  • 雷内·克莱尔雷内·克莱尔(法语:René Clair,1898年11月11日-1981年3月15日),法国制片人、作家,20世纪20年代因拍摄喜剧默片而出名,后拍摄了一些具有创新精神的有声电影,曾前往美国、英国工作。第
  • 花萤科花萤科(Cantharidae),又称菊虎科,为鞘翅目下的一科,属于叩头虫总科的一支。目前已知超过130属5000种,分属5个亚科。该科成员一般体态修长、鞘翅柔软,且许多种类具有鲜艳的警戒色。
  • 因信称义因信称义(拉丁语:Sola fide,或称作唯独信心、唯独因信称义),是路德宗教会、甚至整个基督新教信仰的核心思想,“因信”意为凭借“信心”,“称义”意为“被上帝判为无罪”。“因信称
  • 伦纳德·特里劳尼·霍布豪斯伦纳德·特里劳尼·霍布豪斯(Leonard Trelawny Hobhouse 1864年9月8日 – 1929年6月21日)是英国自由主义政治家和社会学家。他被认为是社会自由主义最早的支持者与领军人物。
  • 伊朗伊斯兰共和国通讯社伊朗伊斯兰共和国通讯社(خبرگزاري جمهوري اسلامي ايران),简称伊通社,是伊朗的官方通讯社之一,前身为1934年成立的波斯通讯社,1979年伊朗伊斯兰革命后改
  • 纳粹德国陆军纳粹德国陆军(德语: Heer 帮助·信息,意为陆军)是指1935年至1946年隶属于纳粹德国武装力量德国国防军的陆军。德国陆军源自第一次世界大战后协约国限制德国仅能保有的100,000名