贝叶斯推理

贝叶斯推断（英语：Bayesian inference）是推论统计的一种方法。这种方法使用贝叶斯定理，在有更多证据及信息时，更新特定假设的概率。贝叶斯推断是统计学（特别是数理统计学）中很重要的技巧之一。贝叶斯更新（Bayesian updating）在序列分析中格外的重要。贝叶斯推断应用在许多的领域中，包括科学、工程学、哲学、医学、体育运动、法律等。在决策论的哲学中，贝叶斯推断和主观概率有密切关系，常常称为贝叶斯概率。贝叶斯定理是由统计学家托马斯·贝斯（Thomas Bayes）根据许多特例推导而成，后来被许多研究者推广为一普遍的定理贝叶斯推断将后验概率（考虑相关证据或数据后，某一事件的条件几率）推导为二个前件、先验概率（考虑相关证据或数据前，某一事件不确定性的几率）及似然函数（由概率模型推导而得）的结果。贝叶斯推断根据贝叶斯定理计算后验概率：其中针对不同的 H {displaystyle textstyle H} 数值，只有 P ( H ) {displaystyle textstyle P(H)} 和 P ( E ∣ H ) {displaystyle textstyle P(Emid H)} （都在分子）会影响 P ( H ∣ E ) {displaystyle textstyle P(Hmid E)} 的数值。假说的后验概率和其先验概率（固有似然率）和新产生的似然率（假说和新得到证据的相容性）乘积成正比。贝叶斯定理也可以写成下式：其中系数 P ( E ∣ H ) P ( E ) {displaystyle textstyle {frac {P(Emid H)}{P(E)}}} 可以解释成 E {displaystyle E} 对 H {displaystyle H} 几率的影响。贝叶斯推断最关键的点是可以利用贝斯定理结合新的证据及以前的先验几率，来得到新的几率（这和频率学派推断相反，频率论推论只考虑证据，不考虑先验几率）。而且贝叶斯推断可以迭代使用：在观察一些证据后得到的后设几率可以当作新的先验几率，再根据新的证据得到新的后设几率。因此贝斯定理可以应用在许多不同的证据上，不论这些证据是一起出现或是不同时出现都可以，这个程序称为贝斯更新（Bayesian updating）。若用文字表示，即为“后验和先验及似然率的乘积成正比”，有时也会写成“后验 = 先验 × 似然率，在有证据的情形下”。贝叶斯推断有在人工智能及专家系统上应用。自1950年代后期开始，贝叶斯推断技巧就是电脑模式识别技术中的基础。现在也越来越多将贝叶斯推断和以模拟为基础的蒙地卡罗方法合并使用的应用，因为一些模杂的模型无法用贝叶斯分析得到解析解，因图模式结构可以配合一些快速的模拟方式（例如吉布斯抽样或是其他Metropolis–Hastings算法）。因为上述理由，贝叶斯推断在系统发生学研究社群中来越受到重视，许多的应用可以用同时估测许多人口和进化参数。“贝叶斯”是指托马斯·贝叶斯（1702–1761），他证明了一个特例（现在知道是贝叶斯定理的特例），不过皮埃尔-西蒙·拉普拉斯（1749–1827）推导了此定理的一般版本，应用在天体力学、医疗统计学、可靠度（英语：Reliability (statistics)）及法学上。早期的贝叶斯推断是用拉普拉斯不充分理由原则（英语：principle of insufficient reason）所得的均匀先验，称为逆向几率（英语：inverse probability）（因为是由观测值倒推参数的归纳推理，或是从结果倒推到原因）。在1920年代以后，逆向几率很大程度的被另一群称为频率论统计（英语：frequentist statistics）的方式取代。二十世纪时，拉普拉斯的概念往下分支为二派，开始出现主观贝叶斯方法及客观贝叶斯方法。客观贝叶斯方法（或是不提供信息的贝叶斯方法）中，统计分析只依照假设的模型、分析的资料以及给定先验分布的方式（不同的客观贝叶斯方法会有不同给定先验分布的方式）。主观贝叶斯方法（或是提供信息的贝叶斯方法）中，先验的规格依信念（也是分析希望要呈现的主张）而定，信念可以由专家整理资讯后总结产生，也可以根据以往的研究等。1980年代发现了马尔科夫蒙特卡洛方法，让贝叶斯方法的研究及应用有大幅的发展，除去了许多运算上的问题，也有越来越多人愿意参与非标准的复杂问题。不过虽然贝叶斯方法的研究仍在成长，大部分大学本科的教学仍是以频率论统计（英语：frequentist statistics）为基础 。不过贝叶斯方法也广为许多领域接受及应用，例如在机器学习的领域中。