并行退火

✍ dations ◷ 2025-08-18 20:49:23 #蒙地卡罗方法,计算统计学,贝叶斯统计,启发法

并行退火(Parallel tempering),也称作replica exchange MCMC sampling,是一种用于动态改进蒙特卡罗方法的模拟算法。该算法用于模拟物理过程。同时更普遍地应用于蒙特卡罗马可夫链(Markov chain Monte Carlo,MCMC)抽样方法。Sugita和Okamoto数学定义了一种分子动力学描述的并行退火算法:通常被称为replica-exchange molecular dynamics(REMD)。

一般的蒙特卡洛模拟使用Metropolis抽样,即接受概率 P ( a c c ) = m i n ( 1 , e Δ U k B T ) {\displaystyle P(acc)=min(1,e^{-{\frac {\Delta U}{k_{B}T}}})} ,相同高度的势垒,温度越低越难以逾越,使得模拟需要相当长的模拟步长才能达到平衡,统计抽样满足各态历经。为了提高性能,采取如下策略:同时模拟一系列仅有温度不同的系统,在某些时刻随机选取相邻两个温度的系统,按如下接受概率置换两系统的温度:

其中,Ei和Ej是两个系统的总能量,Ti,Tj是温度,kB是玻尔兹曼因子。温度置换的过程是非物理的,但只要在一步中选择普通Metropolis抽样和温度置换分别以一定概率择其一,此过程仍然遵守细致平衡(英语:Detailed_balance)。

并行退火可以用于温度以外的变量以改进抽样。例如,巨正则系综下蒙特卡罗模拟兰纳-琼斯势粒子的气液相平衡时,如果系统条件远离临界温度,密度的涨落很小,模拟中难以观测相变。而同时模拟多个化学势的系统,并按相似的接受法则置换系统的化学势:

其中i,j是两个超额化学势(相对理想气体)分别为 μ i , μ j {\displaystyle \mu _{i},\mu _{j}} 的系统,它们的粒子个数分别为 N i , N j {\displaystyle N_{i},N_{j}} ,内能分别为 U i , U j {\displaystyle U_{i},U_{j}} .此模拟得到的密度概率函数能准确地反映气相和液相两个峰。

并行退火在训练神经网络时也有相似的应用。将一个系统运行在N个不同温度的条件下,并根据Metropolis法则 页面存档备份,存于互联网档案馆交换不同温度下的状态,因而可以用高温环境的参数去模拟低温环境,反之亦然。并行退火算法可用于人工神经网络训练,改进MCMC,虽然增加了计算复杂度,但提供了更快的马尔科夫链混合(mixing,指收敛)速度和更高的准确性。神经元之间的参数交换被描述为不同温度下分子状态的交换,随机交换的概率由Metropolis法则给出。尤其用于约束波茨曼机训练。

相关

  • 卡洛林帝国加洛林王朝(法语:les Carolingiens,旧称Carlovingiens,中世纪拉丁语:Karolingi,又译卡洛林王朝)是自公元751年后统治法兰克王国的王朝。在此之前,其王朝成员以“宫相”的身份涉理王
  • 鬼笔环肽鬼笔环肽(Phalloidin)是一种环状七肽毒素,隶属于从鹅膏菌科的真菌鬼笔鹅膏中提取的一组毒素(即所谓鬼笔毒素)。它的毒性源于其能够抑制细胞内微丝解聚的特性。自从人们发现鬼笔
  • 法属路易斯安那路易斯安那(法语:La Louisiane),1879年起特称 法属路易斯安那(La Louisiane française),是法国北美殖民地新法兰西的一个行政区,其存续时间为1682年-1763年,和短暂的1800年-1803年。法
  • 约克县约克县(英语:York County)是美国缅因州南部的一个县,南界新罕布什尔州。面积3,293平方公里。根据美国2000年人口普查,共有人口186,742。县治奥福雷(Alfred)。成立于1636年(当时仍属
  • 运输司令部美国运输司令部 (USTRANSCOM)是美国国防部下辖一体化作战司令部之一,其职能是提供陆海空全领域的运输支持,保障国家将部队和物资投送到任何需要的地方。运输司令部的总部位于
  • 亚硝酰氯亚硝酰氯(化学式:NOCl)是一个常见的亚硝酰盐。室温下为不稳定的黄色气体,具刺鼻恶臭味,遇水分解,可溶于发烟硫酸中。存在于王水中。用作催化剂、有机化学试剂,也用于合成洗涤剂。具
  • 表现主义美学20世纪的美学,明显形成了人文主义美学 和科学主义美学两大思潮,它们都宣称取消了物质和意识的对立,唯物和唯心的对立,把世界的本源归结为主客体合一的自我意识。这一时期的美学,
  • 克莱森酯缩合反应克莱森缩合反应(Claisen缩合反应)是指两分子羧酸酯在强碱(如乙醇钠)催化下,失去一分子醇而缩合为一分子β-羰基羧酸酯的反应。参与反应的两个酯分子不必相同,但其中一个必须在酰基
  • 乌尔霍·吉科宁乌尔霍·卡勒瓦·吉科宁(芬兰语:Urho Kaleva Kekkonen,1900年9月3日-1986年8月31日),芬兰总统(1956-1982),是芬兰在位最久的总统,在位26年。1950-1953年,1954-1956年曾出任芬兰内阁总理。
  • 汝欲和平,必先备战汝欲和平,必先备战(拉丁语:Si vis pacem, para bellum,古典拉丁语:.mw-parser-output .IPA{font-family:"Charis SIL","Doulos SIL","Linux Libertine","Segoe UI","Lucida Sans