并行退火

✍ dations ◷ 2025-04-04 21:02:34 #蒙地卡罗方法,计算统计学,贝叶斯统计,启发法

并行退火(Parallel tempering),也称作replica exchange MCMC sampling,是一种用于动态改进蒙特卡罗方法的模拟算法。该算法用于模拟物理过程。同时更普遍地应用于蒙特卡罗马可夫链(Markov chain Monte Carlo,MCMC)抽样方法。Sugita和Okamoto数学定义了一种分子动力学描述的并行退火算法:通常被称为replica-exchange molecular dynamics(REMD)。

一般的蒙特卡洛模拟使用Metropolis抽样,即接受概率 P ( a c c ) = m i n ( 1 , e Δ U k B T ) {\displaystyle P(acc)=min(1,e^{-{\frac {\Delta U}{k_{B}T}}})} ,相同高度的势垒,温度越低越难以逾越,使得模拟需要相当长的模拟步长才能达到平衡,统计抽样满足各态历经。为了提高性能,采取如下策略:同时模拟一系列仅有温度不同的系统,在某些时刻随机选取相邻两个温度的系统,按如下接受概率置换两系统的温度:

其中,Ei和Ej是两个系统的总能量,Ti,Tj是温度,kB是玻尔兹曼因子。温度置换的过程是非物理的,但只要在一步中选择普通Metropolis抽样和温度置换分别以一定概率择其一,此过程仍然遵守细致平衡(英语:Detailed_balance)。

并行退火可以用于温度以外的变量以改进抽样。例如,巨正则系综下蒙特卡罗模拟兰纳-琼斯势粒子的气液相平衡时,如果系统条件远离临界温度,密度的涨落很小,模拟中难以观测相变。而同时模拟多个化学势的系统,并按相似的接受法则置换系统的化学势:

其中i,j是两个超额化学势(相对理想气体)分别为 μ i , μ j {\displaystyle \mu _{i},\mu _{j}} 的系统,它们的粒子个数分别为 N i , N j {\displaystyle N_{i},N_{j}} ,内能分别为 U i , U j {\displaystyle U_{i},U_{j}} .此模拟得到的密度概率函数能准确地反映气相和液相两个峰。

并行退火在训练神经网络时也有相似的应用。将一个系统运行在N个不同温度的条件下,并根据Metropolis法则 页面存档备份,存于互联网档案馆交换不同温度下的状态,因而可以用高温环境的参数去模拟低温环境,反之亦然。并行退火算法可用于人工神经网络训练,改进MCMC,虽然增加了计算复杂度,但提供了更快的马尔科夫链混合(mixing,指收敛)速度和更高的准确性。神经元之间的参数交换被描述为不同温度下分子状态的交换,随机交换的概率由Metropolis法则给出。尤其用于约束波茨曼机训练。

相关

  • 印第安战争法兰西王国 (1622–1763)英格兰 (1622–1707)大英帝国 (1622–1867)美国 (1783–1924)北美印第安战争(英语:American Indian Wars)是在美国和加拿大用来描述一系列的美国和加拿
  • 瑜伽瑜伽(印地语:योग,英语:yoga),源于古印度文化,义为探寻“梵我一如”的道理与方法,古印度六大哲学派别中有瑜伽派(英语:Yoga (philosophy))。而现代人所称的瑜伽则是主要是一系列的修
  • 铀铅定年法铀铅测年法是放射测年法中最早使用且准确度最高的测年方式,可测定距今100万年到45亿年的物体年代,例定精确度大约是测定范围的1%至10%。铀铅测年法依赖两个独立的衰变链,即半衰
  • 中华人民共和国行政区划代码中华人民共和国行政区划代码是中华人民共和国用于行政区划上的识别码,同时是一项由国家标准机构——中国国家标准化管理委员会通过并公开发布的国家标准,国标号为GB/T 2260,并
  • 2002年米兰飞机撞楼事件2002年米兰飞机撞楼事件发生于米兰当地时间2002年4月18日17时48分,一架罗克韦尔指挥官112型小型飞机撞击米兰倍耐力总部大楼,而撞楼动机仍未查明。飞行员与大楼内2人在事件中
  • 成都话成都话是指居住在中国四川省成都市城区内的成都本地人所使用的语言,属于汉语西南官话成渝片。广义的来说,成都话也可以指成都市所辖各区县所有成都本地人所使用的语言。成都是
  • 雅罗斯拉夫·哈谢克雅罗斯拉夫·哈谢克(捷克语:Jaroslav Hašek,1883年4月30日-1923年1月3日)是一名捷克幽默小说作家、讽刺小说作家和社会无政府主义者。他的最知名的作品是《好兵帅克》,一部关于一
  • 维利米尔·斯蒂潘诺维奇维利米尔·斯蒂潘诺维奇(塞尔维亚语:Велимир Стјепановић;1993年8月7日-)是一位塞尔维亚游泳运动员。他擅长自由泳和蝶泳项目。在2014年欧洲游泳世锦赛上,他获
  • 国际数学联盟国际数学联盟(英语:International Mathematical Union,简称IMU),又被翻译为国际数学联合会,是一个国际性的非政府、非盈利性组织。目的是促进国际间的数学交流与合作。安哥拉 ·
  • 360安全云盘360安全云盘(前称:360云盘、360云盘企业版、360企业云盘、360云),是奇虎360推出的一款云存储服务。2013年7月,360云盘推出了T盘活动,获得1T的空间需要做任务;2013年8月,推出了永久免