并行退火

✍ dations ◷ 2025-04-03 15:54:29 #蒙地卡罗方法,计算统计学,贝叶斯统计,启发法

并行退火(Parallel tempering),也称作replica exchange MCMC sampling,是一种用于动态改进蒙特卡罗方法的模拟算法。该算法用于模拟物理过程。同时更普遍地应用于蒙特卡罗马可夫链(Markov chain Monte Carlo,MCMC)抽样方法。Sugita和Okamoto数学定义了一种分子动力学描述的并行退火算法:通常被称为replica-exchange molecular dynamics(REMD)。

一般的蒙特卡洛模拟使用Metropolis抽样,即接受概率 P ( a c c ) = m i n ( 1 , e Δ U k B T ) {\displaystyle P(acc)=min(1,e^{-{\frac {\Delta U}{k_{B}T}}})} ,相同高度的势垒,温度越低越难以逾越,使得模拟需要相当长的模拟步长才能达到平衡,统计抽样满足各态历经。为了提高性能,采取如下策略:同时模拟一系列仅有温度不同的系统,在某些时刻随机选取相邻两个温度的系统,按如下接受概率置换两系统的温度:

其中,Ei和Ej是两个系统的总能量,Ti,Tj是温度,kB是玻尔兹曼因子。温度置换的过程是非物理的,但只要在一步中选择普通Metropolis抽样和温度置换分别以一定概率择其一,此过程仍然遵守细致平衡(英语:Detailed_balance)。

并行退火可以用于温度以外的变量以改进抽样。例如,巨正则系综下蒙特卡罗模拟兰纳-琼斯势粒子的气液相平衡时,如果系统条件远离临界温度,密度的涨落很小,模拟中难以观测相变。而同时模拟多个化学势的系统,并按相似的接受法则置换系统的化学势:

其中i,j是两个超额化学势(相对理想气体)分别为 μ i , μ j {\displaystyle \mu _{i},\mu _{j}} 的系统,它们的粒子个数分别为 N i , N j {\displaystyle N_{i},N_{j}} ,内能分别为 U i , U j {\displaystyle U_{i},U_{j}} .此模拟得到的密度概率函数能准确地反映气相和液相两个峰。

并行退火在训练神经网络时也有相似的应用。将一个系统运行在N个不同温度的条件下,并根据Metropolis法则 页面存档备份,存于互联网档案馆交换不同温度下的状态,因而可以用高温环境的参数去模拟低温环境,反之亦然。并行退火算法可用于人工神经网络训练,改进MCMC,虽然增加了计算复杂度,但提供了更快的马尔科夫链混合(mixing,指收敛)速度和更高的准确性。神经元之间的参数交换被描述为不同温度下分子状态的交换,随机交换的概率由Metropolis法则给出。尤其用于约束波茨曼机训练。

相关

  • 血浆血浆(英语:Blood Plasma)是血液的清液成分,血细胞悬浮于其中。人体含有2750-3300毫升血浆,约占血液总体积的55%。血浆的绝大部分是水(体积的90%),其中溶解的物质主要是血浆蛋白,还包
  • 避孕药避孕药,全称口服避孕药,通常是指一类给女性服用用于生育控制的药物。男用口服避孕药正在研究中,尚未商品化。有两种广泛使用的女用口服避孕药:另外还有事后使用的紧急避孕药:其
  • 台湾福音书房台湾福音书房(英语:Taiwan Gospel Book Room),简称TWGBR,是李常受于1949年受倪柝声差遣前往台湾开展工作后创办的一个有广泛影响的著名的基督教出版机构,专门出版倪柝声与李常受的
  • 人类学家列表此处提出各国知名人类学家列表,分为亚洲、欧美两大部分。亚洲的华人部分以姓名笔划简繁为序,日本人部分以姓氏五十音顺排列。欧美部分以姓氏英文字母为序:
  • 张广学张广学(1921年1月31日-2010年2月24日),山东定陶人,回族,中国昆虫学家。1946年毕业于中央大学农艺系。中国科学院动物研究所研究员。1991年当选为中国科学院院士(学部委员)。
  • MBE最优秀的大英帝国勋章(英语:Most Excellent Order of the British Empire),简称大英帝国勋章(Order of the British Empire),或译为不列颠帝国勋章,是英国授勋及嘉奖制度中的一种骑
  • 布法罗比尔美国美式橄榄球联盟 (1960–1969)国家橄榄球联盟 (1970–至今)皇家蓝, 红, 白, 海军蓝联盟冠军 (2)联会冠军 (4)分区冠军 (10)布法罗比尔(Buffalo Bills)是美国国家橄榄球联盟
  • 美国三大电视网美国三大电视网(英语:Big Three Television Networks)通常指的是:国家广播公司(NBC)、哥伦比亚广播公司(CBS)、和美国广播公司(ABC)这三家最资深的商业无线电视联播网,三者的广播电台业
  • 约翰·G·卡莱尔约翰·格里芬·卡莱尔(John Griffin Carlisle,1834年9月5日-1910年7月31日),著名的美国政治家、美国民主党重要人物之一。1883年至1889年,他担任美国众议院议长;1893年至1897年,担任
  • 铃木镇一铃木镇一(1898年10月17日-1998年1月26日)出生于名古屋,日本小提琴教育家,伟大的音乐教育家,铃木教学法的发明人。为爱的才能教育(Nuture in Love) 的发起人,教学提倡母国语教学法。