蒙特卡洛树搜索

✍ dations ◷ 2025-08-22 07:47:16 #组合博弈论,蒙地卡罗方法,人工智能,搜寻算法

蒙特卡洛树搜索(英语:Monte Carlo tree search;简称:MCTS)是一种用于某些决策过程的启发式搜索算法,最引人注目的是在游戏中的使用。一个主要例子是电脑围棋程序,它也用于其他棋盘游戏、即时电子游戏以及不确定性游戏。

基于随机抽样的蒙特卡洛方法可以追溯到20世纪40年代。布鲁斯·艾布拉姆森(Bruce Abramson)在他1987年的博士论文中探索了这一想法,称它“展示出了准确、精密、易估、有效可计算以及域独立的特性“。他深入试验了井字棋,然后试验了黑白棋和国际象棋的机器生成的评估函数。1992年,B·布鲁格曼(B. Brügmann)首次将其应用于对弈程序,但他的想法未获得重视。2006年堪称围棋领域蒙特卡洛革命的一年,雷米·库洛姆(Remi Coulom)描述了蒙特卡洛方法在游戏树搜索的应用并命名为蒙特卡洛树搜索。列文特·科奇什(Levente Kocsis)和乔鲍·塞派什瓦里(Csaba Szepesvári)开发了UCT算法,西尔万·热利(Sylvain Gelly)等人在他们的程序MoGo中实现了UCT。2008年,MoGo在九路围棋中达到段位水平,Fuego程序开始在九路围棋中战胜实力强劲的业余棋手。2012年1月,Zen程序在19路围棋上以3:1击败二段棋手约翰·特朗普(John Tromp)。

蒙特卡洛树搜索也被用于其他棋盘游戏程序,如六贯棋、三宝棋、亚马逊棋和印度斗兽棋;即时电子游戏,如《吃豆小姐(英语:Ms. Pac-Man)》、《神鬼寓言:传奇(英语:Fable Legends)》、《罗马II:全面战争》;不确定性游戏,如斯卡特、扑克、万智牌、卡坦岛。

蒙特卡洛树搜索的每个循环包括四个步骤:

每一个节点的内容代表

选择子结点的主要困难是:在较高平均胜率的移动后,在对深层次变型的利用和对少数模拟移动的探索,这二者中保持某种平衡。第一个在游戏中平衡利用与探索的公式被称为UCT(Upper Confidence Bounds to Trees,上限置信区间算法 ),由匈牙利国家科学院计算机与自动化研究所高级研究员列文特·科奇什与阿尔伯塔大学全职教授乔鲍·塞派什瓦里提出。UCT基于奥尔(Auer)、西萨-比安奇(Cesa-Bianchi)和费舍尔(Fischer)提出的UCB1公式,并首次由马库斯等人应用于多级决策模型(具体为马尔可夫决策过程)。科奇什和塞派什瓦里建议选择游戏树中的每个结点移动,从而使表达式 w i n i + c ln t n i {\displaystyle {\frac {w_{i}}{n_{i}}}+c{\sqrt {\frac {\ln t}{n_{i}}}}} 具有最大值。在该式中:

大多数当代蒙特卡洛树搜索的实现都是基于UCT的一些变形。

相关

  • 弱碱布朗斯特-劳里酸碱理论中,弱碱指在水溶液中不完全电离的碱,意即质子化反应不完全。一般碱的pH值范围为7~14,其中7为中性,14则为强碱性,可通过以下公式计算:相对强碱而言,弱碱从水分
  • 胡克定律胡克定律/虎克定律(Hooke's law),是力学弹性理论中的一条基本定律,内容:固体材料受力后,应力与应变(单位变形量)成线性关系,满足此定律的材料:线弹性/胡克型(Hookean)从物理的角度
  • 朱祐槟益端王朱祐槟(1479年1月26日-1539年10月5日),明宪宗第六子、母庄懿德妃张氏。生于成化十五年(1479年)正月初四日,二十三年(1487年)七月受封益王。弘治八年(1495年)就藩建昌府(今江西省抚
  • span class=nowrapCusub2/subOsub3/sub/span>三氧化二铜是一种无机化合物,其化学式为Cu2O3。其为红色晶体,不溶于水,在常温及干燥状态下稳定。其为铜酸盐高温超导体的成分,如YBa2Cu3O7-δ。三价铜在离子环境下通常变得稳定,
  • 大陆军队大陆军(英语:Continental Army)是美国独立战争中的英属北美殖民地军事力量,于1775年6月14日根据第二次大陆议会的决议建立,使美国独立运动有了革命武力对抗英国军队。在整个战争
  • 弗雷德里克·威廉·德克勒克弗雷德里克·威廉·德克勒克(南非语:Frederik Willem de Klerk .mw-parser-output .IPA{font-family:"Charis SIL","Doulos SIL","Linux Libertine","Segoe UI","Lucida Sans
  • 指甲 (韩国电影)《指甲》(韩语:손톱,英语:)为1995年韩国惊悚电影,于1995年1月28日上映,片长101分钟,由金成鸿执导,成渊娱乐及大宇电子出品、制作,大宇电子发行,沈慧珍、陈熙琼、李璟荣主演,本片是导演金
  • 气爆气爆,又称瓦斯爆炸,指可燃气体的意外爆炸,会引发火灾及其他灾害,也可能会造成严重的生命财产损失。气爆有可能是因为气体外泄(英语:Gas leak),使得可燃气体和空气混合,再加上有静电、
  • 底姓底姓是华人的姓氏,一说指其起源于回族,由部分回族先民的姓氏尾音读音汉化而来 ;另一说指此姓来源已久。底姓并无出现于《百家姓》一书中。
  • 平壤话剧电影大学平壤话剧电影大学位于朝鲜平壤直辖市东大院区域,于1953年11月创办。该校是朝鲜培养创作家和艺术家的专门院校。