蒙特卡洛树搜索

✍ dations ◷ 2025-07-10 18:10:29 #组合博弈论,蒙地卡罗方法,人工智能,搜寻算法

蒙特卡洛树搜索(英语:Monte Carlo tree search;简称:MCTS)是一种用于某些决策过程的启发式搜索算法,最引人注目的是在游戏中的使用。一个主要例子是电脑围棋程序,它也用于其他棋盘游戏、即时电子游戏以及不确定性游戏。

基于随机抽样的蒙特卡洛方法可以追溯到20世纪40年代。布鲁斯·艾布拉姆森(Bruce Abramson)在他1987年的博士论文中探索了这一想法,称它“展示出了准确、精密、易估、有效可计算以及域独立的特性“。他深入试验了井字棋,然后试验了黑白棋和国际象棋的机器生成的评估函数。1992年,B·布鲁格曼(B. Brügmann)首次将其应用于对弈程序,但他的想法未获得重视。2006年堪称围棋领域蒙特卡洛革命的一年,雷米·库洛姆(Remi Coulom)描述了蒙特卡洛方法在游戏树搜索的应用并命名为蒙特卡洛树搜索。列文特·科奇什(Levente Kocsis)和乔鲍·塞派什瓦里(Csaba Szepesvári)开发了UCT算法,西尔万·热利(Sylvain Gelly)等人在他们的程序MoGo中实现了UCT。2008年,MoGo在九路围棋中达到段位水平,Fuego程序开始在九路围棋中战胜实力强劲的业余棋手。2012年1月,Zen程序在19路围棋上以3:1击败二段棋手约翰·特朗普(John Tromp)。

蒙特卡洛树搜索也被用于其他棋盘游戏程序,如六贯棋、三宝棋、亚马逊棋和印度斗兽棋;即时电子游戏,如《吃豆小姐(英语:Ms. Pac-Man)》、《神鬼寓言:传奇(英语:Fable Legends)》、《罗马II:全面战争》;不确定性游戏,如斯卡特、扑克、万智牌、卡坦岛。

蒙特卡洛树搜索的每个循环包括四个步骤:

每一个节点的内容代表

选择子结点的主要困难是:在较高平均胜率的移动后,在对深层次变型的利用和对少数模拟移动的探索,这二者中保持某种平衡。第一个在游戏中平衡利用与探索的公式被称为UCT(Upper Confidence Bounds to Trees,上限置信区间算法 ),由匈牙利国家科学院计算机与自动化研究所高级研究员列文特·科奇什与阿尔伯塔大学全职教授乔鲍·塞派什瓦里提出。UCT基于奥尔(Auer)、西萨-比安奇(Cesa-Bianchi)和费舍尔(Fischer)提出的UCB1公式,并首次由马库斯等人应用于多级决策模型(具体为马尔可夫决策过程)。科奇什和塞派什瓦里建议选择游戏树中的每个结点移动,从而使表达式 w i n i + c ln t n i {\displaystyle {\frac {w_{i}}{n_{i}}}+c{\sqrt {\frac {\ln t}{n_{i}}}}} 具有最大值。在该式中:

大多数当代蒙特卡洛树搜索的实现都是基于UCT的一些变形。

相关

  • 哲学家哲学家(英语:Philosopher),哲学的研究者,对哲学怀抱兴趣,拥有广泛的知识,并且能够利用这些知识来解决特定的哲学问题。根据欧洲哲学传统,哲学家研究的主题包括美学、伦理学、知识论
  • 阿夸维特阿夸维特(Aquavit, Akvavit),是主要生产于斯堪的纳维亚地区的一种加味蒸馏酒,酒精浓度一般为40%,其历史可追溯至15世纪。阿夸维特与伏特加的主原料相近,为谷类与马铃薯,而其特殊香
  • 班森级驱逐舰班森级驱逐舰(英语:Benson class destroyer)是美国海军在二次大战以前以及进行中建造的驱逐舰级,改采锅炉和轮机室交错配置方式提高生存力。前六艘在1938会计年度交由伯利恒钢铁
  • 奥尼尔小托马斯·菲利普·“提普”·奥尼尔(英语:Thomas Phillip "Tip" O'Neill Jr. ,1912年12月9日-1994年1月5日)是一位美国民主党籍政治人物,于1977-1987年间任美国众议院议长,1953-19
  • 欧洲联盟地理欧盟地理:欧盟是一个横跨欧洲多国的国际组织,面积达4,422,773平方公里。欧盟的范围东北至芬兰,西北至爱尔兰,东南至塞浦路斯(在地理上多被视为亚洲国家),西南至伊比利亚半岛。就面
  • 全巨里站全巨里站(韩语:전거리역)是朝鲜民主主义人民共和国咸镜北道会宁市的一个铁路车站,属于咸北线。咸北线
  • 金容云金容云(朝鲜语:김용운/金容雲 ,1927年9月6日-2020年5月30日),韩国数学史家,汉阳大学名誉教授,韩国数学文化研究所所长。1927年生于东京。1946年入早稻田大学,后回到全罗南道罗州的老
  • 商为正商为正(?-?),字尚德,号燕阳,浙江绍兴府会稽县人,民籍,明朝政治人物。浙江乡试第十五名,隆庆五年(1571年)登辛未科二甲第六十二名进士。选刑部贵州司主事。适朝议改各部主事为御史,遂任江西
  • 筋骨草属筋骨草属(学名:)是唇形科下的一个属,为一年生或多年生草本植物。该属共有40—50种,分布于东半球温带地区。
  • 小原雅博小原雅博(日语:小原雅博,1955年-)日本外交官,日本驻上海总领事。