蒙特卡洛树搜索

✍ dations ◷ 2025-10-07 22:05:47 #组合博弈论,蒙地卡罗方法,人工智能,搜寻算法

蒙特卡洛树搜索(英语:Monte Carlo tree search;简称:MCTS)是一种用于某些决策过程的启发式搜索算法,最引人注目的是在游戏中的使用。一个主要例子是电脑围棋程序,它也用于其他棋盘游戏、即时电子游戏以及不确定性游戏。

基于随机抽样的蒙特卡洛方法可以追溯到20世纪40年代。布鲁斯·艾布拉姆森(Bruce Abramson)在他1987年的博士论文中探索了这一想法,称它“展示出了准确、精密、易估、有效可计算以及域独立的特性“。他深入试验了井字棋,然后试验了黑白棋和国际象棋的机器生成的评估函数。1992年,B·布鲁格曼(B. Brügmann)首次将其应用于对弈程序,但他的想法未获得重视。2006年堪称围棋领域蒙特卡洛革命的一年,雷米·库洛姆(Remi Coulom)描述了蒙特卡洛方法在游戏树搜索的应用并命名为蒙特卡洛树搜索。列文特·科奇什(Levente Kocsis)和乔鲍·塞派什瓦里(Csaba Szepesvári)开发了UCT算法,西尔万·热利(Sylvain Gelly)等人在他们的程序MoGo中实现了UCT。2008年,MoGo在九路围棋中达到段位水平,Fuego程序开始在九路围棋中战胜实力强劲的业余棋手。2012年1月,Zen程序在19路围棋上以3:1击败二段棋手约翰·特朗普(John Tromp)。

蒙特卡洛树搜索也被用于其他棋盘游戏程序,如六贯棋、三宝棋、亚马逊棋和印度斗兽棋;即时电子游戏,如《吃豆小姐(英语:Ms. Pac-Man)》、《神鬼寓言:传奇(英语:Fable Legends)》、《罗马II:全面战争》;不确定性游戏,如斯卡特、扑克、万智牌、卡坦岛。

蒙特卡洛树搜索的每个循环包括四个步骤:

每一个节点的内容代表

选择子结点的主要困难是:在较高平均胜率的移动后,在对深层次变型的利用和对少数模拟移动的探索,这二者中保持某种平衡。第一个在游戏中平衡利用与探索的公式被称为UCT(Upper Confidence Bounds to Trees,上限置信区间算法 ),由匈牙利国家科学院计算机与自动化研究所高级研究员列文特·科奇什与阿尔伯塔大学全职教授乔鲍·塞派什瓦里提出。UCT基于奥尔(Auer)、西萨-比安奇(Cesa-Bianchi)和费舍尔(Fischer)提出的UCB1公式,并首次由马库斯等人应用于多级决策模型(具体为马尔可夫决策过程)。科奇什和塞派什瓦里建议选择游戏树中的每个结点移动,从而使表达式 w i n i + c ln t n i {\displaystyle {\frac {w_{i}}{n_{i}}}+c{\sqrt {\frac {\ln t}{n_{i}}}}} 具有最大值。在该式中:

大多数当代蒙特卡洛树搜索的实现都是基于UCT的一些变形。

相关

  • 罗得岛罗德岛(希腊语:Ρόδος Ródos )是爱琴海上的一个岛屿,位于佐则卡尼萨群岛的最东端,它也是该群岛的主岛和希腊所辖最东的岛屿,距离土耳其仅18公里。其名来自于古希腊语中的“Ρ
  • 支部,为汉字索引中的部首之一,康熙字典214个部首中的第六十五个(四划的则为第五个)。在中文中,支部归于四划部首。支部通常是从左、右方均可为部字。且无其他部首可用者将部首归
  • 轻链肌球蛋白轻链(英语:Myosin light chain)是肌球蛋白的一个亚基。肌球蛋白轻链拥有自己的肽链,这点与重链不同。它们不被包括在肌球蛋白家族中,但对形成肌球蛋白酶催化超分子复合体
  • 圣克鲁斯加利福尼亚大学圣克鲁兹加利福尼亚大学 (英文:University of California, Santa Cruz;缩写:UCSC),简称圣克鲁兹加大,又常被称为加利福尼亚大学圣克鲁兹分校,是十所加利福尼亚大学之一,位于美国加
  • 欧亚大草原欧亚大草原是横贯亚欧大陆的广阔温带草原、稀树草原和疏灌丛地带,西起匈牙利、乌克兰,东至蒙古和中国东北,也是当代亚欧大陆桥经过的地区。下分满洲草原、蒙古草原、乌拉尔-里
  • 孟津县孟津县,在中华人民共和国河南省西北部、北靠黄河,是洛阳市下辖的一个县。东距郑州134公里,南与洛阳市区毗临。人口43万人,总面积为758.7平方公里。全县辖8镇4乡,226个行政村,县政
  • 波斯豹Panthera pardus saxicolor Pocock, 1927波斯豹(学名:Panthera pardus ciscaucasica)也称高加索豹,是体型最大的豹亚种,原来只生活在土耳其东部、高加索山脉和伊朗北部、土库曼斯
  • 复旦大学附属华山医院复旦大学附属华山医院,与中国红十字会华山医院一个机构两块牌子,是位于中国上海市静安区乌鲁木齐中路12号的一所三级甲等医院(1992年首批通过),是复旦大学的附属医院、复旦大学上
  • 阿尔内·迈尔阿尔内·迈尔(德语:Arne Maier,德语发音:.mw-parser-output .IPA{font-family:"Charis SIL","Doulos SIL","Linux Libertine","Segoe UI","Lucida Sans Unicode","Code2000","Ge
  • 一次编写,到处编译“一次编写,到处编译”(英语:Write once, compile anywhere,简写为WOCA)是一种编写跨平台计算机程序的哲学,旨在让计算机程序能够在不同的系统平台上编译而不必修改其源代码。和太