蒙特卡洛树搜索

✍ dations ◷ 2025-05-12 21:05:11 #组合博弈论,蒙地卡罗方法,人工智能,搜寻算法

蒙特卡洛树搜索(英语:Monte Carlo tree search;简称:MCTS)是一种用于某些决策过程的启发式搜索算法,最引人注目的是在游戏中的使用。一个主要例子是电脑围棋程序,它也用于其他棋盘游戏、即时电子游戏以及不确定性游戏。

基于随机抽样的蒙特卡洛方法可以追溯到20世纪40年代。布鲁斯·艾布拉姆森(Bruce Abramson)在他1987年的博士论文中探索了这一想法,称它“展示出了准确、精密、易估、有效可计算以及域独立的特性“。他深入试验了井字棋,然后试验了黑白棋和国际象棋的机器生成的评估函数。1992年,B·布鲁格曼(B. Brügmann)首次将其应用于对弈程序,但他的想法未获得重视。2006年堪称围棋领域蒙特卡洛革命的一年,雷米·库洛姆(Remi Coulom)描述了蒙特卡洛方法在游戏树搜索的应用并命名为蒙特卡洛树搜索。列文特·科奇什(Levente Kocsis)和乔鲍·塞派什瓦里(Csaba Szepesvári)开发了UCT算法,西尔万·热利(Sylvain Gelly)等人在他们的程序MoGo中实现了UCT。2008年,MoGo在九路围棋中达到段位水平,Fuego程序开始在九路围棋中战胜实力强劲的业余棋手。2012年1月,Zen程序在19路围棋上以3:1击败二段棋手约翰·特朗普(John Tromp)。

蒙特卡洛树搜索也被用于其他棋盘游戏程序,如六贯棋、三宝棋、亚马逊棋和印度斗兽棋;即时电子游戏,如《吃豆小姐(英语:Ms. Pac-Man)》、《神鬼寓言:传奇(英语:Fable Legends)》、《罗马II:全面战争》;不确定性游戏,如斯卡特、扑克、万智牌、卡坦岛。

蒙特卡洛树搜索的每个循环包括四个步骤:

每一个节点的内容代表

选择子结点的主要困难是:在较高平均胜率的移动后,在对深层次变型的利用和对少数模拟移动的探索,这二者中保持某种平衡。第一个在游戏中平衡利用与探索的公式被称为UCT(Upper Confidence Bounds to Trees,上限置信区间算法 ),由匈牙利国家科学院计算机与自动化研究所高级研究员列文特·科奇什与阿尔伯塔大学全职教授乔鲍·塞派什瓦里提出。UCT基于奥尔(Auer)、西萨-比安奇(Cesa-Bianchi)和费舍尔(Fischer)提出的UCB1公式,并首次由马库斯等人应用于多级决策模型(具体为马尔可夫决策过程)。科奇什和塞派什瓦里建议选择游戏树中的每个结点移动,从而使表达式 w i n i + c ln t n i {\displaystyle {\frac {w_{i}}{n_{i}}}+c{\sqrt {\frac {\ln t}{n_{i}}}}} 具有最大值。在该式中:

大多数当代蒙特卡洛树搜索的实现都是基于UCT的一些变形。

相关

  • 拉方丹亨利·拉方丹(Henri La Fontaine,1854年4月23日-1943年5月14日),比利时国际律师,1907年至1943年期间担任国际和平局局长。他获得了1913年诺贝尔和平奖。
  • 朝贡体制朝贡(拉丁语:tributum),又称进贡、上贡,是一方将财富以某种形式给予另一方,以表示顺从或结盟,尤其是君主国里臣民献上礼物给君主,或藩属国也会向宗主国献上礼物。这些礼物称为贡品。
  • 台湾大联盟台湾职业棒球大联盟(Taiwan Major League Professional Baseball;英文缩写:TML),简称台湾大联盟、台湾职棒大联盟,是台湾第二个职业棒球联盟,成立于1996年,2003年初解散。全联盟共有
  • 布拉克山黑山(Black Hills)是位于美国南达科他州和怀俄明州交界处的一个山区。最高点黑麋鹿峰高2208米。黑山曾是美国原住民的聚居地,也是原住民心中的圣山。然而在19世纪后期,由于谣传
  • 催产素 (药物)催产素(Oxytocin),其药物名称为Pitocin,也有其他名称,是由人工合成的催产素。其医疗用途包括使子宫收缩(引产)、催生、以及产后出血的止血。若用在这些用途上,会用肌肉注射或静脉注
  • 萨德尔巴克角萨德尔巴克角(英语:Saddleback Point)是南极洲的海岬,位于南设得兰群岛的象岛北岸,处于怀尔德角以西2公里,该海岬被国际鸟盟列为重点鸟区,是约10,000双南极企鹅的栖息地,现时由南极
  • 阿布·穆罕默德·阿德纳尼阿布·穆罕默德·阿德纳尼(阿拉伯语:أبو محمد العدناني‎,1977年-2016年8月30日),是极端伊斯兰恐怖主义组织“伊斯兰国”的一名领袖,曾担任“伊斯兰国”的新闻发言
  • 伊万哥罗德伊万哥罗德(俄语:Ивангород;爱沙尼亚语:Jaanilinn)是俄罗斯列宁格勒州的一个城镇,位于圣彼得堡以西159千米,座落纳尔瓦河右岸俄罗斯与爱沙尼亚的边境处,与爱沙尼亚城市纳尔
  • AtomAtom 可以指:
  • 魏秀仁魏秀仁(1818年-1873年),字子安,又字子敦,侯官县东门外(今福州郊区洪山镇东门村塔头)人,清代小说家。外族祖为闽县谢震。父魏本唐,嘉庆己卯举人。魏子安生于嘉庆二十三年,道光二十六年(18