蒙特卡洛树搜索

✍ dations ◷ 2025-11-21 03:58:17 #组合博弈论,蒙地卡罗方法,人工智能,搜寻算法

蒙特卡洛树搜索(英语:Monte Carlo tree search;简称:MCTS)是一种用于某些决策过程的启发式搜索算法,最引人注目的是在游戏中的使用。一个主要例子是电脑围棋程序,它也用于其他棋盘游戏、即时电子游戏以及不确定性游戏。

基于随机抽样的蒙特卡洛方法可以追溯到20世纪40年代。布鲁斯·艾布拉姆森(Bruce Abramson)在他1987年的博士论文中探索了这一想法,称它“展示出了准确、精密、易估、有效可计算以及域独立的特性“。他深入试验了井字棋,然后试验了黑白棋和国际象棋的机器生成的评估函数。1992年,B·布鲁格曼(B. Brügmann)首次将其应用于对弈程序,但他的想法未获得重视。2006年堪称围棋领域蒙特卡洛革命的一年,雷米·库洛姆(Remi Coulom)描述了蒙特卡洛方法在游戏树搜索的应用并命名为蒙特卡洛树搜索。列文特·科奇什(Levente Kocsis)和乔鲍·塞派什瓦里(Csaba Szepesvári)开发了UCT算法,西尔万·热利(Sylvain Gelly)等人在他们的程序MoGo中实现了UCT。2008年,MoGo在九路围棋中达到段位水平,Fuego程序开始在九路围棋中战胜实力强劲的业余棋手。2012年1月,Zen程序在19路围棋上以3:1击败二段棋手约翰·特朗普(John Tromp)。

蒙特卡洛树搜索也被用于其他棋盘游戏程序,如六贯棋、三宝棋、亚马逊棋和印度斗兽棋;即时电子游戏,如《吃豆小姐(英语:Ms. Pac-Man)》、《神鬼寓言:传奇(英语:Fable Legends)》、《罗马II:全面战争》;不确定性游戏,如斯卡特、扑克、万智牌、卡坦岛。

蒙特卡洛树搜索的每个循环包括四个步骤:

每一个节点的内容代表

选择子结点的主要困难是:在较高平均胜率的移动后,在对深层次变型的利用和对少数模拟移动的探索,这二者中保持某种平衡。第一个在游戏中平衡利用与探索的公式被称为UCT(Upper Confidence Bounds to Trees,上限置信区间算法 ),由匈牙利国家科学院计算机与自动化研究所高级研究员列文特·科奇什与阿尔伯塔大学全职教授乔鲍·塞派什瓦里提出。UCT基于奥尔(Auer)、西萨-比安奇(Cesa-Bianchi)和费舍尔(Fischer)提出的UCB1公式,并首次由马库斯等人应用于多级决策模型(具体为马尔可夫决策过程)。科奇什和塞派什瓦里建议选择游戏树中的每个结点移动,从而使表达式 w i n i + c ln t n i {\displaystyle {\frac {w_{i}}{n_{i}}}+c{\sqrt {\frac {\ln t}{n_{i}}}}} 具有最大值。在该式中:

大多数当代蒙特卡洛树搜索的实现都是基于UCT的一些变形。

相关

  • 科恩症候群科恩综合症是一种遗传病,其会导致婴幼儿时生长迟滞与低肌张力、青少年后中广型肥胖、重度到极重度智能障碍。其在阿米甚人的发生率约为1/15000,而其它地方则未明。遗传方面,其
  • 邱奇-图灵论题邱奇-图灵论题(英语:Church–Turing thesis,又称邱奇-图灵猜想,邱奇论题,邱奇猜想,图灵论题)是一个关于可计算性理论的假设。该假设论述了关于函数特性的,可有效计算的函数值(用更现
  • 孟中印缅区域合作论坛孟中印缅区域合作论坛(英语:Bangladesh–China–India–Myanmar Forum for Regional Cooperation,缩写BCIM)是中印缅孟四个亚洲国家为了实现贸易和投资更大的融合而设立的次区域
  • 肯尼斯·麦克塞肯尼斯·约翰·麦克塞(英语:Kenneth John Macksey,1923年7月1日-2005年11月30日)是一位英国军事历史作家,研究领域以第二次世界大战的题材为主。麦克塞曾于二战服役于英国皇家装甲
  • 宅男宅男一词是台湾的互联网文化兴盛后,根据“宅”字在中文里的意思,对日语借词“御宅族”重新定义,扭曲原本含意并经约定俗成后,创造出的汉语新词汇。连同“宅女”,于2012年正式收录
  • .ke.ke为肯尼亚国家及地区顶级域(ccTLD)的域名。A .ac .ad .ae .af .ag .ai .al .am .ao .aq .ar .as .at .au .aw .ax .az  B .ba .bb .bd .be .bf .bg .bh .bi .bj .bm .bn
  • 长野稙藤长野稙藤(1504年—1562年6月6日/1561年1月23日)是日本战国时代于伊势国的战国大名。长野工藤氏第14代当主。父亲是第13代当主长野通藤。在永正元年(1504年)出生。幼名金吾。在永
  • NGC 2502NGC 2502是位于船底座的一个星系。它的赤经为 755.9,赤纬为 -52° 18′,大小 2.1′。
  • TR-125主力战车TR-125主力战车(罗马尼亚语:Tanc Românesc 125, TR125,意为罗马尼亚125型坦克)是一款由罗马尼亚以苏联T-72为基础自行改装的主力战车。名称中的“125”代表的是其所使用的125毫
  • 林斤澜林斤澜(1923年6月1日-2009年4月11日),男,浙江温州人,中国短篇小说作家。曾任《北京文学》主编,中国作协北京分会副主席等,2007年北京作协为他颁发了“终身成就奖”。