蒙特卡洛树搜索

✍ dations ◷ 2025-10-28 11:41:45 #组合博弈论,蒙地卡罗方法,人工智能,搜寻算法

蒙特卡洛树搜索(英语:Monte Carlo tree search;简称:MCTS)是一种用于某些决策过程的启发式搜索算法,最引人注目的是在游戏中的使用。一个主要例子是电脑围棋程序,它也用于其他棋盘游戏、即时电子游戏以及不确定性游戏。

基于随机抽样的蒙特卡洛方法可以追溯到20世纪40年代。布鲁斯·艾布拉姆森(Bruce Abramson)在他1987年的博士论文中探索了这一想法,称它“展示出了准确、精密、易估、有效可计算以及域独立的特性“。他深入试验了井字棋,然后试验了黑白棋和国际象棋的机器生成的评估函数。1992年,B·布鲁格曼(B. Brügmann)首次将其应用于对弈程序,但他的想法未获得重视。2006年堪称围棋领域蒙特卡洛革命的一年,雷米·库洛姆(Remi Coulom)描述了蒙特卡洛方法在游戏树搜索的应用并命名为蒙特卡洛树搜索。列文特·科奇什(Levente Kocsis)和乔鲍·塞派什瓦里(Csaba Szepesvári)开发了UCT算法,西尔万·热利(Sylvain Gelly)等人在他们的程序MoGo中实现了UCT。2008年,MoGo在九路围棋中达到段位水平,Fuego程序开始在九路围棋中战胜实力强劲的业余棋手。2012年1月,Zen程序在19路围棋上以3:1击败二段棋手约翰·特朗普(John Tromp)。

蒙特卡洛树搜索也被用于其他棋盘游戏程序,如六贯棋、三宝棋、亚马逊棋和印度斗兽棋;即时电子游戏,如《吃豆小姐(英语:Ms. Pac-Man)》、《神鬼寓言:传奇(英语:Fable Legends)》、《罗马II:全面战争》;不确定性游戏,如斯卡特、扑克、万智牌、卡坦岛。

蒙特卡洛树搜索的每个循环包括四个步骤:

每一个节点的内容代表

选择子结点的主要困难是:在较高平均胜率的移动后,在对深层次变型的利用和对少数模拟移动的探索,这二者中保持某种平衡。第一个在游戏中平衡利用与探索的公式被称为UCT(Upper Confidence Bounds to Trees,上限置信区间算法 ),由匈牙利国家科学院计算机与自动化研究所高级研究员列文特·科奇什与阿尔伯塔大学全职教授乔鲍·塞派什瓦里提出。UCT基于奥尔(Auer)、西萨-比安奇(Cesa-Bianchi)和费舍尔(Fischer)提出的UCB1公式,并首次由马库斯等人应用于多级决策模型(具体为马尔可夫决策过程)。科奇什和塞派什瓦里建议选择游戏树中的每个结点移动,从而使表达式 w i n i + c ln t n i {\displaystyle {\frac {w_{i}}{n_{i}}}+c{\sqrt {\frac {\ln t}{n_{i}}}}} 具有最大值。在该式中:

大多数当代蒙特卡洛树搜索的实现都是基于UCT的一些变形。

相关

  • 尾骨尾骨(拉丁文:os coccygis), 是三角形,由后面的3至5块尾椎接合而成。脊柱Vertebral column.Left Levator ani from within.Median sagittal section of male pelvis.Median sagit
  • 湿婆陨石坑湿婆陨石坑(Shiva crater)是位于印度洋洋底的一个大型地质构造,位置在孟买之西。由古生物学家萨克·查特吉(Sankar Chatterjee)以印度教中的破坏与再造之神-湿婆命名。湿婆陨石坑
  • 印加文明印加帝国(克丘亚语:Tawantinsuyu)是15世纪至16世纪时位于南美洲的古老帝国,亦是前哥伦布时期美洲最大的帝国,印加帝国的政治、军事和文化中心位于今日秘鲁的库斯科。印加帝国的重
  • 新爱尔兰岛新爱尔兰岛(New Ireland island,巴布亚皮钦语:Niu Ailan),属于巴布亚新几内亚的一个岛屿,是太平洋西南部俾斯麦群岛主要岛屿之一,位于新不列颠岛东北,隔圣乔治海峡与其相望,全岛东西
  • 二氧化五碳二氧化五碳是一种由碳和氧组成的化合物,二氧化五碳分子在室温下在溶液中能稳定存在。它由G. Maier于1988年成功合成。它可由均苯三酚(C6H6O3)(有酚与酮两种形式)热分解或2,4,6三(
  • 大阪府第15区大阪府第15区是日本众议院的选区,始于1994年。北海道 13 | 山形县 4 | 静冈县 9 | 岛根县 3 | 大分县 4福井县 3 | 山梨县 3 | 德岛县 3 | 高知县 3 | 佐贺县 3青森县 4 | 岩
  • 巴天酸模巴天酸模(学名:)为蓼科酸模属下的一个种。
  • 息止安所息止安所(拉丁语:Requiescat in pace)是一种简短的墓志铭,或是希望逝者永享安宁的短句。此语的英文缩写是“R.I.P.”,通常以全称“Rest in peace”或缩写的形式刻在墓碑上,作为碑
  • 苏楞额苏楞额(1742年-1827年),字智堂,辉发那拉氏,内务府满洲正白旗人,清朝官员,官至工部尚书。曾任镶红旗满洲副都统、工部右侍郎。嘉庆十四年六月甲寅,接替缊布,担任清朝工部尚书,后革。由秀
  • 丽拉·柯卓娃丽拉·柯卓娃(Lila Kedrova)是法国演员,她曾获得奥斯卡最佳女配角奖。