蒙特卡洛树搜索

✍ dations ◷ 2025-09-12 08:26:25 #组合博弈论,蒙地卡罗方法,人工智能,搜寻算法

蒙特卡洛树搜索(英语:Monte Carlo tree search;简称:MCTS)是一种用于某些决策过程的启发式搜索算法,最引人注目的是在游戏中的使用。一个主要例子是电脑围棋程序,它也用于其他棋盘游戏、即时电子游戏以及不确定性游戏。

基于随机抽样的蒙特卡洛方法可以追溯到20世纪40年代。布鲁斯·艾布拉姆森(Bruce Abramson)在他1987年的博士论文中探索了这一想法,称它“展示出了准确、精密、易估、有效可计算以及域独立的特性“。他深入试验了井字棋,然后试验了黑白棋和国际象棋的机器生成的评估函数。1992年,B·布鲁格曼(B. Brügmann)首次将其应用于对弈程序,但他的想法未获得重视。2006年堪称围棋领域蒙特卡洛革命的一年,雷米·库洛姆(Remi Coulom)描述了蒙特卡洛方法在游戏树搜索的应用并命名为蒙特卡洛树搜索。列文特·科奇什(Levente Kocsis)和乔鲍·塞派什瓦里(Csaba Szepesvári)开发了UCT算法,西尔万·热利(Sylvain Gelly)等人在他们的程序MoGo中实现了UCT。2008年,MoGo在九路围棋中达到段位水平,Fuego程序开始在九路围棋中战胜实力强劲的业余棋手。2012年1月,Zen程序在19路围棋上以3:1击败二段棋手约翰·特朗普(John Tromp)。

蒙特卡洛树搜索也被用于其他棋盘游戏程序,如六贯棋、三宝棋、亚马逊棋和印度斗兽棋;即时电子游戏,如《吃豆小姐(英语:Ms. Pac-Man)》、《神鬼寓言:传奇(英语:Fable Legends)》、《罗马II:全面战争》;不确定性游戏,如斯卡特、扑克、万智牌、卡坦岛。

蒙特卡洛树搜索的每个循环包括四个步骤:

每一个节点的内容代表

选择子结点的主要困难是:在较高平均胜率的移动后,在对深层次变型的利用和对少数模拟移动的探索,这二者中保持某种平衡。第一个在游戏中平衡利用与探索的公式被称为UCT(Upper Confidence Bounds to Trees,上限置信区间算法 ),由匈牙利国家科学院计算机与自动化研究所高级研究员列文特·科奇什与阿尔伯塔大学全职教授乔鲍·塞派什瓦里提出。UCT基于奥尔(Auer)、西萨-比安奇(Cesa-Bianchi)和费舍尔(Fischer)提出的UCB1公式,并首次由马库斯等人应用于多级决策模型(具体为马尔可夫决策过程)。科奇什和塞派什瓦里建议选择游戏树中的每个结点移动,从而使表达式 w i n i + c ln t n i {\displaystyle {\frac {w_{i}}{n_{i}}}+c{\sqrt {\frac {\ln t}{n_{i}}}}} 具有最大值。在该式中:

大多数当代蒙特卡洛树搜索的实现都是基于UCT的一些变形。

相关

  • 蜉蝣长鞘蜉蝣亚目 Schistonota 短鞘蜉蝣亚目 Pannota.mw-parser-output ruby.zy{text-align:justify;text-justify:none}.mw-parser-output ruby.zy>rp{user-select:none}.mw-pa
  • 乔丹娜·布鲁斯特乔丹娜·布鲁斯特(英语:Jordana Brewster,1980年4月26日-)出生于巴拿马首都巴拿马城,为美国著名女演员。较知名的是在美国动作片“速度与激情系列”中扮演蜜雅·泰瑞托一角。1980
  • 阿克塞尔·施普林格玛莎·埃勒森·梅耶(Martha Else Meyer、结于1933年) 厄娜·佛莉达·柏塔·霍姆(Erna Frieda Berta Holm、结于1939年) 萝丝玛莉·艾尔森(Rosemarie Alsen、结于1953年) 海格尔·
  • 许春樵许春樵(1962年-),安徽天长人,中华人民共和国作家,无党派人士,中国作家协会全委会委员,第九、十、十一届安徽省政协委员。1983年毕业于安徽师范大学中文系,1991年毕业于华中师范大学中
  • 周邦彦周邦彦(1056年-1121年),字美成,号清真居士,钱塘(今浙江杭州)人,中国北宋末期著名的词人、音乐家。宋徽宗时曾任大晟乐府提举官,进一步完善了词的体制形式。其词在婉约词人中长期被尊为
  • 萝伦·科汉萝伦·科汉(Lauren Cohan,1982年1月7日-),美国女演员。萝伦·科汉出生于1982年新泽西州的切里希尔(英语:Cherry Hill, New Jersey),父亲是美国人,母亲是苏格兰人,她的童年移居英国前期
  • 马力欧 (台湾艺人)马力欧(1971年7月27日-),台湾男演员、搞笑艺人、主持人马力欧成长于高雄眷村,毕业于国光艺校,与艺人刘畊宏是同班同学。艺名“马力欧”乃早期任职于餐厅时的昵称。退伍后,他在餐厅
  • 四氟锑酸铵四氟锑酸铵是一种无机化合物,化学式为NH4SbF4,它有毒且具有腐蚀性,于265 °C分解,放出有毒的氟化氢气体和氨气,同时生成三氟化锑(SbF3)。四氟锑酸铵可由氟化铵溶液和三氟化锑的反应
  • 缅因州同性婚姻2012年11月6日缅因州选民公投以53%对47%批准同性婚姻,法律在2012年12月29日生效。缅因州,马里兰州和华盛顿州成为美国首次由民众投票批准同性婚姻合法化的州,此前都是由法院或
  • 戴文德·莫罕戴文德·莫罕(Devinder Mohan),前印度男子羽毛球运动员,曾经在印度全国锦标赛获得5次男单冠军、4次男双冠军及1次混双冠军。戴文德·莫罕与另一名印度人普拉卡什·纳特在1942至1