蒙特卡洛树搜索

✍ dations ◷ 2025-08-01 05:54:07 #组合博弈论,蒙地卡罗方法,人工智能,搜寻算法

蒙特卡洛树搜索(英语:Monte Carlo tree search;简称:MCTS)是一种用于某些决策过程的启发式搜索算法,最引人注目的是在游戏中的使用。一个主要例子是电脑围棋程序,它也用于其他棋盘游戏、即时电子游戏以及不确定性游戏。

基于随机抽样的蒙特卡洛方法可以追溯到20世纪40年代。布鲁斯·艾布拉姆森(Bruce Abramson)在他1987年的博士论文中探索了这一想法,称它“展示出了准确、精密、易估、有效可计算以及域独立的特性“。他深入试验了井字棋,然后试验了黑白棋和国际象棋的机器生成的评估函数。1992年,B·布鲁格曼(B. Brügmann)首次将其应用于对弈程序,但他的想法未获得重视。2006年堪称围棋领域蒙特卡洛革命的一年,雷米·库洛姆(Remi Coulom)描述了蒙特卡洛方法在游戏树搜索的应用并命名为蒙特卡洛树搜索。列文特·科奇什(Levente Kocsis)和乔鲍·塞派什瓦里(Csaba Szepesvári)开发了UCT算法,西尔万·热利(Sylvain Gelly)等人在他们的程序MoGo中实现了UCT。2008年,MoGo在九路围棋中达到段位水平,Fuego程序开始在九路围棋中战胜实力强劲的业余棋手。2012年1月,Zen程序在19路围棋上以3:1击败二段棋手约翰·特朗普(John Tromp)。

蒙特卡洛树搜索也被用于其他棋盘游戏程序,如六贯棋、三宝棋、亚马逊棋和印度斗兽棋;即时电子游戏,如《吃豆小姐(英语:Ms. Pac-Man)》、《神鬼寓言:传奇(英语:Fable Legends)》、《罗马II:全面战争》;不确定性游戏,如斯卡特、扑克、万智牌、卡坦岛。

蒙特卡洛树搜索的每个循环包括四个步骤:

每一个节点的内容代表

选择子结点的主要困难是:在较高平均胜率的移动后,在对深层次变型的利用和对少数模拟移动的探索,这二者中保持某种平衡。第一个在游戏中平衡利用与探索的公式被称为UCT(Upper Confidence Bounds to Trees,上限置信区间算法 ),由匈牙利国家科学院计算机与自动化研究所高级研究员列文特·科奇什与阿尔伯塔大学全职教授乔鲍·塞派什瓦里提出。UCT基于奥尔(Auer)、西萨-比安奇(Cesa-Bianchi)和费舍尔(Fischer)提出的UCB1公式,并首次由马库斯等人应用于多级决策模型(具体为马尔可夫决策过程)。科奇什和塞派什瓦里建议选择游戏树中的每个结点移动,从而使表达式 w i n i + c ln t n i {\displaystyle {\frac {w_{i}}{n_{i}}}+c{\sqrt {\frac {\ln t}{n_{i}}}}} 具有最大值。在该式中:

大多数当代蒙特卡洛树搜索的实现都是基于UCT的一些变形。

相关

  • 尚柏朗滤器尚柏朗过滤器,或称巴斯德-尚柏朗过滤器,是由查理斯·尚柏朗于1884年发明的陶瓷制滤水器。其原理和伯克菲尔德过滤器(英语:Berkefeld filter)类似。该过滤器由陶瓷制的内外管构成
  • 波皮盖河波皮盖河是俄罗斯的河流,位于克拉斯诺亚尔斯克边疆区,最终注入哈坦加湾,河道全长532公里,流域面积50,300平方公里,在每年10月开始结冰,直至翌年6月。此河流经波皮盖陨石坑。
  • 蟹足肿瘢痕疙瘩(keloid)也称为蟹足肿,是一种皮肤对创伤的过度反应,主要表现为局部成纤维细胞的过度增生和胶原蛋白的大量合成。瘢痕疙瘩的纤维组织通常超出创伤的范围,累及周围正常组织
  • 再见再见,又称再会,再次聚会或相见。是用于道别场合的礼貌口语。也可能指:
  • 工程兵团美国陆军工程兵团(英语:United States Army Corps of Engineers,简称为:USACE)是隶属于美国联邦政府和美国陆军的军级单位,由37,000名美国陆军官兵和其他联邦文职人员组成,是世界
  • 迦南诗选《迦南诗选》是一本基督教圣诗集。其作者吕小敏为中国河南省南阳市方城县乡村女基督徒,未受过音乐训练,但是在二十多年间,陆续创作《一位耶稣牵动着万国的心》等一千余首诗歌,并
  • 辛菲罗波尔国际机场辛菲罗波尔国际机场(乌克兰语:Міжнародний аеропорт "Сімферополь"、俄语:Международный аэропорт "Симферопо
  • 塞内茨色涅茨(斯洛伐克语:Senec) 是斯洛伐克西南部, 布拉迪斯拉发州, 色涅茨县的一个城市。色涅茨不但是色涅茨县的首府所在地, 而且是一个众所周知的夏季旅游和娱乐中心。这个城市不
  • 高桥伸夫 (政治学家)高桥伸夫(1960年-)是一名日本政治学家,専门研究现代中国政治史。出身于北海道出身,目前担任庆应义塾大学法学部教授。
  • 工业路工业路(Gong Ye Rd.)是高雄市林园区东边的主要道路,亦行经林园工业区,地理位置接近高屏溪出海口,呈近乎南北向,共分成三个部分。工业一路东起接工业二路,途中于溪州一路、溪州二路