学习自动机

✍ dations ◷ 2025-07-02 19:23:15 #学习自动机

学习自动机(learning automaton)是一种1970年代就开始研究的机器学习算法。学习自动机是由对以往对环境的经验来选择目前的动作。若环境是随机性的,且使用了马可夫决策过程,则这种学习自动机属于强化学习的算法。

学习自动机的研究可以追溯到苏联的Michael Lvovitch Tsetlin(英语:Michael Lvovitch Tsetlin)在1960年代所做的研究。他和同事们发表了数篇论文,说明如何用矩阵来描述自动机功能。此外,Tsetlin也在研究合理及集体性的自动机行为,以及自动机游戏的。美国学者在1960年代也有探讨学习自动机。不过一直到1974年Narendra及Thathachar在一调查报告中才开始使用“learning automaton”此一名词。

学习自动机是在一随机环境下的适应性决策产生单元,可以根据和环境重复的互动来学习最佳的动作。动作是依照特定的几率分布来决定,而系统会依采取特定行动后的环境反应来更新几率分布。

在强化学习的领域中,学习自动机的特征是马可夫决策过程。政策迭代者会直接处理π,这点其他强化学习的算法不同。另一个政策迭代者的例子是演化算法(英语:evolutionary algorithm)。

形式上,Narendra和Thathachar用以下的方式定义随机自动机

在其论文中,只探讨=,也就是是双射的学习自动机,因此可能会混淆内部状态及动作。

自动机的状态是对应离散状态离散参数马尔可夫链的状态。在每一个时间点=0,1,2,3,...,自动机会从环境读取输入,用来将()更新为(+1),根据几率分布(+1)选择后续状态,并输出其动作,而环境会读取其动作,其结果就是下一个时间的环境输入。常常会选用输入集合 = { 0,1 },其中的0和1对应环境“不惩罚”及“惩罚”的反应。因此学习自动机的目的是使“惩罚”的反应的数量降到最低,这种自动机和环境之间的回授回路称为P-模型。而Q-模型允许是有限集合中的任意值,S-模型是允许为区间 中的实数为。

有限动作集学习自动机(Finite action-set learning automata、FALA)是可能动作数量有限的学习自动机,若用较数学的说法来表示,是动作集合大小为有限值的学习自动机。

相关

  • 苏美尔语幼发拉底河 · 底格里斯河乌鲁克 · 乌尔 · 埃利都 启什 · 拉格什 · 尼普尔 阿卡德帝国 · 库提 乌尔第三王朝 · 伊辛第一王朝 · 拉尔萨 · 伊辛第二王朝古巴比
  • 托马斯·费舍善本图书馆托马斯·费舍善本图书馆(英语:Thomas Fisher Rare Book Library)是多伦多大学的一个图书馆,它拥有加拿大规模最大的对公众开放的善本收藏。图书馆内也存有大学的历年档案,一些加
  • 策略 (博弈论)在博弈论里,玩家在博弈中的策略是指在所有可能发生情况下的一套完整行动计划;这完全决定了玩家的行为。玩家的策略会决定玩家在博弈的任一阶段所采取的行动,不论这一阶段之前是
  • 青部青部,为汉字索引中的部首之一,康熙字典214个部首中的第一百七十四个(八划的则为第八个)。就繁体和简体中文中,青部归于八划部首。青部只以左方为部字。且无其他部首可用者将部首
  • 霍恩群岛霍伦群岛(法语:Îles Horn),又称富图那群岛(Îles Futuna),是瓦利斯和富图纳群岛的群岛,由富图纳岛和阿洛菲岛组成,总土地面积64平方公里。该群岛在1616年被荷兰航海家威廉·史旺腾与
  • 徐惟杰徐惟杰(1976年5月24日-),男,汉族,山东青岛人。现居上海,供职于SMG融媒体中心,主持《新闻报道》,偶尔代班《新闻夜线》。1995年从青岛二中高中毕业后就读于北京广播学院播音与主持艺术
  • 古里亚哈蒂古里亚哈蒂(Guriahati),是印度西孟加拉邦Koch Bihar县的一个城镇。总人口18896(2001年)。该地2001年总人口18896人,其中男性9602人,女性9294人;0—6岁人口2078人,其中男1066人,女1012
  • 德光车站德光车站位于台湾台南市东区,是台湾糖业股份有限公司关庙线的铁路车站。在废除之后因为所在地开发迅速,原址(台南大学荣誉校区附近)周围已经没有车站与轨道遗迹残留。德光车站于
  • 栃木县立特别支援学校宇都宫青叶高等学园栃木县立特别支援学校宇都宫青叶高等学园(日语:栃木県立特別支援学校宇都宮青葉高等学園/とちぎけんりつとくべつしえんがっこううつのみやあおばこうとうがくえん )是日本栃木县宇都宫市京町的公立特别支援学校(日语:特別支援学校),面向轻度智力障碍者,是栃木县唯一只设高等部(实行高级中等教育,相当于高等学校)的特别支援学校。截至2019年(令和元年)5月1日有30班共234名学生:6-7。该校重视让障碍者经济自立的职业教育,学生在校内营运社区商店“今日之森”,并在校外参与达3周的就业体验等活动。该校只设高等部,面
  • 高叔祥高叔祥(1750年-1807年),字业瑞,又字抟,号菊圃,河南邓州(今桑庄镇尹集村)人,清朝政治人物、同进士出身。高叔祥于乾隆四十九年(1784年)甲辰科进士。嘉庆十一年(1806年)奉旨接替马夔陛担任台湾府知府。父高名世,字际五,号思庵,乾隆二十二年(1757年)进士,曾任安徽祁门县令。