学习自动机

✍ dations ◷ 2025-11-09 03:15:15 #学习自动机

学习自动机(learning automaton)是一种1970年代就开始研究的机器学习算法。学习自动机是由对以往对环境的经验来选择目前的动作。若环境是随机性的,且使用了马可夫决策过程,则这种学习自动机属于强化学习的算法。

学习自动机的研究可以追溯到苏联的Michael Lvovitch Tsetlin(英语:Michael Lvovitch Tsetlin)在1960年代所做的研究。他和同事们发表了数篇论文,说明如何用矩阵来描述自动机功能。此外,Tsetlin也在研究合理及集体性的自动机行为,以及自动机游戏的。美国学者在1960年代也有探讨学习自动机。不过一直到1974年Narendra及Thathachar在一调查报告中才开始使用“learning automaton”此一名词。

学习自动机是在一随机环境下的适应性决策产生单元,可以根据和环境重复的互动来学习最佳的动作。动作是依照特定的几率分布来决定,而系统会依采取特定行动后的环境反应来更新几率分布。

在强化学习的领域中,学习自动机的特征是马可夫决策过程。政策迭代者会直接处理π,这点其他强化学习的算法不同。另一个政策迭代者的例子是演化算法(英语:evolutionary algorithm)。

形式上,Narendra和Thathachar用以下的方式定义随机自动机

在其论文中,只探讨=,也就是是双射的学习自动机,因此可能会混淆内部状态及动作。

自动机的状态是对应离散状态离散参数马尔可夫链的状态。在每一个时间点=0,1,2,3,...,自动机会从环境读取输入,用来将()更新为(+1),根据几率分布(+1)选择后续状态,并输出其动作,而环境会读取其动作,其结果就是下一个时间的环境输入。常常会选用输入集合 = { 0,1 },其中的0和1对应环境“不惩罚”及“惩罚”的反应。因此学习自动机的目的是使“惩罚”的反应的数量降到最低,这种自动机和环境之间的回授回路称为P-模型。而Q-模型允许是有限集合中的任意值,S-模型是允许为区间 中的实数为。

有限动作集学习自动机(Finite action-set learning automata、FALA)是可能动作数量有限的学习自动机,若用较数学的说法来表示,是动作集合大小为有限值的学习自动机。

相关

  • 苯六酚苯六酚,又称六羟基苯,是一种有机化合物,化学式为C6H6O6或C6(OH)6。它是苯的六羟基取代物。苯六酚是一种可溶于热水的晶体,熔点大于310°C。它可以用肌醇(环己六醇)来制备。苯六酚
  • 游走鲸走鲸(学名:Ambulocetus natans),又名陆行鲸、游走鲸,陆行鲸科走鲸属的一种,是一种早期的鲸鱼,可以同时行走及游泳。走鲸是过渡化石,显示了鲸鱼如何从陆上的哺乳动物演化出来。走鲸的
  • 霍华德·锡达霍华德·锡达(英语:Howard Cedar,1943年1月12日-),在美国出生的以色列分子生物学家、耶路撒冷希伯来大学的遗传学家和名誉教授。锡达的主要工作是研究DNA甲基化在基因调控中的作用
  • 涅尔瓦玛尔库斯·寇克乌斯·涅尔瓦(Marcus Cocceius Nerva,30年11月8日-98年1月27日,又译内尔瓦、教会文献汉译尼法王)。他是古罗马帝国五贤帝时代的第一位君主(在位期96年-98年),也是最
  • 铣工铣工,是机械工业中操作铣床的工种,也是机械行业的常见工种。铣工操作铣床可以加工平面,成型面如燕尾槽,甚至可以铣削齿轮。铣工需要掌握铣床的构造与基本维护和操作方法,各种公量
  • 不死之草不死草是中国古代传说中的一种植物,又名“养神芝”。叶子像菰草,苗丛生,长三四尺,生长在十洲三岛中的祖洲,被仙人种在琼田里。将叶子覆盖在死人的脸上,可使人死而复生,活人服食可长
  • QΓ函数qΓ函数(q-Gamma function)是Γ函数的q模拟 Γ q ( z ) =
  • 弗兰科·多纳托弗兰科·多纳托(Franco Donato,1981年9月8日-)是一名埃及射击运动员,主攻定向飞靶项目。他曾获得非洲射击锦标赛男子定向飞靶冠军。
  • 安杰莉卡·辛格顿·范布伦安杰莉卡·辛格顿·范布伦(英语:Angelica Singleton Van Buren,1818年2月13日-1877年12月29日)是亚伯拉罕·范布伦(英语:Abraham Van Buren)的妻子、第八任美国总统马丁·范布伦的儿媳。安杰莉卡在她丈夫的母亲汉娜·范布伦逝世且总统未有续娶的情况下,代理了美国第一夫人的职务,同时是美国史上最为年轻的白宫女主人。
  • 杰斐逊圣经杰斐逊圣经(英文:Jefferson Bible)是由第3任美国总统《美国独立宣言》主要起草人托马斯·杰斐逊自《新约圣经》删改而成。托马斯·杰斐逊把《新约圣经》前四章中引用的神灵干预和奇迹干预的部分删除了。在杰斐逊的圣经中,没有记载福音故事的开始和结束,没有关于天使的报喜,处女生育或天使出现在牧羊人面前的故事,甚至没有提到复活。杰斐逊发现了这样一位耶稣:他是一位伟大的常识老师,他的信息传递的是绝对的爱和服务的道德观,他的真实性不依赖于三位一体的教条,甚至不依赖于耶稣是上帝唯一的启示。托马斯·杰斐逊被认为信