时序差分学习

✍ dations ◷ 2025-02-23 01:34:43 #时序差分学习

时序差分学习（英语：Temporal difference learning，TD learning）是一类无模型强化学习方法的统称，这种方法强调通过从当前价值函数的估值中自举的方式进行学习。这一方法需要像蒙特卡罗方法那样对环境进行取样，并根据当前估值对价值函数进行更新，宛如动态规划算法。

和蒙特卡罗法所不同的是，时序差分学习可以在最终结果出来前对其参数进行不断地调整，使其预测更为准确，而蒙特卡罗法只能在最终结果产生后进行调整。这是一种自举式的算法，具体的例子如下：

假设你需要预测星期六的天气，并且手头上正好有相关的模型。按照一般的方法，你只有到星期六才能根据结果对你的模型进行调整。然而，当到了星期五时，你应该对星期六的天气有很好的判断。因此在星期六到来之前，你就能够调整你的模型以预测星期六的天气。

时序差分学习与动物学领域中的动物认知存在一定的关联。

${displaystyle TD(0)}$ ${displaystyle TD(0)}$ 表格法是最简单的时序差分学习法之一，为随即近似法的一个特例。这种方法用于估计在策略 ${displaystyle pi }$ $pi$ 之下有限状态马尔可夫决策过程的状态价值函数。现用 ${displaystyle V^{pi }}$ ${displaystyle V^{pi }}$ 表示马尔可夫决策过程的状态价值函数，其中涉及到状态 ${displaystyle (s_{t})_{tin mathbb {N} }}$ ${displaystyle (s_{t})_{tin mathbb {N} }}$ 、奖励 ${displaystyle (r_{t})_{tin mathbb {N} }}$ ${displaystyle (r_{t})_{tin mathbb {N} }}$ 、学习折扣率 ${displaystyle gamma }$ $gamma$ 以及策略 ${displaystyle pi }$ $pi$ ：

为了方便起见，我们将上述表达式中表示动作的符号去掉，所得 ${displaystyle V^{pi }}$ ${displaystyle V^{pi }}$ 满足哈密顿-雅可比-贝尔曼方程：

因此 ${displaystyle r_{0}+gamma V^{pi }(s_{1})}$ ${displaystyle r_{0}+gamma V^{pi }(s_{1})}$ 乃是 ${displaystyle V^{pi }(s)}$ ${displaystyle V^{pi }(s)}$ 的无偏估计，基于这一观察结果可以设计用于估计 ${displaystyle V^{pi }}$ ${displaystyle V^{pi }}$ 的算法。在这一算法中，首先用任意值对表格 ${displaystyle V(s)}$ ${displaystyle V(s)}$ 进行初始化，使马尔可夫决策过程中的每个状态都有一个对应值，并选择一个正的学习率 ${displaystyle alpha }$ $alpha$ 。我们接下来要做的便是反复对策略 ${displaystyle pi }$ $pi$ 进行评估，并根据所获得的奖励 ${displaystyle r}$ $r$ 按照如下方式对旧状态下的价值函数进行更新：

其中 ${displaystyle s}$ $s$ 和 ${displaystyle s'}$ $s'$ 分别表示新旧状态，而 ${displaystyle r+gamma V(s')}$ ${displaystyle r+gamma V(s')}$ 便是所谓的TD目标（TD target）。

TD-λ算法是理查德·S·萨顿基于亚瑟·李·塞谬尔的时序差分学习早期研究成果而创立的算法，这一算法最著名的应用是杰拉尔德·特索罗开发的TD-Gammon程序。该程序可以用于学习双陆棋对弈，甚至能够到达人类专家水准。这一算法中的 ${displaystyle lambda }$ $lambda$ 值为迹线衰减参数，介于0和1之间。当 ${displaystyle lambda }$ $lambda$ 越大时，很久之后的奖励将越被重视。当 ${displaystyle lambda =1}$ $lambda=1$ 时，将会变成与蒙特卡罗强化学习算法并行的学习算法。

时序差分学习算法在神经科学领域亦得到了重视。研究人员发现腹侧被盖区与黑质中多巴胺神经元的放电率和时序差分学习算法中的误差函数具有相似之处，该函数将会回传任何给定状态或时间步长的估计奖励与实际收到奖励之间的差异。当误差函数越大时，这意味着预期奖励与实际奖励之间的差异也就越大。

多巴胺细胞的行为也和时序差分学习存在相似之处。在一次实验中，研究人员训练一只猴子将刺激与果汁奖励联系起来，并对多巴胺细胞的表现进行了测量。一开始猴子接受果汁时，其多巴胺细胞的放电率会增加，这一结果表明预期奖励和实际奖励存在差异。不过随着训练次数的增加，预期奖励也会发生变化，导致其巴胺细胞的放电率不再显著增加。而当没有获得预期奖励时，其多巴胺细胞的放电率会降低。由此可以看出，这一特征与时序差分学习中的误差函数有着相似之处。

目前很多关于神经功能的研究都是建立在时序差分学习的基础之上的，这一方法还被用于对精神分裂症的治疗及研究多巴胺的药理学作用。

相关

时间箭头物理学在微观的层次几乎完全是时间对称的，这意味着物理学定律在时间流易的方向倒转之后仍然保持为真。但是在宏观层次却显得并不是那么回事：时间存在着明显的方向性。时间箭头
嵯峨天皇嵯峨天皇（日语：嵯峨天皇／さがてんのう Saga Tennō；786年9月7日－842年7月15日），日本第52代天皇（在位809年5月18日-823年4月16日）。讳神野（日语：神野／かみの Kamino）。擅长书法、诗文，被
金本位制经济政策财政政策 · 货币政策贸易政策 · 投资政策农业政策 · 产业政策能源政策 · 社会政策政策组合税收政策 · 预算政策政府收入 · 政府支出政府预算 · 赤字政府债
新加坡图书馆列表这是一个位于新加坡的图书馆列表：这些图书馆由国家图书馆管理局负责管理。
中原昌也中原昌也（なかはらまさや、1970年6月4日－）は、日本音乐家、电影评论家、小说家。1970年6月4日东京青山出生，1988年开始热爱音乐，曾是暴力温泉艺者（Violent Onsen Geisha）一员，后来组
约翰·B·泰勒约翰·布赖恩·泰勒（John Brian Taylor ，1946年12月8日－），美国货币政策方面的专家。出生于纽约州扬克斯，目前任斯坦福大学经济学教授。泰勒曾被视为2009年诺贝尔经济学奖潜在得主
磷酸氢二铵磷酸氢二铵，或称磷酸氢铵、磷酸一氢铵，是一种白色的晶体，水溶液呈中性。分子式为(NH4)2HPO4，溶于水，加热至155℃分解，但在室温也有可能逐渐的分解释放出氨气，而形成磷酸二氢铵。
米切尔·拉森米切尔·阿龙·拉森（英语：Mitchell Aaron Larson，1976年8月5日－）是一位美国编剧和作家，曾撰写数个动画剧集，包括《亲亲麻吉》、《我的麻吉是猴子》、《神秘小镇大冒险》、《小小宠物店》和最为人熟知的《小马宝莉：友谊就是魔法》等。在不同作品的谢启中曾被称为米奇·拉森（Mitch Larson）、M·A·拉森（M.A. Larson）（仅在《小马宝莉：友谊就是魔法》中）、米切尔·拉森（Mitchell Larson）（较少）。
(甲基环戊二烯基)三羰基锰(甲基环戊二烯基)三羰基锰是一种有机锰化合物，化学式为C9H7MnO3。它可由甲基环戊二烯基钠和五羰基溴化锰在四氢呋喃中反应制得。它在一氧化碳气氛中被钠还原，可以得到十羰基二锰。它和三苯基氢化锡反应，可以得到MeC5H4(CO)2Mn(H)SnPh3和MeC5H4(CO)2Mn(SnPh3)2（其中Me为甲基，Ph为苯基）。
分数单位 N ⊆ Z ⊆ Q ⊆ R ⊆ C {\displaystyle \mathbb {N} \subseteq \mathbb {Z} \subseteq