哈密顿-雅可比-贝尔曼方程

✍ dations ◷ 2025-06-08 04:11:40 #偏微分方程,动态规划

哈密顿-雅可比-贝尔曼方程(Hamilton-Jacobi-Bellman equation,简称HJB方程)是一个偏微分方程,是最佳控制的中心。HJB方程式的解是针对特定动态系统及相关成本函数下,可以有最小成本的控制实值函数。

若只在某一个区域求解,HJB方程是一个必要条件,若是在整个状态空间下求解,HJB方程是充份必要条件。其解是针对开回路的系统,但也允许针对闭回路系统求解。HJB方程也可以扩展到随机系统。

一些经典的变分问题,例如最速降线问题,可以用此方法求解。

HJB方程的基础是以1950年代由理查德·贝尔曼及其同仁提出的动态规划。对应的离散系统方程式一般称为贝尔曼方程。在连续时间的结果可以视为由卡尔·雅可比及威廉·哈密顿提出,经典力学中哈密顿-雅可比方程的延伸。

考虑在时间 {\displaystyle } 为标量成本函数,为计算其最终状态时效力时或经济值的函数,()为系统状态向量,(0)假设已知,及()是想要求得的控制向量,在 0 ≤  ≤ 。

此系统也需满足下式:

其中可以根据状态向量决定向量后续的变化。

针对上述简单的系统,哈密顿-雅可比-贝尔曼微分方程如下:

需符合以下条件

其中 a b {\displaystyle a\cdot b} 到 + ,可得:

注意最后一项的泰勒展开式如下:

其中o()是泰勒展开式中的高阶项,若在等式两侧删除((), ),除以,并取趋近为零的极限,可得上述定义的HJB方程。

HJB方程一般会用逆向归纳法(英语:Backward induction)求解,也就是从 t = T {\displaystyle t=T} 往前求解到 t = 0 {\displaystyle t=0}

若对整个状态空间求解,HJB方程是最佳解的充份必要条件。若可以求解 V {\displaystyle V} ,就可以找到达到最小成本的控制 u {\displaystyle u}

一般而言,HJB方程不会有一个传统光滑函数的解。为了这些情形发展了许多广义解的表示方式,包括皮埃尔-路易·利翁及迈克尔·克兰德尔(英语:Michael Crandall)的粘性解,Andrei Izmailovich Subbotin的极小化极大算法等。

上述的作法主要是应用贝尔曼的最优化原理,以及在时间上由最终时间倒推求解,针对随机控制问题也可以用类似的作法求最佳解。考虑以下的问题

此时 ( X t ) t {\displaystyle (X_{t})_{t\in }\,\!} 为随机过程,而 ( u t ) t {\displaystyle (u_{t})_{t\in }\,\!} 为控制变数。首先使用贝尔曼方程,再用伊藤引理将 V ( X t , t ) {\displaystyle V(X_{t},t)} 展开,可以得到以下的随机HJB方程。

其中 A {\displaystyle {\mathcal {A}}} 为随机微分运算子,以下是最终时间的限制条件。

注意此时已没有随机性了。此例中后者的 V {\displaystyle V\,\!} 不一定是原来方程式的解,它只是可能解之一,需要再作验证。此技巧常用在财务数学中,决定在市场中的最佳投资策略(例如像默顿的投资组合问题(英语:Merton's portfolio problem))。

下例是一个有线性随机动态特性的系统,有二次式的成本。若系统动态为

而成本以以下的速度累积 C ( x t , u t ) = r ( t ) u t 2 / 2 + q ( t ) x t 2 / 2 {\displaystyle C(x_{t},u_{t})=r(t)u_{t}^{2}/2+q(t)x_{t}^{2}/2} ,则HJB方程为

假设价值函数是二次式,可以将一般的Riccati方程用在价值函数的海森矩阵中,即为线性二次高斯控制(LQG控制)。

相关

  • 高卢高卢(法语:Gaule;拉丁语:Gallia),古罗马人把居住在现今西欧的法国、比利时、意大利北部、荷兰南部、瑞士西部和德国南部莱茵河西岸一带的凯尔特人统称为高卢人。在后来的英语中,“G
  • 讯号产生器信号发生器,通常细分为函数信号发生器、任意波形发生器、射频微波信号发生器、逻辑信号形发生器等等,是一个用于产生重复或不重复的电子信号(模拟或数字电子技术领域均可)的电子
  • 羊乳羊乳,俗称羊奶,是家羊的乳汁。在现代文化中,相较于直接饮用,羊乳更常用于制造乳制品。许多著名的乳酪便是以羊乳制成,如希腊的菲达起司、法国的罗克福干酪、西班牙的曼彻格起司以
  • 布鲁尔坐标:44°47′13″N 68°45′17″W / 44.78696°N 68.754709°W / 44.78696; -68.754709布鲁尔(英语:Brewer)是美国缅因州佩诺布斯科特县的的一个城市,位于佩诺布斯科特河西岸、
  • 纽约西点西点(West Point)是美国纽约州奥兰治县的一个普查规定居民点,1802年由托马斯·杰斐逊建立,当时的目的便是作为美国联邦军队驻地。此地因西点军校而出名,后者在英语中亦称“West P
  • 顺其衡顺其衡(法语:Jules-Auguste Coqset, C.M.,1847年6月28日-1917年2月4日),法国遣使会士,天主教直隶西南代牧区宗座代牧。1847年6月28日,顺其衡出生于法国Ambleny 。1871年6月8日(23岁),顺
  • 1,3-丙磺酸内酯1,3-丙磺酸内酯是一种有机硫化合物,化学式为(CH2)3SO3,它是一种磺酸内酯,为环状的磺酸酯化合物。它是容易熔化的无色晶体。它可由烯丙醇在酸催化下和亚硫酸氢钠反应得到。1,3-
  • 章绘章绘(1416年-1476年),字尚素,号勉斋,浙江鄞县(今属宁波市海曙区)人,明朝政治人物。生于永乐十四年(1416年)丙申十月十五日。正统四年(1439年)登己未科进士。授南京兵部车驾主事。正统七年
  • ZoteroZotero /zoʊˈtɛroʊ/是一款自由及开放源代码的文献管理软件,管理书目信息(如作者、标题、出版社、摘要、阅读笔记等)及相关材料(如PDF文件等)。其最著名的特性是作为浏览器插
  • 柳河藩柳河藩(日语:柳河藩/やながわはん  */?),又称为柳川藩,是日本筑后国江户时代期间的一个藩属领地。藩厅位于柳川城(福冈县柳川市)藩主是田中氏及立花氏。在田中氏管治期间,曾经拥有