哈密顿-雅可比-贝尔曼方程

✍ dations ◷ 2025-09-10 14:00:16 #偏微分方程,动态规划

哈密顿-雅可比-贝尔曼方程(Hamilton-Jacobi-Bellman equation,简称HJB方程)是一个偏微分方程,是最佳控制的中心。HJB方程式的解是针对特定动态系统及相关成本函数下,可以有最小成本的控制实值函数。

若只在某一个区域求解,HJB方程是一个必要条件,若是在整个状态空间下求解,HJB方程是充份必要条件。其解是针对开回路的系统,但也允许针对闭回路系统求解。HJB方程也可以扩展到随机系统。

一些经典的变分问题,例如最速降线问题,可以用此方法求解。

HJB方程的基础是以1950年代由理查德·贝尔曼及其同仁提出的动态规划。对应的离散系统方程式一般称为贝尔曼方程。在连续时间的结果可以视为由卡尔·雅可比及威廉·哈密顿提出,经典力学中哈密顿-雅可比方程的延伸。

考虑在时间 {\displaystyle } 为标量成本函数,为计算其最终状态时效力时或经济值的函数,()为系统状态向量,(0)假设已知,及()是想要求得的控制向量,在 0 ≤  ≤ 。

此系统也需满足下式:

其中可以根据状态向量决定向量后续的变化。

针对上述简单的系统,哈密顿-雅可比-贝尔曼微分方程如下:

需符合以下条件

其中 a b {\displaystyle a\cdot b} 到 + ,可得:

注意最后一项的泰勒展开式如下:

其中o()是泰勒展开式中的高阶项,若在等式两侧删除((), ),除以,并取趋近为零的极限,可得上述定义的HJB方程。

HJB方程一般会用逆向归纳法(英语:Backward induction)求解,也就是从 t = T {\displaystyle t=T} 往前求解到 t = 0 {\displaystyle t=0}

若对整个状态空间求解,HJB方程是最佳解的充份必要条件。若可以求解 V {\displaystyle V} ,就可以找到达到最小成本的控制 u {\displaystyle u}

一般而言,HJB方程不会有一个传统光滑函数的解。为了这些情形发展了许多广义解的表示方式,包括皮埃尔-路易·利翁及迈克尔·克兰德尔(英语:Michael Crandall)的粘性解,Andrei Izmailovich Subbotin的极小化极大算法等。

上述的作法主要是应用贝尔曼的最优化原理,以及在时间上由最终时间倒推求解,针对随机控制问题也可以用类似的作法求最佳解。考虑以下的问题

此时 ( X t ) t {\displaystyle (X_{t})_{t\in }\,\!} 为随机过程,而 ( u t ) t {\displaystyle (u_{t})_{t\in }\,\!} 为控制变数。首先使用贝尔曼方程,再用伊藤引理将 V ( X t , t ) {\displaystyle V(X_{t},t)} 展开,可以得到以下的随机HJB方程。

其中 A {\displaystyle {\mathcal {A}}} 为随机微分运算子,以下是最终时间的限制条件。

注意此时已没有随机性了。此例中后者的 V {\displaystyle V\,\!} 不一定是原来方程式的解,它只是可能解之一,需要再作验证。此技巧常用在财务数学中,决定在市场中的最佳投资策略(例如像默顿的投资组合问题(英语:Merton's portfolio problem))。

下例是一个有线性随机动态特性的系统,有二次式的成本。若系统动态为

而成本以以下的速度累积 C ( x t , u t ) = r ( t ) u t 2 / 2 + q ( t ) x t 2 / 2 {\displaystyle C(x_{t},u_{t})=r(t)u_{t}^{2}/2+q(t)x_{t}^{2}/2} ,则HJB方程为

假设价值函数是二次式,可以将一般的Riccati方程用在价值函数的海森矩阵中,即为线性二次高斯控制(LQG控制)。

相关

  • 醋酸铵乙酸铵是一个有机盐,分子式为CH3COONH4,白色粉末,水溶液呈中性。可通过乙酸和氨反应得到。可以用作分析试剂、肉类防腐剂,或者制药等。
  • 约洛优洛县(Yolo County)是美国加州中北部的一县,毗邻萨克拉门托县、索拉诺县、纳帕县、湖县、科卢萨县、和萨特县等加州县份。县首府位于伍德兰市(Woodland)。根据2000年人口普查,优
  • 虚拟社区虚拟社区,又称电子社群或电脑社群,是互联网用户交互后,产生的一种社会群体,由各式各样的网络社群所构成。虚拟社区一词在Howard Rheingold于1993年出版的“虚拟社区”一书被介绍
  • 中医保健中医保健 是个中医医学的一个分支,包含有丰富的内容,大体上可以分为以下几个部分:中药保健、按摩、中医食疗等。中医保健是个博大精深的研究课题,很多研究的内容不能想西医那样
  • 提奥多·莱谢蒂茨基提奥多·莱谢蒂茨基(波兰语:Theodor Leschetizky,1830年6月22日-1915年11月14日),波兰钢琴家,作曲家,音乐教育家。早年被父亲带到维也纳跟彻尔尼学习钢琴,11岁和由莫札特的儿子弗朗兹
  • 杜夫峰坐标:77°47′S 162°27′E / 77.783°S 162.450°E / -77.783; 162.450杜夫峰(英语:Duff Peak)是南极洲的山峰,位于维多利亚地,处于休斯冰川源头,属于库克里山的一部分,海拔高度1,9
  • 龚时旸龚时旸(1927年1月6日-),浙江上虞人。中华人民共和国政治人物、工程师。1949年,毕业于交通大学土木系毕业,一直从事治理黄河的勘测、规划、设计、科研和管理工作。历任黄河水利委员
  • 融掉低等生物2《融掉低等生物2》(英语:)是一部1991年美国科幻恐怖喜剧片,由艾瑞克·卢齐尔(英语:Eric Louzil)和唐纳德·G·杰克森(英语:Donald G. Jackson)共同执导,布瑞克·布朗斯基(英语:Brick Bron
  • 孙尔准《清代学者象传》孙尔准像《奉天录》、《泰云堂集》、《游黄公涧记》孙尔准(1772年-1832年),字平叔,一字莱甫,号戒庵、戒菴,江苏金匮(今无锡)人,清朝政治人物,进士出身。广西巡抚孙永清
  • 林其祥林其祥(1881年6月29日-1951年11月),台湾南投县埔里镇人。于台湾日治时期曾担任过埔里街长、台中州协议会员等职,此外也担任过能高自动车株式会社社长。他也是埔里恒吉宫第一任的