长短期记忆

✍ dations ◷ 2025-08-23 00:36:46 #长短期记忆


长短期记忆(英语:Long Short-Term Memory,LSTM)是一种时间循环神经网络(RNN),论文首次发表于1997年。由于独特的设计结构,LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。

LSTM的表现通常比时间循环神经网络及隐马尔科夫模型(HMM)更好,比如用在不分段连续手写识别上。2009年,用LSTM构建的人工神经网络模型赢得过ICDAR手写识别比赛冠军。LSTM还普遍用于自主语音识别,2013年运用TIMIT自然演讲数据库达成17.7%错误率的纪录。作为非线性模型,LSTM可作为复杂的非线性单元用于构造更大型深度神经网络。

1997年,Sepp Hochreiter和于尔根·施密德胡伯提出LSTM。版本包含了cells, input以及output gates。

2014年,Kyunghyun Cho et al.发明了门控循环单元(英语:Gated recurrent unit)(GRU)。

2016年,谷歌用LSTM进行谷歌翻译。 苹果公司、微软和亚马逊公司也用LSTM生产产品,例如:iPhone、Amazon Alexa、等。中国公司也正在用LSTM。

LSTM是一种含有LSTM区块(blocks)或其他的一种类神经网络,文献或其他资料中LSTM区块可能被描述成智能网络单元,因为它可以记忆不定时间长度的数值,区块中有一个gate能够决定input是否重要到能被记住及能不能被输出output。

右图底下是四个S函数单元,最左边函数依情况可能成为区块的input,右边三个会经过gate决定input是否能传入区块,左边第二个为input gate,如果这里产出近似于零,将把这里的值挡住,不会进到下一层。左边第三个是forget gate,当这产生值近似于零,将把区块里记住的值忘掉。第四个也就是最右边的input为output gate,他可以决定在区块记忆中的input是否能输出 。

LSTM有很多个版本,其中一个重要的版本是GRU(Gated Recurrent Unit),根据谷歌的测试表明,LSTM中最重要的是Forget gate,其次是Input gate,最次是Output gate。

f t = σ g ( W f x t + U f h t 1 + b f ) i t = σ g ( W i x t + U i h t 1 + b i ) o t = σ g ( W o x t + U o h t 1 + b o ) c t = f t c t 1 + i t σ c ( W c x t + U c h t 1 + b c ) h t = o t σ h ( c t ) {displaystyle {begin{aligned}f_{t}&=sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\i_{t}&=sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\o_{t}&=sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\c_{t}&=f_{t}circ c_{t-1}+i_{t}circ sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\h_{t}&=o_{t}circ sigma _{h}(c_{t})end{aligned}}}


为了最小化训练误差,梯度下降法(Gradient descent)如:应用时序性倒传递算法(英语:Backpropagation through time),可用来依据错误修改每次的权重。梯度下降法在循环神经网络(RNN)中主要的问题初次在1991年发现,就是误差梯度随着事件间的时间长度成指数般的消失。当设置了LSTM 区块时,误差也随着倒回计算,从output影响回input阶段的每一个gate,直到这个数值被过滤掉。因此正常的倒循环类神经是一个有效训练LSTM区块记住长时间数值的方法。

Backpropagation through time(英语:Backpropagation through time)、BPTT

相关

  • 希梅拉希梅拉 (古希腊文:Ἱμέρα)为西西里岛北岸的的一个古希腊殖民地城市,曾经具有重要意义,其遗址位于泰尔米尼伊梅雷塞。希梅拉是西西里岛北岸地区第一个建立起来的古希腊城镇,也
  • 四川保路运动保路运动又称保路风潮,为清朝末期四川、湖北、湖南、广东等省反对清朝政府将地方准备兴建的川汉铁路、粤汉铁路进行国有化而发生的运动。其中四川省的运动最为激烈。四川保路
  • 项城市项城市,是中华人民共和国河南省周口市下辖的一个县级市。全市面积1083平方公里,总人口121(2011年)万人,共辖有466个行政村。项城市位于河南省东南部,居黄河冲积平原南部,淮河主要支
  • 马里奥·德·摩纳哥马里奥·德·摩纳哥(Mario del Monaco,1915年7月27日-1982年10月16日),著名意大利男高音歌剧唱家,被认为20世纪声音最响亮的男高音歌唱家。
  • 宫下健一郎宫下健一郎(日语:宮下 健一郎/みやした けんいちろう,1892年3月17日-1959年5月4日)为大日本帝国陆军军人。最终阶级陆军中将。1892年(明治25年)、宫下民雄的长男,于日本山形县米泽市
  • 交通管制交通管制旨在告知使用者在某些特定时间或地点之特定运具状况或规定,并引导或指导使用者采取适当之措施或行为,避免发生延滞或意外事故。为达成此目的而设置的称为“交通管制设
  • 张大经张大经(1719年-1773年),字子常,山西凤台人,清朝军事将领,武状元及第。张大经于乾隆十六年(1751年)登辛未科一甲一名武进士,授头等侍卫。乾隆二十年(1755年),任湖北武昌城守营参将。乾隆二
  • 卡克迪希卡克迪希(Kakdihi),是印度西孟加拉邦Medinipur县的一个城镇。总人口4879(2001年)。该地2001年总人口4879人,其中男性2531人,女性2348人;0—6岁人口530人,其中男265人,女265人;识字率75.
  • 扬-英沃·卡尔森-布拉克扬-英沃·卡尔森-布拉克(Jan-Ingwer Callsen-Bracker)是德国的一位职业足球运动员。在场上司职后卫。他现在效力于德甲球队奥格斯堡足球俱乐部。他也曾代表德国U21国家的参加
  • 2011年世界游泳锦标赛公开水域游泳比赛2011年世界游泳锦标赛公开水域游泳比赛为第十四届世界游泳锦标赛的其中一个比赛项目,共设有男子及女子5公里、10公里、25公里,以及5公里团体计时