长短期记忆

✍ dations ◷ 2025-11-16 13:15:11 #长短期记忆


长短期记忆(英语:Long Short-Term Memory,LSTM)是一种时间循环神经网络(RNN),论文首次发表于1997年。由于独特的设计结构,LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。

LSTM的表现通常比时间循环神经网络及隐马尔科夫模型(HMM)更好,比如用在不分段连续手写识别上。2009年,用LSTM构建的人工神经网络模型赢得过ICDAR手写识别比赛冠军。LSTM还普遍用于自主语音识别,2013年运用TIMIT自然演讲数据库达成17.7%错误率的纪录。作为非线性模型,LSTM可作为复杂的非线性单元用于构造更大型深度神经网络。

1997年,Sepp Hochreiter和于尔根·施密德胡伯提出LSTM。版本包含了cells, input以及output gates。

2014年,Kyunghyun Cho et al.发明了门控循环单元(英语:Gated recurrent unit)(GRU)。

2016年,谷歌用LSTM进行谷歌翻译。 苹果公司、微软和亚马逊公司也用LSTM生产产品,例如:iPhone、Amazon Alexa、等。中国公司也正在用LSTM。

LSTM是一种含有LSTM区块(blocks)或其他的一种类神经网络,文献或其他资料中LSTM区块可能被描述成智能网络单元,因为它可以记忆不定时间长度的数值,区块中有一个gate能够决定input是否重要到能被记住及能不能被输出output。

右图底下是四个S函数单元,最左边函数依情况可能成为区块的input,右边三个会经过gate决定input是否能传入区块,左边第二个为input gate,如果这里产出近似于零,将把这里的值挡住,不会进到下一层。左边第三个是forget gate,当这产生值近似于零,将把区块里记住的值忘掉。第四个也就是最右边的input为output gate,他可以决定在区块记忆中的input是否能输出 。

LSTM有很多个版本,其中一个重要的版本是GRU(Gated Recurrent Unit),根据谷歌的测试表明,LSTM中最重要的是Forget gate,其次是Input gate,最次是Output gate。

f t = σ g ( W f x t + U f h t 1 + b f ) i t = σ g ( W i x t + U i h t 1 + b i ) o t = σ g ( W o x t + U o h t 1 + b o ) c t = f t c t 1 + i t σ c ( W c x t + U c h t 1 + b c ) h t = o t σ h ( c t ) {displaystyle {begin{aligned}f_{t}&=sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\i_{t}&=sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\o_{t}&=sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\c_{t}&=f_{t}circ c_{t-1}+i_{t}circ sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\h_{t}&=o_{t}circ sigma _{h}(c_{t})end{aligned}}}


为了最小化训练误差,梯度下降法(Gradient descent)如:应用时序性倒传递算法(英语:Backpropagation through time),可用来依据错误修改每次的权重。梯度下降法在循环神经网络(RNN)中主要的问题初次在1991年发现,就是误差梯度随着事件间的时间长度成指数般的消失。当设置了LSTM 区块时,误差也随着倒回计算,从output影响回input阶段的每一个gate,直到这个数值被过滤掉。因此正常的倒循环类神经是一个有效训练LSTM区块记住长时间数值的方法。

Backpropagation through time(英语:Backpropagation through time)、BPTT

相关

  • 心室纤维颤动心房扑动(Atrial Flutter),源自心房异位节律点,每分钟约发出激动波250~350个。其特征为P波外型相似且快速地出现,且呈锯齿状。因为这种激动波是源自于异位节律点,故称之为扑动波
  • SA-18防空导弹9K38 针式导弹(俄语:9К38 «Игла́»; 英语:needle)是一种苏联制的便携式防空导弹(SAM),"9K38" 是苏联命名系统,美国国防部称为SA-18,北约代号Grouse(松鸡)。短程便携式防空导弹研
  • 内维尔·马斯基林内维尔·马斯基林FRS(英语:Reverend Dr Nevil Maskelyne,1732年10月6日-1811年2月9日),英国第5位皇家天文学家。马斯基林于1765年至1811年任皇家天文学家。马林斯基就读于剑桥大学
  • 第一次英国锡克战争第一次英国锡克战争(First Anglo-Sikh War)是指在1845年至1846年期间,英国东印度公司与锡克帝国之间的一场局部战争。这场战争以英国东印度公司的胜利而告终,也使得锡克帝国的部
  • 何继高何继高(?-?),字汝登,浙江绍兴府山阴县人,民籍,明朝政治人物。嘉靖四十三年(1664年)甲子科顺天府乡试第五十一名。万历十一年(1583年)癸未科进士。累官江西参政。曾祖父何诏,曾任太子少保工
  • 德雷克·贝尔德雷克·贝尔(英语:Jared Drake Bell,1986年6月27日-)是美国的一位演员和创作歌手。他自1990年代初期就开始出演电影和电视剧,出演过麻吉向前冲等作品。
  • 费德里科·法齐奥费德里科·法齐奥(西班牙语:Federico Julián Fazio,1987年3月17日-)是一名阿根廷足球运动员,主要担任中后卫,现时效力意大利足球甲级联赛俱乐部罗马。法齐奥出身于阿根廷家乡俱乐
  • 英属婆罗洲日占时期太平洋战争爆发时,婆罗洲可以分为五个区域。其中位于北方的四个由英国统治:砂拉越、文莱、纳闽和英属北婆罗洲。剩余的南方大片土地则是荷属东印度(今印尼)的管辖范围。由于婆罗
  • 恶魔城 (动画)《恶魔城》(英语:)是一部美国成人电视动画,由阿迪·尚卡尔开发和制片,改编自Konami的1989年电子游戏《恶魔城传说》。主要描述拉鲁夫·贝尔蒙特(Ralph Belmont)及同伙一同对抗德拉
  • 朱作霖朱作霖(1932年11月-),男,浙江义乌人,中华人民共和国政治人物,曾任中华海外联谊会副会长,全国政协机关党组副书记,全国政协副秘书长,第七届全国政协委员,第八、九届全国政协常务委员。