长短期记忆

✍ dations ◷ 2025-11-13 09:41:36 #长短期记忆


长短期记忆(英语:Long Short-Term Memory,LSTM)是一种时间循环神经网络(RNN),论文首次发表于1997年。由于独特的设计结构,LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。

LSTM的表现通常比时间循环神经网络及隐马尔科夫模型(HMM)更好,比如用在不分段连续手写识别上。2009年,用LSTM构建的人工神经网络模型赢得过ICDAR手写识别比赛冠军。LSTM还普遍用于自主语音识别,2013年运用TIMIT自然演讲数据库达成17.7%错误率的纪录。作为非线性模型,LSTM可作为复杂的非线性单元用于构造更大型深度神经网络。

1997年,Sepp Hochreiter和于尔根·施密德胡伯提出LSTM。版本包含了cells, input以及output gates。

2014年,Kyunghyun Cho et al.发明了门控循环单元(英语:Gated recurrent unit)(GRU)。

2016年,谷歌用LSTM进行谷歌翻译。 苹果公司、微软和亚马逊公司也用LSTM生产产品,例如:iPhone、Amazon Alexa、等。中国公司也正在用LSTM。

LSTM是一种含有LSTM区块(blocks)或其他的一种类神经网络,文献或其他资料中LSTM区块可能被描述成智能网络单元,因为它可以记忆不定时间长度的数值,区块中有一个gate能够决定input是否重要到能被记住及能不能被输出output。

右图底下是四个S函数单元,最左边函数依情况可能成为区块的input,右边三个会经过gate决定input是否能传入区块,左边第二个为input gate,如果这里产出近似于零,将把这里的值挡住,不会进到下一层。左边第三个是forget gate,当这产生值近似于零,将把区块里记住的值忘掉。第四个也就是最右边的input为output gate,他可以决定在区块记忆中的input是否能输出 。

LSTM有很多个版本,其中一个重要的版本是GRU(Gated Recurrent Unit),根据谷歌的测试表明,LSTM中最重要的是Forget gate,其次是Input gate,最次是Output gate。

f t = σ g ( W f x t + U f h t 1 + b f ) i t = σ g ( W i x t + U i h t 1 + b i ) o t = σ g ( W o x t + U o h t 1 + b o ) c t = f t c t 1 + i t σ c ( W c x t + U c h t 1 + b c ) h t = o t σ h ( c t ) {displaystyle {begin{aligned}f_{t}&=sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\i_{t}&=sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\o_{t}&=sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\c_{t}&=f_{t}circ c_{t-1}+i_{t}circ sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\h_{t}&=o_{t}circ sigma _{h}(c_{t})end{aligned}}}


为了最小化训练误差,梯度下降法(Gradient descent)如:应用时序性倒传递算法(英语:Backpropagation through time),可用来依据错误修改每次的权重。梯度下降法在循环神经网络(RNN)中主要的问题初次在1991年发现,就是误差梯度随着事件间的时间长度成指数般的消失。当设置了LSTM 区块时,误差也随着倒回计算,从output影响回input阶段的每一个gate,直到这个数值被过滤掉。因此正常的倒循环类神经是一个有效训练LSTM区块记住长时间数值的方法。

Backpropagation through time(英语:Backpropagation through time)、BPTT

相关

  • 托马斯·费舍善本图书馆托马斯·费舍善本图书馆(英语:Thomas Fisher Rare Book Library)是多伦多大学的一个图书馆,它拥有加拿大规模最大的对公众开放的善本收藏。图书馆内也存有大学的历年档案,一些加
  • 威廉·B·班克黑德威廉·B·班克黑德国家森林(英语:William B. Bankhead National Forest)是亚拉巴马州的四座美国国家森林之一,占地面积181,230英亩(733平方千米),内有亚拉巴马州境内唯一一条国家荒
  • 澳大利亚总理 澳大利亚主题澳大利亚总理是澳大利亚联邦政府的首脑,由澳大利亚总督代表君主任命。《澳大利亚宪法》没有明确提到总理一职,因此总理的存在和职权皆由惯例来确定。按照威斯敏
  • 李娅莎李娅莎(1982年12月17日-),出生于上海,为台湾乐坛史上第一位发行台语专辑并荣获金曲台语歌后的中国大陆歌手。李娅莎在17岁时参加了一次比赛之后,就被索尼音乐相中于2000年签约,推出
  • 雅达瓦王朝雅达瓦王朝(英语:Yadava dynasty),或译耶达婆,也称苏纳王朝(Seuna)。是南印度的一个印度教王朝,鼎盛时期疆域包括了今天的马哈拉施特拉邦、北部卡纳塔克邦和部分的中央邦。首都德瓦
  • 玛格丽塔·嘉丝帕瑞安玛格丽塔·嘉丝帕瑞安(英语:Margarita Gasparyan,1994年9月1日-)是俄罗斯职业网球女运动员,2010年转职业。她的WTA生涯最高单打排名为第41(2016年3月21日)。
  • 哈利勒·穆特鲁哈里尔·穆特鲁(Halil Mutlu,1973年7月14日-),原名哈里尔·阿里耶夫(Halil Aliev),出身于保加利亚的土耳其举重运动员,三度奥运会金牌得主。穆特鲁的经历非常类似于他的偶像,另一位著
  • 森口尚史森口尚史(1964年-)是日本医学研究员,东京大学医学部附属医院特任研究员。他宣称从新型万能细胞(iPS细胞)培育出心肌细胞,移植到6名严重心力衰竭病患进行治疗,这是利用iPS细胞做的世
  • 巴特略之家巴特尤公寓(Casa Batlló)是建筑师安东尼·高迪同若热普-玛丽亚·茹若尔(Josep Maria Jujol)合作装修改造的一座建筑。该建筑建于1877年,在1904年到1906年间接受改造。位于加泰罗
  • 安多尼·伊劳拉 安多尼·伊劳拉·沙格拿(巴斯克语:Andoni Iraola Sagarna,1982年6月22日-),是一名前西班牙足球运动员,司职后卫。他拥有斗志和良好的传球能力,他的最佳位置是右翼。他出身于毕