长短期记忆

✍ dations ◷ 2025-07-11 11:36:00 #长短期记忆


长短期记忆(英语:Long Short-Term Memory,LSTM)是一种时间循环神经网络(RNN),论文首次发表于1997年。由于独特的设计结构,LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。

LSTM的表现通常比时间循环神经网络及隐马尔科夫模型(HMM)更好,比如用在不分段连续手写识别上。2009年,用LSTM构建的人工神经网络模型赢得过ICDAR手写识别比赛冠军。LSTM还普遍用于自主语音识别,2013年运用TIMIT自然演讲数据库达成17.7%错误率的纪录。作为非线性模型,LSTM可作为复杂的非线性单元用于构造更大型深度神经网络。

1997年,Sepp Hochreiter和于尔根·施密德胡伯提出LSTM。版本包含了cells, input以及output gates。

2014年,Kyunghyun Cho et al.发明了门控循环单元(英语:Gated recurrent unit)(GRU)。

2016年,谷歌用LSTM进行谷歌翻译。 苹果公司、微软和亚马逊公司也用LSTM生产产品,例如:iPhone、Amazon Alexa、等。中国公司也正在用LSTM。

LSTM是一种含有LSTM区块(blocks)或其他的一种类神经网络,文献或其他资料中LSTM区块可能被描述成智能网络单元,因为它可以记忆不定时间长度的数值,区块中有一个gate能够决定input是否重要到能被记住及能不能被输出output。

右图底下是四个S函数单元,最左边函数依情况可能成为区块的input,右边三个会经过gate决定input是否能传入区块,左边第二个为input gate,如果这里产出近似于零,将把这里的值挡住,不会进到下一层。左边第三个是forget gate,当这产生值近似于零,将把区块里记住的值忘掉。第四个也就是最右边的input为output gate,他可以决定在区块记忆中的input是否能输出 。

LSTM有很多个版本,其中一个重要的版本是GRU(Gated Recurrent Unit),根据谷歌的测试表明,LSTM中最重要的是Forget gate,其次是Input gate,最次是Output gate。

f t = σ g ( W f x t + U f h t 1 + b f ) i t = σ g ( W i x t + U i h t 1 + b i ) o t = σ g ( W o x t + U o h t 1 + b o ) c t = f t c t 1 + i t σ c ( W c x t + U c h t 1 + b c ) h t = o t σ h ( c t ) {displaystyle {begin{aligned}f_{t}&=sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\i_{t}&=sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\o_{t}&=sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\c_{t}&=f_{t}circ c_{t-1}+i_{t}circ sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\h_{t}&=o_{t}circ sigma _{h}(c_{t})end{aligned}}}


为了最小化训练误差,梯度下降法(Gradient descent)如:应用时序性倒传递算法(英语:Backpropagation through time),可用来依据错误修改每次的权重。梯度下降法在循环神经网络(RNN)中主要的问题初次在1991年发现,就是误差梯度随着事件间的时间长度成指数般的消失。当设置了LSTM 区块时,误差也随着倒回计算,从output影响回input阶段的每一个gate,直到这个数值被过滤掉。因此正常的倒循环类神经是一个有效训练LSTM区块记住长时间数值的方法。

Backpropagation through time(英语:Backpropagation through time)、BPTT

相关

  • span class=nowrapDysub2/sub(SOsub4/sub)sub&g硫酸镝是一种无机化合物,化学式为Dy2(SO4)3。用硫酸溶解氧化镝,可以得到硫酸镝。
  • 洛夫·辛格罗尔夫·辛格(德语:Rolf Singer,1906年6月23日-1994年1月18日),德国出生的真菌学家,20世纪研究真菌学伞菌方面的重要学者之一。1931年于维也纳大学获得博士学位,之后于慕尼黑工作。
  • span class=nowrapSn(NOsub3/sub)sub2/sub/span硝酸亚锡是一种无机化合物,化学式为Sn(NO3)2,其二十水合物被制得过,且极易分解。也有文献通过纯硝酸溶于乙腈,与二(甲基环戊二烯基)锡反应,得到硝酸亚锡,但未能成功分离。硝酸亚锡
  • 图雷特氏综合征图雷特氏综合征(英语:Tourette Syndrome、TS),又称妥瑞氏症、抽动症、托雷氏症、杜雷氏症,是一种抽动综合症(Tics)。这是一种遗传性的神经内科疾病,通常发生于学龄前至青春期前。有
  • 尚必武尚必武(1979年-),安徽六安人,现任上海交通大学外国语学院教授、博士生导师。2001年,毕业于安徽师范大学英语专业。2007年和2010年先后于上海交通大学获硕士和博士学位。2008年至20
  • 雅库布斯·普林斯雅库布斯·特奥多鲁斯·威廉默斯·“科”·普林斯(荷兰语:Jacobus Theodorus Wilhelmus "Co" Prins,1938年6月5日-1987年9月26日)是一名已故荷兰足球员,他曾在1959年至1966年期间
  • 翟万益翟万益(1955年-),男,祖籍陕西三原,生于甘肃平凉,中国书法家,中国书法家协会副主席,甘肃省书法家协会名誉主席,甘肃省文学艺术界联合会副主席。擅长甲骨文书法。
  • 李诗妍李诗妍(韩语:이시연,1980年7月24日-),为韩国演员。出生为男性,也曾是女装男模特儿。原名李大鹤。男性身份时期,曾演出过《头师父一体》、《色即是空》。变性之后,返回银光幕的第一部作品则为《色即是空2》。更在2010年发行首张单曲〈I Became A Girl〉。2008年1月22日时在首尔清潭洞Circle俱乐部举行记者会,这是在接受变性手术之后,首次于公开场合露面并表达了心境。
  • 松本虎太松本虎太(1879年10月17日-1959年),日本香川人,日本土木工程师,主导基隆筑港工事,也曾设计新的台南运河让台南安平区经济加速发展。时任基隆市尹 ( 基隆市长 ) 其功绩,于1937年建造松本记念馆。松本虎太于1945年受命担任台湾电力公司社长,第二次世界大战结束后,被中国政府留任成为台湾电力公司顾问,并兼任国立台湾大学的教学工作,直到1947年返回日本。松本于1879年10月17日生于香川县绫歌郡陶村(日语:陶村 (香川県)) ( 现绫川町 ) ,本籍香川县香川郡池西村(日语:池西村)。原本是香
  • 约里特·贝尔赫斯马雅各布·约里特·贝尔赫斯马(荷兰语:Jacob Jorrit Bergsma,荷兰语发音: .mw-parser-output .IPA{font-family:"Charis SIL","Doulos SIL","Linux Libertine","Segoe UI","Lucida Sans Unicode","Code2000","Gentium","Gentium Alternative","TITUS Cyberbit Basic","Arial Unicode MS","IPAPANNEW",