长短期记忆

✍ dations ◷ 2025-10-20 21:55:57 #长短期记忆


长短期记忆(英语:Long Short-Term Memory,LSTM)是一种时间循环神经网络(RNN),论文首次发表于1997年。由于独特的设计结构,LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。

LSTM的表现通常比时间循环神经网络及隐马尔科夫模型(HMM)更好,比如用在不分段连续手写识别上。2009年,用LSTM构建的人工神经网络模型赢得过ICDAR手写识别比赛冠军。LSTM还普遍用于自主语音识别,2013年运用TIMIT自然演讲数据库达成17.7%错误率的纪录。作为非线性模型,LSTM可作为复杂的非线性单元用于构造更大型深度神经网络。

1997年,Sepp Hochreiter和于尔根·施密德胡伯提出LSTM。版本包含了cells, input以及output gates。

2014年,Kyunghyun Cho et al.发明了门控循环单元(英语:Gated recurrent unit)(GRU)。

2016年,谷歌用LSTM进行谷歌翻译。 苹果公司、微软和亚马逊公司也用LSTM生产产品,例如:iPhone、Amazon Alexa、等。中国公司也正在用LSTM。

LSTM是一种含有LSTM区块(blocks)或其他的一种类神经网络,文献或其他资料中LSTM区块可能被描述成智能网络单元,因为它可以记忆不定时间长度的数值,区块中有一个gate能够决定input是否重要到能被记住及能不能被输出output。

右图底下是四个S函数单元,最左边函数依情况可能成为区块的input,右边三个会经过gate决定input是否能传入区块,左边第二个为input gate,如果这里产出近似于零,将把这里的值挡住,不会进到下一层。左边第三个是forget gate,当这产生值近似于零,将把区块里记住的值忘掉。第四个也就是最右边的input为output gate,他可以决定在区块记忆中的input是否能输出 。

LSTM有很多个版本,其中一个重要的版本是GRU(Gated Recurrent Unit),根据谷歌的测试表明,LSTM中最重要的是Forget gate,其次是Input gate,最次是Output gate。

f t = σ g ( W f x t + U f h t 1 + b f ) i t = σ g ( W i x t + U i h t 1 + b i ) o t = σ g ( W o x t + U o h t 1 + b o ) c t = f t c t 1 + i t σ c ( W c x t + U c h t 1 + b c ) h t = o t σ h ( c t ) {displaystyle {begin{aligned}f_{t}&=sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\i_{t}&=sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\o_{t}&=sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\c_{t}&=f_{t}circ c_{t-1}+i_{t}circ sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\h_{t}&=o_{t}circ sigma _{h}(c_{t})end{aligned}}}


为了最小化训练误差,梯度下降法(Gradient descent)如:应用时序性倒传递算法(英语:Backpropagation through time),可用来依据错误修改每次的权重。梯度下降法在循环神经网络(RNN)中主要的问题初次在1991年发现,就是误差梯度随着事件间的时间长度成指数般的消失。当设置了LSTM 区块时,误差也随着倒回计算,从output影响回input阶段的每一个gate,直到这个数值被过滤掉。因此正常的倒循环类神经是一个有效训练LSTM区块记住长时间数值的方法。

Backpropagation through time(英语:Backpropagation through time)、BPTT

相关

  • 自燃温度自燃(英语:Spontaneous combustion 或 pyrophoric)是指可燃物质在没有外部火花、火焰等火源的作用下,因受热或自身发热并蓄热所产生的自行燃烧。蓄积的热量达到某个温度时,干草、
  • 达梭航天达索航空是法国的一家军用航空和商用机制造商,附属于达索集团。在1929年由马歇尔·布洛契(Marcel Bloch)建立,第二次世界大战后马歇尔布洛契改名成马歇尔·达索(英语:Marcel Dassa
  • 本雅病毒目沙状病毒科 汉他病毒科 内罗毕病毒科(英语:Nairoviridae) 番茄斑萎病病毒科(英语:Tospoviridae) Phenuiviridae(英语:Phenuiviridae) 本雅病毒目(Bunyavirales),又译为布尼亚病毒目,属于
  • 2009年冬季世界大学生运动会第二十四届冬季大学生运动会于2009年2月18日至2月28日在中国黑龙江省哈尔滨市举行。这是中国首次举行冬季大学生运动会。冬冬为本届大学生冬季运动会的吉祥物,是由白雪组成的
  • 灵魂收容所灵魂收容所(Soul Asylum)是一支美国的摇滚乐队。灵魂收容所组建于1983年,在美国明尼苏达州明尼亚波利斯出道。前身是于1981组建,具朋克风格的地下乐队高速嘈吵定律(Loud Fast Rul
  • 欧洲遥感卫星欧洲遥感卫星(英语:European Remote Sensing Satellite,缩写:ERS)是由欧洲空间局研制、发射和运营的地球观测卫星,也是欧洲空间局的第一个地球观测卫星任务,由ERS-1遥感卫星和ERS-2
  • Ohi dayOhi Day(希腊语:Επέτειος του «'Οχι»,亦称Oxi Day),意思是“不日”,指“向侵略者说不”。该节日是希腊和塞浦路斯民众纪念拒绝接受意大利独裁者墨索里尼对希腊首
  • 奈良美智奈良美智(日语:奈良美智/なら よしとも  ?;1959年12月5日-)是一位活跃的日本当代艺术家,日本青森县弘前市人。1959年出生于平凡的家庭。在青森县立弘前高中毕业后原先考上武藏野
  • 小林道彦小林道彦(1956年-)是一名日本历史学者、政治学者,目前担任北九州市立大学教授。专门研究日本政治外交史。出身于埼玉县熊谷市,1988年中央大学大学院文学研究科博士后期课程単位取
  • 现代Dream级货柜船24.5节(45千米每小时) (cruising)现代Dream级货柜船(英文:Dream-class container ship)是大宇造船为现代商船建造的5艘货柜船系列。这些船的最大容量在13154TEU。