长短期记忆

✍ dations ◷ 2025-07-11 13:18:24 #长短期记忆


长短期记忆(英语:Long Short-Term Memory,LSTM)是一种时间循环神经网络(RNN),论文首次发表于1997年。由于独特的设计结构,LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。

LSTM的表现通常比时间循环神经网络及隐马尔科夫模型(HMM)更好,比如用在不分段连续手写识别上。2009年,用LSTM构建的人工神经网络模型赢得过ICDAR手写识别比赛冠军。LSTM还普遍用于自主语音识别,2013年运用TIMIT自然演讲数据库达成17.7%错误率的纪录。作为非线性模型,LSTM可作为复杂的非线性单元用于构造更大型深度神经网络。

1997年,Sepp Hochreiter和于尔根·施密德胡伯提出LSTM。版本包含了cells, input以及output gates。

2014年,Kyunghyun Cho et al.发明了门控循环单元(英语:Gated recurrent unit)(GRU)。

2016年,谷歌用LSTM进行谷歌翻译。 苹果公司、微软和亚马逊公司也用LSTM生产产品,例如:iPhone、Amazon Alexa、等。中国公司也正在用LSTM。

LSTM是一种含有LSTM区块(blocks)或其他的一种类神经网络,文献或其他资料中LSTM区块可能被描述成智能网络单元,因为它可以记忆不定时间长度的数值,区块中有一个gate能够决定input是否重要到能被记住及能不能被输出output。

右图底下是四个S函数单元,最左边函数依情况可能成为区块的input,右边三个会经过gate决定input是否能传入区块,左边第二个为input gate,如果这里产出近似于零,将把这里的值挡住,不会进到下一层。左边第三个是forget gate,当这产生值近似于零,将把区块里记住的值忘掉。第四个也就是最右边的input为output gate,他可以决定在区块记忆中的input是否能输出 。

LSTM有很多个版本,其中一个重要的版本是GRU(Gated Recurrent Unit),根据谷歌的测试表明,LSTM中最重要的是Forget gate,其次是Input gate,最次是Output gate。

f t = σ g ( W f x t + U f h t 1 + b f ) i t = σ g ( W i x t + U i h t 1 + b i ) o t = σ g ( W o x t + U o h t 1 + b o ) c t = f t c t 1 + i t σ c ( W c x t + U c h t 1 + b c ) h t = o t σ h ( c t ) {displaystyle {begin{aligned}f_{t}&=sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\i_{t}&=sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\o_{t}&=sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\c_{t}&=f_{t}circ c_{t-1}+i_{t}circ sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\h_{t}&=o_{t}circ sigma _{h}(c_{t})end{aligned}}}


为了最小化训练误差,梯度下降法(Gradient descent)如:应用时序性倒传递算法(英语:Backpropagation through time),可用来依据错误修改每次的权重。梯度下降法在循环神经网络(RNN)中主要的问题初次在1991年发现,就是误差梯度随着事件间的时间长度成指数般的消失。当设置了LSTM 区块时,误差也随着倒回计算,从output影响回input阶段的每一个gate,直到这个数值被过滤掉。因此正常的倒循环类神经是一个有效训练LSTM区块记住长时间数值的方法。

Backpropagation through time(英语:Backpropagation through time)、BPTT

相关

  • 亚历山大·伏打电池 甲烷 伏特 电势物理学亚历山德罗·朱塞佩·安东尼奥·阿纳斯塔西奥·伏打(意大利语:Alessandro Giuseppe Antonio Anastasio Volta,1745年2月18日-1827年3月5日),意大利物理
  • 卡尔加里火焰卡尔加里火焰(英语:Calgary Flames)是位于加拿大阿尔伯塔省卡尔加里(简称卡城)的国家冰球联盟(NHL)队伍,隶属于西大区太平洋分区。火焰队的主要竞争对手是阿省的另一支NHL球队埃德蒙
  • 醋杆菌属 醋杆菌属(学名:)是乙酸细菌的一个属,其特点是能够在有空气的条件下将乙醇转化为乙酸。醋酸杆菌属包含有多个种。很多其它的细菌也能在不同的条
  • 植物之歌《植物之歌》(英语:How to Grow a Planet,也译作《种出个地球?》《植物星球》)是BBC在2012年播出的电视纪录片,由Iain Stewart教授主持。
  • 博比·亨德森 (活动家)博比·亨德森(1980年7月18日- )是飞天面条神教的创始人。 他是一个毕业于俄勒冈州立大学的物理学士毕业生。他出生在俄勒冈州的罗斯堡。2005年,博比·亨德森创立了宗教——飞天
  • 北戴河鸟类列表北戴河位于渤海湾内,面海背山,平原区域狭窄,是西伯利亚-东亚-澳大利亚候鸟迁徙通道上的重要一环,是许多鸟类南北迁徙的必经之路,鸟类资源丰富
  • 巴里·特罗斯特巴里·特罗斯特(Barry Trost,1941年6月13日-),生于费城,美国化学家,斯坦福大学化学系教授。他早年就读于宾夕法尼亚大学 (UPenn)。1965年在麻省理工学院取得博士学位,师从赫尔伯特·
  • 甘味人生角色列表102-130 147-148 230-235 239-241 244-251 479-482 485-491 226-227 233-238 242-245339-340 343-413 417-449 454-455 472-482 486-491与老K共同持有光辉集团15%股份353 39
  • 皮钦查火山皮钦查火山(西班牙语:Volcán Pichincha)是厄瓜多尔的活火山,位于首都基多以西,是有两个峰顶的层状火山。西部峰顶娃娃皮钦查(Kichwa语(英语:Kichwa language):Wawa Pichincha,意为“孩
  • 福斯特港坐标:62°58′37″S 60°39′0″W / 62.97694°S 60.65000°W / -62.97694; -60.65000福斯特港(英语:Port Foster)是南极洲的海港,位于南设得兰群岛的欺骗岛,长9公里、宽6公里,入口