长短期记忆

✍ dations ◷ 2025-11-27 16:03:45 #长短期记忆


长短期记忆(英语:Long Short-Term Memory,LSTM)是一种时间循环神经网络(RNN),论文首次发表于1997年。由于独特的设计结构,LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。

LSTM的表现通常比时间循环神经网络及隐马尔科夫模型(HMM)更好,比如用在不分段连续手写识别上。2009年,用LSTM构建的人工神经网络模型赢得过ICDAR手写识别比赛冠军。LSTM还普遍用于自主语音识别,2013年运用TIMIT自然演讲数据库达成17.7%错误率的纪录。作为非线性模型,LSTM可作为复杂的非线性单元用于构造更大型深度神经网络。

1997年,Sepp Hochreiter和于尔根·施密德胡伯提出LSTM。版本包含了cells, input以及output gates。

2014年,Kyunghyun Cho et al.发明了门控循环单元(英语:Gated recurrent unit)(GRU)。

2016年,谷歌用LSTM进行谷歌翻译。 苹果公司、微软和亚马逊公司也用LSTM生产产品,例如:iPhone、Amazon Alexa、等。中国公司也正在用LSTM。

LSTM是一种含有LSTM区块(blocks)或其他的一种类神经网络,文献或其他资料中LSTM区块可能被描述成智能网络单元,因为它可以记忆不定时间长度的数值,区块中有一个gate能够决定input是否重要到能被记住及能不能被输出output。

右图底下是四个S函数单元,最左边函数依情况可能成为区块的input,右边三个会经过gate决定input是否能传入区块,左边第二个为input gate,如果这里产出近似于零,将把这里的值挡住,不会进到下一层。左边第三个是forget gate,当这产生值近似于零,将把区块里记住的值忘掉。第四个也就是最右边的input为output gate,他可以决定在区块记忆中的input是否能输出 。

LSTM有很多个版本,其中一个重要的版本是GRU(Gated Recurrent Unit),根据谷歌的测试表明,LSTM中最重要的是Forget gate,其次是Input gate,最次是Output gate。

f t = σ g ( W f x t + U f h t 1 + b f ) i t = σ g ( W i x t + U i h t 1 + b i ) o t = σ g ( W o x t + U o h t 1 + b o ) c t = f t c t 1 + i t σ c ( W c x t + U c h t 1 + b c ) h t = o t σ h ( c t ) {displaystyle {begin{aligned}f_{t}&=sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\i_{t}&=sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\o_{t}&=sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\c_{t}&=f_{t}circ c_{t-1}+i_{t}circ sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\h_{t}&=o_{t}circ sigma _{h}(c_{t})end{aligned}}}


为了最小化训练误差,梯度下降法(Gradient descent)如:应用时序性倒传递算法(英语:Backpropagation through time),可用来依据错误修改每次的权重。梯度下降法在循环神经网络(RNN)中主要的问题初次在1991年发现,就是误差梯度随着事件间的时间长度成指数般的消失。当设置了LSTM 区块时,误差也随着倒回计算,从output影响回input阶段的每一个gate,直到这个数值被过滤掉。因此正常的倒循环类神经是一个有效训练LSTM区块记住长时间数值的方法。

Backpropagation through time(英语:Backpropagation through time)、BPTT

相关

  • 金贤重金贤重(韩语:김현중,英语:Kim Hyun Joong,日语:キム・ヒョンジュン,1986年6月6日-)为韩国知名歌手、演员、词曲作者,2005年加入由韩国经纪公司DSP Media所组成的五人男子流行音乐团体
  • 东在汉语中有多个意义:
  • 神话学家在民俗学上,神话是指关于人类和世界变迁的神圣故事。在广义上,“神话”可以指任何古老传说, 借由故事的形式来表达民族的意识形态。 神话来源于原始社会时期,人类通过推理和想象
  • 大根兰大根兰(学名:Cymbidium macrorhizon)为兰科兰属下的一个种,腐生。
  • 路克空军基地路克空军基地(英语:Luke Air Force Base)是一座位于美国亚利桑那州凤凰城以西24公里的美国空军基地。基地以第一次世界大战中的美国飞行员兼荣誉勋章受奖人小法兰克·路克少尉(F
  • 小贼·美女·妙探《小贼·美女·妙探》(英语:)是一部2005年美国出品的犯罪喜剧电影,该片融合了多种犯罪经典作品的必备桥段。本片有部分是改编自美国推理小说家Brett Halliday(英语:Brett Halliday
  • 亢姓亢姓是中文姓氏之一,在明朝《百家姓续编》中排第465位。在现代是极罕见的姓氏。亢姓有两种来源:
  • 雷克灵峰坐标:76°16′S 159°15′E / 76.267°S 159.250°E / -76.267; 159.250雷克灵峰(英语:Reckling Peak)是南极洲的山峰,位于奥次地,海拔高度2,010米,美国地质调查局根据测量和美国海
  • 后抑制反弹效应后抑制反弹效应(英语:Ironic process theory, ironic rebound, or the white bear problem),也称为讽刺性反弹或白熊问题, 是指这样一个心理过程:刻意抑制某些想法时,实际上会使这些想法更容易浮出水面。 一个例子是,当某人积极地试图不去想一只白熊时,他实际上更有可能想象一只白熊。
  • 亚历杭德罗·达维多维奇·福基纳亚历杭德罗·达维多维奇·福基纳(西班牙语:Alejandro Davidovich Fokina,1999年6月5日-),西班牙男子网球运动员。世界排名最高位27名,获得过一个ATP巡回赛双打冠军。达维多维奇出生于西班牙距离马拉加10公里左右的林孔德拉维克托里亚并在那里长大,父母来自于俄罗斯,分别是爱德华·达维多维奇以及塔提亚娜·福基纳,他有一个哥哥马克。他的父亲爱德华以前是一名拳击运动员,有着瑞典和俄罗斯双重国籍。达维多维奇在3岁的时候开始跟随父亲打网球,5岁的时候在Calaflores记性训练,随后在