长短期记忆

✍ dations ◷ 2024-12-29 12:25:30 #长短期记忆


长短期记忆(英语:Long Short-Term Memory,LSTM)是一种时间循环神经网络(RNN),论文首次发表于1997年。由于独特的设计结构,LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。

LSTM的表现通常比时间循环神经网络及隐马尔科夫模型(HMM)更好,比如用在不分段连续手写识别上。2009年,用LSTM构建的人工神经网络模型赢得过ICDAR手写识别比赛冠军。LSTM还普遍用于自主语音识别,2013年运用TIMIT自然演讲数据库达成17.7%错误率的纪录。作为非线性模型,LSTM可作为复杂的非线性单元用于构造更大型深度神经网络。

1997年,Sepp Hochreiter和于尔根·施密德胡伯提出LSTM。版本包含了cells, input以及output gates。

2014年,Kyunghyun Cho et al.发明了门控循环单元(英语:Gated recurrent unit)(GRU)。

2016年,谷歌用LSTM进行谷歌翻译。 苹果公司、微软和亚马逊公司也用LSTM生产产品,例如:iPhone、Amazon Alexa、等。中国公司也正在用LSTM。

LSTM是一种含有LSTM区块(blocks)或其他的一种类神经网络,文献或其他资料中LSTM区块可能被描述成智能网络单元,因为它可以记忆不定时间长度的数值,区块中有一个gate能够决定input是否重要到能被记住及能不能被输出output。

右图底下是四个S函数单元,最左边函数依情况可能成为区块的input,右边三个会经过gate决定input是否能传入区块,左边第二个为input gate,如果这里产出近似于零,将把这里的值挡住,不会进到下一层。左边第三个是forget gate,当这产生值近似于零,将把区块里记住的值忘掉。第四个也就是最右边的input为output gate,他可以决定在区块记忆中的input是否能输出 。

LSTM有很多个版本,其中一个重要的版本是GRU(Gated Recurrent Unit),根据谷歌的测试表明,LSTM中最重要的是Forget gate,其次是Input gate,最次是Output gate。

f t = σ g ( W f x t + U f h t 1 + b f ) i t = σ g ( W i x t + U i h t 1 + b i ) o t = σ g ( W o x t + U o h t 1 + b o ) c t = f t c t 1 + i t σ c ( W c x t + U c h t 1 + b c ) h t = o t σ h ( c t ) {displaystyle {begin{aligned}f_{t}&=sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\i_{t}&=sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\o_{t}&=sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\c_{t}&=f_{t}circ c_{t-1}+i_{t}circ sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\h_{t}&=o_{t}circ sigma _{h}(c_{t})end{aligned}}}


为了最小化训练误差,梯度下降法(Gradient descent)如:应用时序性倒传递算法(英语:Backpropagation through time),可用来依据错误修改每次的权重。梯度下降法在循环神经网络(RNN)中主要的问题初次在1991年发现,就是误差梯度随着事件间的时间长度成指数般的消失。当设置了LSTM 区块时,误差也随着倒回计算,从output影响回input阶段的每一个gate,直到这个数值被过滤掉。因此正常的倒循环类神经是一个有效训练LSTM区块记住长时间数值的方法。

Backpropagation through time(英语:Backpropagation through time)、BPTT

相关

  • 概率密度函数在数学中,连续型随机变量的概率密度函数(Probability density function)(在不至于混淆时可以简称为密度函数)是一个描述这个随机变量的输出值,在某个确定的取值点附近的可能性的函
  • 国务委员政治主题国务委员,简称国委,是中华人民共和国国务院及其常务会议内地位仅次于副总理的组成人员,与副总理同为国家级副职公务员、党和国家领导人。1982年5月4日,第五届全国人民代
  • 气态巨行星气态巨行星(gas giant、类木行星)是主要由氢和氦组成的巨行星。太阳系的木星和土星是气态巨行星。“气态巨行星”起初原本是“巨行星”的代名词(同义词),但是1990年代学界意识到
  • 系统安全系统安全的概念是以识别、分析危害(英语:hazards)为基础的风险管理策略,并且以系统为基础来进行补救控制的方法。系统安全和传统的安全策略不同,传统安全策略是以类似流行病学分
  • 北美洲各国最低合法性交年龄北美洲各国最低合法性交年龄因国家以及各地区司法规定而有差异。加拿大的最低合法性交年龄为16岁。而美国各州的限制为16~18岁之间。墨西哥的最低合法性交年龄相当复杂。通
  • 蔚蓝深海《蔚蓝深海》(英语:)是一部2011年英国爱情片,导演为特伦斯·戴维斯。蕾切尔·薇兹、汤姆·希德勒斯顿和西蒙·拉塞尔·比尔主演。根据1952年泰论斯·瑞提耿所著的同名戏剧改编而
  • 呵叻泰人呵叻泰人,是分布于泰国呵叻府的泰国人分支,人口约60万人。他们生活的地方是泰国中部王国,澜沧王国和柬埔寨王国交界,有不同的来源,但因泰文化而成为泰国人的一部分。他们的形成可
  • 诺菈与时间工房 迷雾森林的魔女《诺菈与时间工房 迷雾森林的魔女》(ノーラと刻の工房 霧の森の魔女)是ATLUS于2011年7月21日发售的任天堂DS游戏软件。在小镇恬蓓莉娜,流传着“湖中的某个小岛中,住着魔女蓓菈”
  • 2008年中国女子足球超霸杯2008年江苏天禄中国女子足球超霸杯是2008年由中国足球协会主办的一项足球锦标赛,由2008年中国女子足球超级联赛冠军大连实德对阵2008年中国女子足球
  • 安德烈·亚历山德罗夫安德烈·米哈伊洛维奇·亚历山德罗夫(俄语:Андрей Михайлович Александров-Агентов,1918年6月3日-1993年4月13日),苏联的政治家、外交官,曾先后担任列昂尼德·伊里奇·勃列日涅夫、尤里·弗拉基米罗维奇·安德罗波夫、康斯坦丁·乌斯季诺维奇·契尔年科、米哈伊尔·谢尔盖耶维奇·戈尔巴乔夫的助理秘书。