长短期记忆

✍ dations ◷ 2025-07-12 16:14:07 #长短期记忆


长短期记忆(英语:Long Short-Term Memory,LSTM)是一种时间循环神经网络(RNN),论文首次发表于1997年。由于独特的设计结构,LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。

LSTM的表现通常比时间循环神经网络及隐马尔科夫模型(HMM)更好,比如用在不分段连续手写识别上。2009年,用LSTM构建的人工神经网络模型赢得过ICDAR手写识别比赛冠军。LSTM还普遍用于自主语音识别,2013年运用TIMIT自然演讲数据库达成17.7%错误率的纪录。作为非线性模型,LSTM可作为复杂的非线性单元用于构造更大型深度神经网络。

1997年,Sepp Hochreiter和于尔根·施密德胡伯提出LSTM。版本包含了cells, input以及output gates。

2014年,Kyunghyun Cho et al.发明了门控循环单元(英语:Gated recurrent unit)(GRU)。

2016年,谷歌用LSTM进行谷歌翻译。 苹果公司、微软和亚马逊公司也用LSTM生产产品,例如:iPhone、Amazon Alexa、等。中国公司也正在用LSTM。

LSTM是一种含有LSTM区块(blocks)或其他的一种类神经网络,文献或其他资料中LSTM区块可能被描述成智能网络单元,因为它可以记忆不定时间长度的数值,区块中有一个gate能够决定input是否重要到能被记住及能不能被输出output。

右图底下是四个S函数单元,最左边函数依情况可能成为区块的input,右边三个会经过gate决定input是否能传入区块,左边第二个为input gate,如果这里产出近似于零,将把这里的值挡住,不会进到下一层。左边第三个是forget gate,当这产生值近似于零,将把区块里记住的值忘掉。第四个也就是最右边的input为output gate,他可以决定在区块记忆中的input是否能输出 。

LSTM有很多个版本,其中一个重要的版本是GRU(Gated Recurrent Unit),根据谷歌的测试表明,LSTM中最重要的是Forget gate,其次是Input gate,最次是Output gate。

f t = σ g ( W f x t + U f h t 1 + b f ) i t = σ g ( W i x t + U i h t 1 + b i ) o t = σ g ( W o x t + U o h t 1 + b o ) c t = f t c t 1 + i t σ c ( W c x t + U c h t 1 + b c ) h t = o t σ h ( c t ) {displaystyle {begin{aligned}f_{t}&=sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\i_{t}&=sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\o_{t}&=sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\c_{t}&=f_{t}circ c_{t-1}+i_{t}circ sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\h_{t}&=o_{t}circ sigma _{h}(c_{t})end{aligned}}}


为了最小化训练误差,梯度下降法(Gradient descent)如:应用时序性倒传递算法(英语:Backpropagation through time),可用来依据错误修改每次的权重。梯度下降法在循环神经网络(RNN)中主要的问题初次在1991年发现,就是误差梯度随着事件间的时间长度成指数般的消失。当设置了LSTM 区块时,误差也随着倒回计算,从output影响回input阶段的每一个gate,直到这个数值被过滤掉。因此正常的倒循环类神经是一个有效训练LSTM区块记住长时间数值的方法。

Backpropagation through time(英语:Backpropagation through time)、BPTT

相关

  • 巨神海巨神海(Iapetus Ocean)是一个存在于新元古代到古生代的海洋(6亿到4亿年前)。巨神海位于地球的南半球,在古大陆劳伦大陆、波罗地大陆和阿瓦隆尼亚大陆之间。巨神海因为使前述三个
  • 沧龙沧龙属(学名:Mosasaurus)是沧龙科的一个属,它们是一群肉食性海生爬行动物,也是沧龙科中最有名的属。沧龙拥有巨大的头部、强壮的颌部与尖锐的牙齿、具有鳍状肢的,外形类似蛇,拥有极
  • The Fur.The Fur. 是在台湾高雄市所组成的Dream pop乐团,使用英语创作歌曲,现乐团由主唱柚子(Savanna)、吉他手中凌(Zero)、贝斯手唯任(Ren)所组成。乐团于2016年末开始活动,歌曲主要以鼓机、
  • 瓦基弗银行女排俱乐部瓦基弗银行女排俱乐部(英语:VakıfBank Sports Club),是一间位于土耳其伊斯坦布尔的女排俱乐部,成立于1986年,曾三次(2013年、2017年及2018年)夺得世界女排俱乐部锦标赛冠军和四度(20
  • 土耳其节日下表为土耳其公众节日的列表。该国共有12日公共假日,历法涉及西历和伊斯兰历。
  • 10-羟基癸酸10-羟基癸酸(英语:10-Hydroxydecanoic acid)是一种Ω-羟基饱和脂肪酸,化学式HO(CH2)9COOH,是蜂王浆中的微量物质,1957年被发现。
  • 柯奂如柯奂如(英语:Huan-Ru Ke,日语:クー・ファンルー,1980年12月30日-),台湾女演员,毕业于国立台北艺术大学戏剧系,早期拍摄过多部广告及MV。2001年以偶像剧《流星花园》中的何原滋一角打开
  • 温特西利艾茨峰坐标:43°7′43.82″N 2°38′38.29″W / 43.1288389°N 2.6439694°W / 43.1288389; -2.6439694温特西利艾茨峰(西班牙语:Untzillaitz),是西班牙的山峰,位于该国北部巴斯克自治区
  • 505年
  • 黄聪翰黄聪翰(1994年7月7日-)是台湾男子篮球运动员,场上主打得分后卫位置,现效力于T1联盟台湾啤酒英熊。毕业于南山高中、明道大学,高中时主要在禁区讨生活,到了大学转型为前锋、开始具备外线能力,在2016年第十四季超级篮球联赛新人选秀会第一轮第四顺位被台湾啤酒相中,时任总教练阎家骅希望黄聪翰能顶替刘铮离队之后的位置。2021年9月,黄聪翰从超级篮球联赛(SBL)台湾啤酒转移至T1联盟台湾啤酒英熊。