长短期记忆

✍ dations ◷ 2025-11-06 08:36:27 #长短期记忆


长短期记忆(英语:Long Short-Term Memory,LSTM)是一种时间循环神经网络(RNN),论文首次发表于1997年。由于独特的设计结构,LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。

LSTM的表现通常比时间循环神经网络及隐马尔科夫模型(HMM)更好,比如用在不分段连续手写识别上。2009年,用LSTM构建的人工神经网络模型赢得过ICDAR手写识别比赛冠军。LSTM还普遍用于自主语音识别,2013年运用TIMIT自然演讲数据库达成17.7%错误率的纪录。作为非线性模型,LSTM可作为复杂的非线性单元用于构造更大型深度神经网络。

1997年,Sepp Hochreiter和于尔根·施密德胡伯提出LSTM。版本包含了cells, input以及output gates。

2014年,Kyunghyun Cho et al.发明了门控循环单元(英语:Gated recurrent unit)(GRU)。

2016年,谷歌用LSTM进行谷歌翻译。 苹果公司、微软和亚马逊公司也用LSTM生产产品,例如:iPhone、Amazon Alexa、等。中国公司也正在用LSTM。

LSTM是一种含有LSTM区块(blocks)或其他的一种类神经网络,文献或其他资料中LSTM区块可能被描述成智能网络单元,因为它可以记忆不定时间长度的数值,区块中有一个gate能够决定input是否重要到能被记住及能不能被输出output。

右图底下是四个S函数单元,最左边函数依情况可能成为区块的input,右边三个会经过gate决定input是否能传入区块,左边第二个为input gate,如果这里产出近似于零,将把这里的值挡住,不会进到下一层。左边第三个是forget gate,当这产生值近似于零,将把区块里记住的值忘掉。第四个也就是最右边的input为output gate,他可以决定在区块记忆中的input是否能输出 。

LSTM有很多个版本,其中一个重要的版本是GRU(Gated Recurrent Unit),根据谷歌的测试表明,LSTM中最重要的是Forget gate,其次是Input gate,最次是Output gate。

f t = σ g ( W f x t + U f h t 1 + b f ) i t = σ g ( W i x t + U i h t 1 + b i ) o t = σ g ( W o x t + U o h t 1 + b o ) c t = f t c t 1 + i t σ c ( W c x t + U c h t 1 + b c ) h t = o t σ h ( c t ) {displaystyle {begin{aligned}f_{t}&=sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\i_{t}&=sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\o_{t}&=sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\c_{t}&=f_{t}circ c_{t-1}+i_{t}circ sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\h_{t}&=o_{t}circ sigma _{h}(c_{t})end{aligned}}}


为了最小化训练误差,梯度下降法(Gradient descent)如:应用时序性倒传递算法(英语:Backpropagation through time),可用来依据错误修改每次的权重。梯度下降法在循环神经网络(RNN)中主要的问题初次在1991年发现,就是误差梯度随着事件间的时间长度成指数般的消失。当设置了LSTM 区块时,误差也随着倒回计算,从output影响回input阶段的每一个gate,直到这个数值被过滤掉。因此正常的倒循环类神经是一个有效训练LSTM区块记住长时间数值的方法。

Backpropagation through time(英语:Backpropagation through time)、BPTT

相关

  • 卡普政变卡普政变 (德语:Kapp-Putsch, 全称卡普-吕特维兹政变 德语:Kapp-Lüttwitz-Putsch) 是一场企图推翻魏玛共和国的政变,导火线是魏玛政府签署凡尔赛条约。1919年初,正规军德国国防
  • 布洛阿特峰布洛阿特峰(Faichan Kangri; Broad Peak)位于中国和巴控克什米尔边境的喀喇昆仑山脉,距离乔戈里峰约8公里,海拔8,051米,是世界第十二高峰。
  • 察合台语察合台语,也作察哈台语、查加泰语(جغتای - Jaĝatāy; 维吾尔语: چاغاتاي Čaγatai/Chaghatay; 乌兹别克语: ﭼﯩﻐﻪتاي Chig'atoy),是中亚地区一种已经消亡的语言,被逐
  • 畑野浩子畑野浩子(1976年11月23日-)原名畑野广子,现名铃木浩子,是日本模特儿,2004年6月与日本美型男柏原崇结婚之后引退,2006年2月25日宣布离婚,为期一年八个月的婚姻画下句点,婚姻和平收场,两
  • 圣棱线坐标:24°25′44″N 121°15′35″E / 24.42889°N 121.25972°E / 24.42889; 121.25972圣棱线(日语:聖稜線/聖なる稜線  ?;英语译名:Holy ridgeline)指的是台湾中部雪霸国家公园
  • FreeformFreeform为美国的有线电视网,属于华特迪士尼电视集团旗下的华特迪士尼公司的全球公司的子公司。Freeform提供面向广大观众、适合家庭收看到当代电视节目,同时也播放一些针对年
  • 迈尔霍夫贝格山坐标:48°22′03″N 13°55′49″E / 48.367569°N 13.930218°E / 48.367569; 13.930218迈尔霍夫贝格山(德语:Mayrhofberg),是奥地利的山峰,位于该国北部,由上奥地利州负责管辖,属
  • 伍并亚·温撒伍并亚·温撒(1929年11月-2002年10月18日),男,傣族,云南瑞丽人,巴利语系佛教长老。伍并亚·温撒生于今云南省德宏傣族景颇族自治州瑞丽市姐东村。1947年,伍并亚·温撒入寺披剃,1951年
  • U-102号潜艇 (1917年)陛下之102号潜艇(德语:SM U 102)是德意志帝国海军建造的一艘中型潜艇或称U艇。它由不来梅的威悉船厂承建,于1917年5月12日下水,至同年6月18日交付使用(英语:Ship commissioning)。U-102号是在第一次世界大战(英语:Naval warfare of World War I)期间服役的329艘德国潜艇之一,曾参加过大西洋潜艇战(英语:Atlantic U-boat campaign of World War I)。在其七次巡逻中,共击沉5艘协约国或中立国商船,容积总吨为9
  • 铁桥谷博物馆铁桥谷博物馆(英语:Ironbridge Gorge Museum Trust)是以英格兰施洛普郡铁桥谷为根据地的工业遗产生态博物馆,旗下营运10间博物馆并管理数个史迹。咸信铁桥谷为工业革命的诞生地,谷地中亦保有许多对工业史意义重大的聚落,包括塞文河沿岸的 铁桥镇(英语:Ironbridge)、柯尔波特(英语:Coalport)、杰克菲尔德(英语:Jackfield)、库尔布鲁克戴尔(英语:Coalbrookdale)及布罗斯利。1986年,该地成为英国首个被联合国教科文组织认定的世界文化遗产。铁桥谷博物