长短期记忆

✍ dations ◷ 2025-04-04 20:57:04 #长短期记忆


长短期记忆(英语:Long Short-Term Memory,LSTM)是一种时间循环神经网络(RNN),论文首次发表于1997年。由于独特的设计结构,LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。

LSTM的表现通常比时间循环神经网络及隐马尔科夫模型(HMM)更好,比如用在不分段连续手写识别上。2009年,用LSTM构建的人工神经网络模型赢得过ICDAR手写识别比赛冠军。LSTM还普遍用于自主语音识别,2013年运用TIMIT自然演讲数据库达成17.7%错误率的纪录。作为非线性模型,LSTM可作为复杂的非线性单元用于构造更大型深度神经网络。

1997年,Sepp Hochreiter和于尔根·施密德胡伯提出LSTM。版本包含了cells, input以及output gates。

2014年,Kyunghyun Cho et al.发明了门控循环单元(英语:Gated recurrent unit)(GRU)。

2016年,谷歌用LSTM进行谷歌翻译。 苹果公司、微软和亚马逊公司也用LSTM生产产品,例如:iPhone、Amazon Alexa、等。中国公司也正在用LSTM。

LSTM是一种含有LSTM区块(blocks)或其他的一种类神经网络,文献或其他资料中LSTM区块可能被描述成智能网络单元,因为它可以记忆不定时间长度的数值,区块中有一个gate能够决定input是否重要到能被记住及能不能被输出output。

右图底下是四个S函数单元,最左边函数依情况可能成为区块的input,右边三个会经过gate决定input是否能传入区块,左边第二个为input gate,如果这里产出近似于零,将把这里的值挡住,不会进到下一层。左边第三个是forget gate,当这产生值近似于零,将把区块里记住的值忘掉。第四个也就是最右边的input为output gate,他可以决定在区块记忆中的input是否能输出 。

LSTM有很多个版本,其中一个重要的版本是GRU(Gated Recurrent Unit),根据谷歌的测试表明,LSTM中最重要的是Forget gate,其次是Input gate,最次是Output gate。

f t = σ g ( W f x t + U f h t 1 + b f ) i t = σ g ( W i x t + U i h t 1 + b i ) o t = σ g ( W o x t + U o h t 1 + b o ) c t = f t c t 1 + i t σ c ( W c x t + U c h t 1 + b c ) h t = o t σ h ( c t ) {displaystyle {begin{aligned}f_{t}&=sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\i_{t}&=sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\o_{t}&=sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\c_{t}&=f_{t}circ c_{t-1}+i_{t}circ sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\h_{t}&=o_{t}circ sigma _{h}(c_{t})end{aligned}}}


为了最小化训练误差,梯度下降法(Gradient descent)如:应用时序性倒传递算法(英语:Backpropagation through time),可用来依据错误修改每次的权重。梯度下降法在循环神经网络(RNN)中主要的问题初次在1991年发现,就是误差梯度随着事件间的时间长度成指数般的消失。当设置了LSTM 区块时,误差也随着倒回计算,从output影响回input阶段的每一个gate,直到这个数值被过滤掉。因此正常的倒循环类神经是一个有效训练LSTM区块记住长时间数值的方法。

Backpropagation through time(英语:Backpropagation through time)、BPTT

相关

  • 中太古代中太古代是太古宙的第三个代,前一个是古太古代,后一个是新太古代,时间介于32~28亿年之间。这一段时期是以计时学定义,而非地球的特定岩层。在澳洲的化石纪录显示叠层石在这个年
  • 赞尼特期赞尼特期(亦被称为兰登期、海尔斯期、塔内提期)是古新世的最后一个时期,与晚古新亚世相对应。其起止时间分别为59.2百万年前和56百万年前。该阶名字来源于在伦敦盆地发现的最古
  • 符号上位效应异位(上位)显性是一个基因表现与另外一个或者几个基因改变的现象。决定表现型的基因叫做“上位”,而表型与其它基因改变的基因叫做“下位”。异位(上位)显性与一般的显性不同,一般
  • 香柑内酯香柑内酯(5-甲氧补骨脂素)是一种存在于香柠檬精油与其他柑橘属植物精油, 以及葡萄柚汁的呋喃香豆素 (furanocoumarin),属补骨脂素的衍生物。 它是香柠檬精油中引起光敏性(光毒性)的
  • 19971997年欧洲歌唱大赛(Eurovision Song Contest 1997)为欧洲歌唱大赛之第42届比赛,于1997年5月3日在爱尔兰都柏林举行,主持人为凯莉·克兰尼 (Carrie Crowley)与罗南·基廷 (Ronan
  • 戴兹类戴兹类是一类鸡尾酒,将配料用摇酒杯摇好,倒入预先加有冰块的坦布勒杯中(Tumbler一种口略大底略小的圆柱杯,容积为250-300毫升),加满冰镇苏打水,再加上装饰。
  • 乔舒亚·瑞恩·戈德堡乔舒亚·瑞恩·戈德堡(英语:Joshua Ryne Goldberg,1995年5月14日-)是一名美国恐怖分子,因试图在九一一袭击事件14周年之际制造爆炸而被定罪,同时他还伪装成一名附属于ISIS组织的伊
  • 爨乾福爨乾福,唐朝爨氏豪酋,祖父是唐高祖的昆州(今云南省昆明市)刺史爨宏达。唐睿宗垂拱四年(688年),爨乾福担任昆州刺史,蛮郎将王善宝、昆州刺史爨乾福又请朝廷置姚州(今云南省姚安县)。其
  • 九曲溪九曲溪,位于中华人民共和国福建省武夷山市境内的一条河流,崇阳溪右岸支流,发源于武夷山市西部星村镇桐木村以北,蜿蜒向东南流经红星村、曹墩村、黄村、星村和武夷山风景名胜区,于
  • 王琴堂 (清朝军事人物)王琴堂,山东东昌府馆陶县(今属河北省)城西南孩寨人。清朝军事人物,武传胪出身。道光二十年(1840年),王琴堂中式庚子科武举。道光二十四年(1844年),王琴堂高中甲辰科武殿试张殿华榜二甲第一名进士,钦点三等御前侍卫。咸丰三年(1853年),签分湖北德安卫守备。当时太平天国气势正盛,大举西征,王琴堂随湖广总督吴文镕督军围剿,屡立战功,保举都司,在黄冈御敌,不久阵亡,尸骨无存。光绪年间,朝廷寻找其后人,亦无人应召。