长短期记忆

✍ dations ◷ 2025-04-26 13:00:20 #长短期记忆


长短期记忆(英语:Long Short-Term Memory,LSTM)是一种时间循环神经网络(RNN),论文首次发表于1997年。由于独特的设计结构,LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。

LSTM的表现通常比时间循环神经网络及隐马尔科夫模型(HMM)更好,比如用在不分段连续手写识别上。2009年,用LSTM构建的人工神经网络模型赢得过ICDAR手写识别比赛冠军。LSTM还普遍用于自主语音识别,2013年运用TIMIT自然演讲数据库达成17.7%错误率的纪录。作为非线性模型,LSTM可作为复杂的非线性单元用于构造更大型深度神经网络。

1997年,Sepp Hochreiter和于尔根·施密德胡伯提出LSTM。版本包含了cells, input以及output gates。

2014年,Kyunghyun Cho et al.发明了门控循环单元(英语:Gated recurrent unit)(GRU)。

2016年,谷歌用LSTM进行谷歌翻译。 苹果公司、微软和亚马逊公司也用LSTM生产产品,例如:iPhone、Amazon Alexa、等。中国公司也正在用LSTM。

LSTM是一种含有LSTM区块(blocks)或其他的一种类神经网络,文献或其他资料中LSTM区块可能被描述成智能网络单元,因为它可以记忆不定时间长度的数值,区块中有一个gate能够决定input是否重要到能被记住及能不能被输出output。

右图底下是四个S函数单元,最左边函数依情况可能成为区块的input,右边三个会经过gate决定input是否能传入区块,左边第二个为input gate,如果这里产出近似于零,将把这里的值挡住,不会进到下一层。左边第三个是forget gate,当这产生值近似于零,将把区块里记住的值忘掉。第四个也就是最右边的input为output gate,他可以决定在区块记忆中的input是否能输出 。

LSTM有很多个版本,其中一个重要的版本是GRU(Gated Recurrent Unit),根据谷歌的测试表明,LSTM中最重要的是Forget gate,其次是Input gate,最次是Output gate。

f t = σ g ( W f x t + U f h t 1 + b f ) i t = σ g ( W i x t + U i h t 1 + b i ) o t = σ g ( W o x t + U o h t 1 + b o ) c t = f t c t 1 + i t σ c ( W c x t + U c h t 1 + b c ) h t = o t σ h ( c t ) {displaystyle {begin{aligned}f_{t}&=sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\i_{t}&=sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\o_{t}&=sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\c_{t}&=f_{t}circ c_{t-1}+i_{t}circ sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\h_{t}&=o_{t}circ sigma _{h}(c_{t})end{aligned}}}


为了最小化训练误差,梯度下降法(Gradient descent)如:应用时序性倒传递算法(英语:Backpropagation through time),可用来依据错误修改每次的权重。梯度下降法在循环神经网络(RNN)中主要的问题初次在1991年发现,就是误差梯度随着事件间的时间长度成指数般的消失。当设置了LSTM 区块时,误差也随着倒回计算,从output影响回input阶段的每一个gate,直到这个数值被过滤掉。因此正常的倒循环类神经是一个有效训练LSTM区块记住长时间数值的方法。

Backpropagation through time(英语:Backpropagation through time)、BPTT

相关

  • 导引图导引图是一种引导思考途径的关系式图像式思考辅助工具,指示事件发生的先后次序,含有逻辑上的判断(包含前提及结论)。
  • 传教传福音是指传播基督信仰的行为,亦称传道、讲道、传教、宣教、布道(新教使用较多)、福传(天主教多用此词),其字源来自耶稣在世时的通用语——通用希腊语的“.mw-parser-output .Pol
  • 梁同书梁同书(1723年-1815年),字元颖,号山舟,晚号不翁,九十以后号新吾长翁。钱塘(令浙江杭州)人。清代政治人物、书法家。生于清雍正元年(1723年),其父大学士梁诗正曾奉敕编《三希堂法帖》。乾
  • Protostomia原口动物(学名:拉丁语:Protostomia),又名前口动物或旧口动物,有完整的消化道。胚胎时期的原口会发展为成体的口,而肛门则是另外形成的。蜕皮动物(Ecdysozoa)和螺旋动物(Spiralia)都属于
  • 北马福建话北马福建话,为通行于马来西亚半岛北部的一种属泉漳片的闽南方言。语言系属与闽南本地、台湾之台湾话为同一分片,并且具有高度相似性。相较南马福建话较偏泉音,北马福建话则偏漳
  • 巴黎十三区巴黎十三区(法语:13e arrondissement de Paris)是法国首都巴黎市的20个区之一。该区处于巴黎左岸。十三区里有巴黎的三个华人区之一。
  • 闪客闪客是通过Flash来从事艺术表达和设计的人。闪客一词最早来自于闪客帝国的论坛讨论。闪客帝国是最早支持闪客活动的网站社区。从1999年以来,闪客的发展和定义都有了很大的变
  • 佛莞城际轨道交通.mw-parser-output .RMbox{box-shadow:0 2px 2px 0 rgba(0,0,0,.14),0 1px 5px 0 rgba(0,0,0,.12),0 3px 1px -2px rgba(0,0,0,.2)}.mw-parser-output .RMinline{float:none
  • 张吉东张吉东(1965年4月-1984年7月12日),山东省莱西市人,中国共产党党员;张吉东在1979年-1990年中越边境冲突中阵亡,为烈士。
  • 含菌细胞含菌细胞(英语:Mycetocyte或Bacteriocyte)是一种存在于昆虫体内的特殊脂肪细胞,常见于蚜虫、采采蝇、德国蟑螂、象鼻虫等。这些细胞内含有细菌和真菌等共生生物,为宿主提供必需氨基酸和其它营养物质。