长短期记忆

✍ dations ◷ 2025-12-04 17:39:11 #长短期记忆


长短期记忆(英语:Long Short-Term Memory,LSTM)是一种时间循环神经网络(RNN),论文首次发表于1997年。由于独特的设计结构,LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。

LSTM的表现通常比时间循环神经网络及隐马尔科夫模型(HMM)更好,比如用在不分段连续手写识别上。2009年,用LSTM构建的人工神经网络模型赢得过ICDAR手写识别比赛冠军。LSTM还普遍用于自主语音识别,2013年运用TIMIT自然演讲数据库达成17.7%错误率的纪录。作为非线性模型,LSTM可作为复杂的非线性单元用于构造更大型深度神经网络。

1997年,Sepp Hochreiter和于尔根·施密德胡伯提出LSTM。版本包含了cells, input以及output gates。

2014年,Kyunghyun Cho et al.发明了门控循环单元(英语:Gated recurrent unit)(GRU)。

2016年,谷歌用LSTM进行谷歌翻译。 苹果公司、微软和亚马逊公司也用LSTM生产产品,例如:iPhone、Amazon Alexa、等。中国公司也正在用LSTM。

LSTM是一种含有LSTM区块(blocks)或其他的一种类神经网络,文献或其他资料中LSTM区块可能被描述成智能网络单元,因为它可以记忆不定时间长度的数值,区块中有一个gate能够决定input是否重要到能被记住及能不能被输出output。

右图底下是四个S函数单元,最左边函数依情况可能成为区块的input,右边三个会经过gate决定input是否能传入区块,左边第二个为input gate,如果这里产出近似于零,将把这里的值挡住,不会进到下一层。左边第三个是forget gate,当这产生值近似于零,将把区块里记住的值忘掉。第四个也就是最右边的input为output gate,他可以决定在区块记忆中的input是否能输出 。

LSTM有很多个版本,其中一个重要的版本是GRU(Gated Recurrent Unit),根据谷歌的测试表明,LSTM中最重要的是Forget gate,其次是Input gate,最次是Output gate。

f t = σ g ( W f x t + U f h t 1 + b f ) i t = σ g ( W i x t + U i h t 1 + b i ) o t = σ g ( W o x t + U o h t 1 + b o ) c t = f t c t 1 + i t σ c ( W c x t + U c h t 1 + b c ) h t = o t σ h ( c t ) {displaystyle {begin{aligned}f_{t}&=sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\i_{t}&=sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\o_{t}&=sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\c_{t}&=f_{t}circ c_{t-1}+i_{t}circ sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\h_{t}&=o_{t}circ sigma _{h}(c_{t})end{aligned}}}


为了最小化训练误差,梯度下降法(Gradient descent)如:应用时序性倒传递算法(英语:Backpropagation through time),可用来依据错误修改每次的权重。梯度下降法在循环神经网络(RNN)中主要的问题初次在1991年发现,就是误差梯度随着事件间的时间长度成指数般的消失。当设置了LSTM 区块时,误差也随着倒回计算,从output影响回input阶段的每一个gate,直到这个数值被过滤掉。因此正常的倒循环类神经是一个有效训练LSTM区块记住长时间数值的方法。

Backpropagation through time(英语:Backpropagation through time)、BPTT

相关

  • 八十年战争八十年战争(荷兰语:Tachtigjarige Oorlog;西班牙语:Guerra de los Ochenta Años),又称为荷兰起义(荷兰语:Nederlandse Opstand)、法兰德斯战争(西班牙语:Guerra de Flandes),是一场哈布
  • 异硫氰酸酯异硫氰酸酯(Isothiocyanate)是一类通式为R-N=C=S的有机化合物,可看作是由异氰酸酯中的氧原子被硫替换后形成。异硫氰酸盐是硫氰酸根(SCN−)用氮原子配位时生成的化合物(M-N=C=S)。
  • 凯布山纳夫在埃及神话中的克贝克塞努弗,或作凯夫山纳和凯布姗那夫(Qebshenuf,Kebechsenef,Kebehsenuf,Qebehsenuf)是葬礼之神、荷鲁斯的四个儿子之一,在他们看管的四个罐子(canopic jars)中他看
  • 伊拉姆伊拉姆省(波斯语:ایلام‎)是伊朗三十一个省份之一。面积20,150平方公里,在所有省份中排行第二十。人口约540,000(2005年数据);首府位于伊拉姆市。伊拉姆这个名字源自古代的
  • 交感神经切断术交感神经切断术(Endoscopic thoracic sympathectomy-ETS)是主要交感神经的手术,用于治疗手部和腋下多汗(过度出汗)。交感神经构成的神经网络位于肋骨附近(胸部区域),靠近脊椎。在这
  • 桂宫节仁亲王桂宫 节仁亲王(かつらのみや みさひとしんのう、天保4年十一月初一(1833年12月11日)- 天保7年三月初五(1836年4月20日))为日本江户时代后期的皇族。桂宫家第11代当主。仁孝天皇名
  • 公营房屋在英国,公营房屋(council house)是一种由当地政府开发的公共房屋。公屋屋邨可以是一系列公营房屋以及其他如学校或者商铺结合的群体。依照房屋1919法案,英国从1919年开始兴建公
  • 睁开你的双眼《睁开你的双眼》(西班牙语:;英语:)是一部1997年西班牙电影,由亚历杭德罗·阿梅纳瓦尔执导。该片获东京电影节最佳影片、西班牙哥雅奖最佳导演、最佳影片等奖项。影片的类型是剧情
  • 城惠理子城惠理子(日语:城 恵理子,1998年11月27日-)是一名日本女偶像歌手,为女子团体NMB48的Team BII成员之一。城出身于兵库县, 昵称为“ジョー”。隶属于经纪公司Showtitle旗下。2011年2
  • 法官备忘录法官备忘录(英语:Bench memorandum,复数形为bench memoranda,也称为bench memo),法律术语,它是一种法律文书,常见于美国法院。法官备忘录是一份简单扼要的备忘录,记录法律诉讼案的事