长短期记忆

✍ dations ◷ 2025-09-16 15:30:22 #长短期记忆


长短期记忆(英语:Long Short-Term Memory,LSTM)是一种时间循环神经网络(RNN),论文首次发表于1997年。由于独特的设计结构,LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。

LSTM的表现通常比时间循环神经网络及隐马尔科夫模型(HMM)更好,比如用在不分段连续手写识别上。2009年,用LSTM构建的人工神经网络模型赢得过ICDAR手写识别比赛冠军。LSTM还普遍用于自主语音识别,2013年运用TIMIT自然演讲数据库达成17.7%错误率的纪录。作为非线性模型,LSTM可作为复杂的非线性单元用于构造更大型深度神经网络。

1997年,Sepp Hochreiter和于尔根·施密德胡伯提出LSTM。版本包含了cells, input以及output gates。

2014年,Kyunghyun Cho et al.发明了门控循环单元(英语:Gated recurrent unit)(GRU)。

2016年,谷歌用LSTM进行谷歌翻译。 苹果公司、微软和亚马逊公司也用LSTM生产产品,例如:iPhone、Amazon Alexa、等。中国公司也正在用LSTM。

LSTM是一种含有LSTM区块(blocks)或其他的一种类神经网络,文献或其他资料中LSTM区块可能被描述成智能网络单元,因为它可以记忆不定时间长度的数值,区块中有一个gate能够决定input是否重要到能被记住及能不能被输出output。

右图底下是四个S函数单元,最左边函数依情况可能成为区块的input,右边三个会经过gate决定input是否能传入区块,左边第二个为input gate,如果这里产出近似于零,将把这里的值挡住,不会进到下一层。左边第三个是forget gate,当这产生值近似于零,将把区块里记住的值忘掉。第四个也就是最右边的input为output gate,他可以决定在区块记忆中的input是否能输出 。

LSTM有很多个版本,其中一个重要的版本是GRU(Gated Recurrent Unit),根据谷歌的测试表明,LSTM中最重要的是Forget gate,其次是Input gate,最次是Output gate。

f t = σ g ( W f x t + U f h t 1 + b f ) i t = σ g ( W i x t + U i h t 1 + b i ) o t = σ g ( W o x t + U o h t 1 + b o ) c t = f t c t 1 + i t σ c ( W c x t + U c h t 1 + b c ) h t = o t σ h ( c t ) {displaystyle {begin{aligned}f_{t}&=sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\i_{t}&=sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\o_{t}&=sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\c_{t}&=f_{t}circ c_{t-1}+i_{t}circ sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\h_{t}&=o_{t}circ sigma _{h}(c_{t})end{aligned}}}


为了最小化训练误差,梯度下降法(Gradient descent)如:应用时序性倒传递算法(英语:Backpropagation through time),可用来依据错误修改每次的权重。梯度下降法在循环神经网络(RNN)中主要的问题初次在1991年发现,就是误差梯度随着事件间的时间长度成指数般的消失。当设置了LSTM 区块时,误差也随着倒回计算,从output影响回input阶段的每一个gate,直到这个数值被过滤掉。因此正常的倒循环类神经是一个有效训练LSTM区块记住长时间数值的方法。

Backpropagation through time(英语:Backpropagation through time)、BPTT

相关

  • 中医学系中医学系简称中医系,是隶属医学院或中医学院下的一个科系,主要在培养中医学的专业人才,提升社会上中医医疗环境。中医系的专业科目包括中医基础理论、中医临床基础、中医医史文
  • 辅助自杀安乐死(英语:Euthanasia,源自于希腊语:εὐθανασία,“好的死亡”;εὖ为“好的”,θάνατος为“死亡”,此名称与实际作法不断地受到争议)是一种给予患有不治之症的人以无
  • 阿侬人阿侬人(Anong/Along/Nung/Nung Rawang),是居住在缅甸克钦邦的日旺人(约12万人)和中国云南省怒江傈僳族自治州福贡县上帕镇(2200人)、子里甲乡(1100人)、鹿马登乡(2100人)、石月亮乡(2200
  • 温斯·凯博温斯·凯博爵士(英语:Sir Vince Cable;1943年5月9日-),英国自由民主党籍政治家和经济学家、前任卡梅伦联合内阁商业、创新及技能大臣(英语:Secretary of State for Business, Innova
  • 依田菜津依田菜津(2月13日—)是日本的女性声优,三重县出身。隶属于ARTSVISION。日本播音演技研究所出身。在看了《网球王子》后,觉得声优的工作很有趣,并对演出少年角色的女性声优感到佩
  • 滤齿翼龙属滤齿翼龙属(属名:)是翼龙目梳颌翼龙科的一属,生存于白垩纪早期的东亚,是热河生物群发现的第五个梳颌翼龙类物种。正模标本(编号IVPP V12339)发现于中国辽宁省西部,属于义县组下层的
  • 精技电脑精技电脑股份有限公司(Unitech Computer Co., Ltd.)为一家台湾的电子科技公司,主要有两大事业群,分别为科技产品通路事业群及自动资料收集器事业群,后2008年自动资料收集器事业群
  • 乌树林车站乌树林车站,位于台湾台南市后壁区,为台湾糖业铁路乌树林线(已废止)、白河线(已废止)、新港东线之铁路车站。乌树林车站内的巡道车。乌树林车站内的370号蒸气机车和胜利号汽油客车
  • 宇宙刑警《宇宙刑警》(日语:ロスト・ユニバース,LOST UNIVERSE,台译失落的宇宙,港译宇宙特警),是神坂一原著的日本科幻小说,其后改编为26集的动画和全三集的漫画。这三种版本的内容略有差异。210m级太空船剑型飞行器(Sword Breaker)=195m级中型战斗舰沃菲特(Canal Vorfeed)属于银河里远古超文明制造的失落的太空船(Lost ship)。传说中的魔王黑暗散播者(Dark star)和光明的一方是对立的文明,双方征战不休,并制造了一些性能强大的太空船。远古的文明灭绝之后,这些太空
  • 牛怀禄牛怀禄(1942年-),男,山东淄博人,中国武术运动员、教练。1995年入选中华武林百杰。