长短期记忆

✍ dations ◷ 2025-11-26 14:19:29 #长短期记忆


长短期记忆(英语:Long Short-Term Memory,LSTM)是一种时间循环神经网络(RNN),论文首次发表于1997年。由于独特的设计结构,LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。

LSTM的表现通常比时间循环神经网络及隐马尔科夫模型(HMM)更好,比如用在不分段连续手写识别上。2009年,用LSTM构建的人工神经网络模型赢得过ICDAR手写识别比赛冠军。LSTM还普遍用于自主语音识别,2013年运用TIMIT自然演讲数据库达成17.7%错误率的纪录。作为非线性模型,LSTM可作为复杂的非线性单元用于构造更大型深度神经网络。

1997年,Sepp Hochreiter和于尔根·施密德胡伯提出LSTM。版本包含了cells, input以及output gates。

2014年,Kyunghyun Cho et al.发明了门控循环单元(英语:Gated recurrent unit)(GRU)。

2016年,谷歌用LSTM进行谷歌翻译。 苹果公司、微软和亚马逊公司也用LSTM生产产品,例如:iPhone、Amazon Alexa、等。中国公司也正在用LSTM。

LSTM是一种含有LSTM区块(blocks)或其他的一种类神经网络,文献或其他资料中LSTM区块可能被描述成智能网络单元,因为它可以记忆不定时间长度的数值,区块中有一个gate能够决定input是否重要到能被记住及能不能被输出output。

右图底下是四个S函数单元,最左边函数依情况可能成为区块的input,右边三个会经过gate决定input是否能传入区块,左边第二个为input gate,如果这里产出近似于零,将把这里的值挡住,不会进到下一层。左边第三个是forget gate,当这产生值近似于零,将把区块里记住的值忘掉。第四个也就是最右边的input为output gate,他可以决定在区块记忆中的input是否能输出 。

LSTM有很多个版本,其中一个重要的版本是GRU(Gated Recurrent Unit),根据谷歌的测试表明,LSTM中最重要的是Forget gate,其次是Input gate,最次是Output gate。

f t = σ g ( W f x t + U f h t 1 + b f ) i t = σ g ( W i x t + U i h t 1 + b i ) o t = σ g ( W o x t + U o h t 1 + b o ) c t = f t c t 1 + i t σ c ( W c x t + U c h t 1 + b c ) h t = o t σ h ( c t ) {displaystyle {begin{aligned}f_{t}&=sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\i_{t}&=sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\o_{t}&=sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\c_{t}&=f_{t}circ c_{t-1}+i_{t}circ sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\h_{t}&=o_{t}circ sigma _{h}(c_{t})end{aligned}}}


为了最小化训练误差,梯度下降法(Gradient descent)如:应用时序性倒传递算法(英语:Backpropagation through time),可用来依据错误修改每次的权重。梯度下降法在循环神经网络(RNN)中主要的问题初次在1991年发现,就是误差梯度随着事件间的时间长度成指数般的消失。当设置了LSTM 区块时,误差也随着倒回计算,从output影响回input阶段的每一个gate,直到这个数值被过滤掉。因此正常的倒循环类神经是一个有效训练LSTM区块记住长时间数值的方法。

Backpropagation through time(英语:Backpropagation through time)、BPTT

相关

  • 恐头兽亚目恐头兽亚目(学名:Dinocephalia)是个大型早期兽孔目演化支,繁盛于二叠纪的瓜德鲁普世,但之后灭绝而且没有留下任何后代。除了巴莫鳄亚目与始巨鳄科以外,恐头兽类是兽孔目中最原始的
  • 史上领土第三大帝国以下是历史上最大帝国的一些列表。历史上有很多领土广大、人口众多的帝国。而在这些帝国中,又可以分成两类:帝国及殖民帝国。普通帝国对征服地区直接统治,多为连接性扩张领土;而
  • 凤山县 (日治时期)凤山县(1897年-1898年),是台湾日治初期的“六县三厅”阶段短暂存在的一个县级行政区划。1897年(明治三十年)6月10日创立之际,系由“三县一厅”时期的台南县分出凤山支厅与恒春支厅
  • 冷冻剂冷冻剂(refrigerant)须是无毒、不燃、无爆炸性、化学稳定性以及具有适合于作为冷冻循环介质的热力学性能。冷冻剂通常是指低沸点的液体,它在需要冷冻的环境下汽化吸收热量,产生
  • 苏敬衡苏敬衡(1801年-1867年),字心舆,号蕉林,山东沾化人,榜眼苏兆登子,道光十六年进士、探花。清朝政治人物。道光十四年(1834年)中举人,道光十六年(1836年)成第一甲第三名进士(探花),时年35岁。曾
  • 氖二聚体氖二聚体是一种由范德华力键合的化合物,化学式 Ne2。 基态下,它的氖-氖键键长为 330 pm (3.3 Å)。
  • 1268年至1271年教宗选举1268年至1271年教宗选举是天主教会史上举行时间最长的教宗选举。教宗克莱孟四世离世后,枢机团在1268年11月29日至1271年9月1日期间举行这次选举来选出新教宗。这次选举之所以成为举行时间最长的教宗选举主要是因为各枢机之间出现政治暗斗。提欧巴·维斯康蒂最后当选成为额我略十世,而他是史上首次采用“折衷”方法而被选出的新教宗。参与选举的枢机中有10人同意让枢机团里其中6人组成选举委员会,而新教宗则由该6人负责选出。维泰博当局后来将各枢机关在维泰博教宗宫、只向他们提供面包和水及将教宗宫的屋顶移除,然而枢
  • 罗恩·卡维纳尔龙尼·古多尔·卡维纳尔(英语:Ronnie Goodall Cavenall,1959年4月30日-),美国NBA联盟前职业篮球运动员。
  • 前7千纪在前7千纪(或称前第7个千年),农业由安那托利亚传播到巴尔干半岛。世界人口维持500万人,世界各地的人类仍以狩猎为生。在中东的农业社会,牛被人类驯服,陶瓷开始常见,开始传播到欧洲及南亚,第一个金属制品制成。公元后:1  · 2  · 3  · 4  · 5及以后公元前:前11 · 前10 · 前9 · 前8 · 前7 · 前6 · 前5 · 前4 · 前3 · 前2 · 前1
  • 武亚丁·博什科夫武亚丁·博什科夫(塞尔维亚语西里尔字母:Вујадин Бошков, 发音:.mw-parser-output .IPA{font-family:"Charis SIL","Doulos SIL","Linux Libertine","Segoe UI","Lucida Sans Unicode","Code2000","Gentium","Gentium Alternative","TITUS Cyberbit Basic","Arial Unicode MS","IPAPANNEW","Chrysa