长短期记忆

✍ dations ◷ 2025-04-02 21:34:16 #长短期记忆


长短期记忆(英语:Long Short-Term Memory,LSTM)是一种时间循环神经网络(RNN),论文首次发表于1997年。由于独特的设计结构,LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。

LSTM的表现通常比时间循环神经网络及隐马尔科夫模型(HMM)更好,比如用在不分段连续手写识别上。2009年,用LSTM构建的人工神经网络模型赢得过ICDAR手写识别比赛冠军。LSTM还普遍用于自主语音识别,2013年运用TIMIT自然演讲数据库达成17.7%错误率的纪录。作为非线性模型,LSTM可作为复杂的非线性单元用于构造更大型深度神经网络。

1997年,Sepp Hochreiter和于尔根·施密德胡伯提出LSTM。版本包含了cells, input以及output gates。

2014年,Kyunghyun Cho et al.发明了门控循环单元(英语:Gated recurrent unit)(GRU)。

2016年,谷歌用LSTM进行谷歌翻译。 苹果公司、微软和亚马逊公司也用LSTM生产产品,例如:iPhone、Amazon Alexa、等。中国公司也正在用LSTM。

LSTM是一种含有LSTM区块(blocks)或其他的一种类神经网络,文献或其他资料中LSTM区块可能被描述成智能网络单元,因为它可以记忆不定时间长度的数值,区块中有一个gate能够决定input是否重要到能被记住及能不能被输出output。

右图底下是四个S函数单元,最左边函数依情况可能成为区块的input,右边三个会经过gate决定input是否能传入区块,左边第二个为input gate,如果这里产出近似于零,将把这里的值挡住,不会进到下一层。左边第三个是forget gate,当这产生值近似于零,将把区块里记住的值忘掉。第四个也就是最右边的input为output gate,他可以决定在区块记忆中的input是否能输出 。

LSTM有很多个版本,其中一个重要的版本是GRU(Gated Recurrent Unit),根据谷歌的测试表明,LSTM中最重要的是Forget gate,其次是Input gate,最次是Output gate。

f t = σ g ( W f x t + U f h t 1 + b f ) i t = σ g ( W i x t + U i h t 1 + b i ) o t = σ g ( W o x t + U o h t 1 + b o ) c t = f t c t 1 + i t σ c ( W c x t + U c h t 1 + b c ) h t = o t σ h ( c t ) {displaystyle {begin{aligned}f_{t}&=sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\i_{t}&=sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\o_{t}&=sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\c_{t}&=f_{t}circ c_{t-1}+i_{t}circ sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\h_{t}&=o_{t}circ sigma _{h}(c_{t})end{aligned}}}


为了最小化训练误差,梯度下降法(Gradient descent)如:应用时序性倒传递算法(英语:Backpropagation through time),可用来依据错误修改每次的权重。梯度下降法在循环神经网络(RNN)中主要的问题初次在1991年发现,就是误差梯度随着事件间的时间长度成指数般的消失。当设置了LSTM 区块时,误差也随着倒回计算,从output影响回input阶段的每一个gate,直到这个数值被过滤掉。因此正常的倒循环类神经是一个有效训练LSTM区块记住长时间数值的方法。

Backpropagation through time(英语:Backpropagation through time)、BPTT

相关

  • 异兽亚纲异兽亚纲,(希腊语:Allotheria,意思是其它的野兽,由allos(其它)和therion(野兽)结合的词)。是一类繁盛于中生代的哺乳动物分支。其最重要的特征是下颚上具有两列纵向尖端,为了草食性而特
  • 泰历泰国历是泰国目前使用的历法,泰国原来使用的历法和傣历(中国傣族的历法)相同,1888年泰国国王朱拉隆功改革历法,采用格里历,但以曼谷建城,即公元1782年为纪元,以建城日4月6日为每年开
  • 煤炱目煤炱目(学名:Capnodiales)是子囊菌门座囊菌纲座囊菌亚纲之下的一个多元化的目。煤炱目起源于煤炱科(Capnodiaceae),是一种外貌很像泥煤的褐色真菌,会在叶面上形成黑块,通上与食用该
  • 活断层在地质学中,活断层一般是指晚更新世(约1万年)以来曾经活动,未来仍可能活动的断层。这一概念最早由美国地质学家贝利·威利斯和 H. O. Wood 于20世纪20年代提出。活断层是地质历
  • 列弗·里维夫列弗·阿夫涅洛维奇·里维夫(俄语:Лев Авнерович Леваев;1956年7月30日,出生于乌兹别克塔什干),以色列商人 ,为布哈里犹太背景的慈善家与投资者。根据福布斯杂
  • 糯米糍 (荔枝)糯米糍是荔枝最主要的栽培品种之一,主要栽种于广东省深圳市、台湾台中市等地。其特点是肉厚而多汁、含糖量达15%以上,浓甜如蜜,果皮鲜红,皮薄且核小。著名作家秦牧曾以:“果大、
  • 郑守一郑守一(韩语:정수일,1934年11月-),是韩国历史学家。出生于满洲国延边(现今吉林)。郑守一是朝鲜劳动党对外情报调查部间谍,并以菲律宾人Muhammad Kansu的身份在韩国檀国大学担任教授。
  • 李书李书(1876年-1921年),字逸涛,另号亦陶、逸涛山人,台北市人,初居淡水竹围庄,后搬至大稻埕。曾任《台湾日日新报》记者,与报社汉文部主任阪部春灯(阪部峻,1859-1898)、社长守屋善兵卫、汉
  • 集合!不可思议研究社《集合!不可思议研究社》(日语:あつまれ!ふしぎ研究部),是日本漫画家安部真弘绘制的日本漫画作品。 于《周刊少年Champion》2016年第44号连载。 和安部真弘的另一作品《侵略!乌贼娘》相比尺度较大。三位少女因为没有朋友有共同爱好而导致社员不足,就算把各自的社团合并成“以研究不可思议为目的”的“不可思议研究部”仍面临闭团,这时因为不知道参加什么社团而苦恼的五领大祐被老师拜托把东西搬到仓库,而这间仓库就是“不可思议研究部”的部室……平冢和香(ひらつか ののか)南湘高校1年级生,原化学部成员。第四十八话
  • 国家体育场 (葡萄牙)国家体育场(葡萄牙语:Estádio Nacional,亦称为Estádio do Jamor、Estádio Nacional do Jamor)是葡萄牙的一个足球场,位于里斯本奥埃拉什的“谢摩尔综合体育中心”(Jamor sports complex)。国家体育场由米基尔·罗沙(Miguel Simões Jacobetty Rosa)设计,于1939年动工兴建,在1944年6月10日(葡国国庆日)由总理萨拉查主持揭幕。球场现时可以容纳37,593名观众。国家体育场内观国家体育场外围汎光灯塔国家体育场