梯度消失问题

✍ dations ◷ 2025-06-18 07:51:26 #梯度消失问题

梯度消失问题(Vanishing gradient problem)是一种机器学习中的难题,出现在以梯度下降法和反向传播训练人工神经网络的时候。在每次训练的迭代中,神经网路权重的更新值与误差函数的偏导数成比例,然而在某些情况下,梯度值会几乎消失,使得权重无法得到有效更新,甚至神经网络可能完全无法继续训练。举个例子来说明问题起因,一个传统的激励函数如双曲正切函数,其梯度值在 (-1, 1)范围内,反向传播以链式法则来计算梯度。

这样做的效果,相当于在n层网络中,将n个这些小数字相乘来计算“前端”层的梯度,这就使梯度(误差信号)随着n呈指数递减,导致前端层的训练非常缓慢。

反向传播使研究人员从头开始训练监督式深度人工神经网络,最初收效甚微。 1991年赛普·霍克赖特(Hochreiter)的毕业论文正式确认了“梯度消失问题”失败的原因。梯度消失问题不仅影响多层前馈网络,还影响循环网络。循环网络是通过将前馈网络深度展开来训练,在网络处理的输入序列的每个时间步骤中,都会产生一个新的层。

当所使用的激励函数之导数可以取较大值时,则可能会遇到相关的梯度爆炸问题(exploding gradient problem)。

相关

  • C3C3可以指:
  • ʙ̥清双唇颤音是一种罕见的辅音,用于一些口语中。表示此音的国际音标(IPA)符号是⟨ʙ̥⟩,X-SAMPA符号则为B\_0。清双唇颤音的特征包括:当符号成对出现时,左边的是清音,右边的是浊音。
  • 张花高速公路张花高速公路指湖南省张家界市至湘西土家族苗族自治州花垣县高速公路,为湖南省“五纵七横”规划“第二横”浏阳至花垣高速路段。起于张家界市永定区阳湖坪镇,接长张高速公路,止
  • 图洁·阿尔巴伊拉克图洁·阿尔巴伊拉克(土耳其语:Tuğçe Albayrak;1991年11月28日-2014年11月28日)是一位在德国黑森州巴特索登-萨尔明斯特出生的土耳其裔师范学院学生。2014年11月15日,当时在奥芬
  • 非专营巴士非专营巴士(旧称非专利巴士)是巴士服务的其中一种。现时主要由小型巴士及城巴提供服务或由不同的私营巴士公司所提供。主要为纾缓市民主要在繁忙时间对专营巴士及铁路服务的需
  • 齐头鳗属齐头鳗属(学名:)是康吉鳗科下的一个属类。齐头鳗属共有29个物种,列表如下:(注明:中文名称是由FishBase中文版本/台湾鱼类数据库提供)
  • 全球史全球史(英语:Global History/World History)是历史研究的一个领域,从全球视角审视历史。早期作者包括伏尔泰 (1694-1778)、黑格尔 (1770–1831)、卡尔·马克思 (1818–1883) 和阿诺德·J·汤因比(1889–1975)。20世纪后期,全球史在大学教学、教科书、学术期刊和学术协会方面变得更加活跃。不要与比较史学混淆,后者与全球史一样,涉及多种文化和民族的历史,但不在全球范围内。全球史寻找出现在所有文化中的共同模式,全球史学家关注主题(theme),有两个主
  • 菲利浦·克劳士比菲利浦·克劳士比(1926年6月18日-2001年8月18日)是20世纪著名的品质管理学者。克劳士比早期曾参与马丁公司的马丁导弹计划,奠定了他对品质管理的基础,后来转职到ITT公司,并从事品质管理的工作,他在公司任职达14年之久,晋升至副总裁及品质总监。1979年克劳士比出版了《品质是免费的》,同年离开ITT公司,自组了菲利浦·克劳士比公司。克劳士比的学说强调商品应该是零缺憾,品质管理是预防商品不及格,而不是对不合格的商品作出评估。
  • 腓特烈·威廉 (霍恩洛厄-英格尔芬根)腓特烈·威廉(德语:Friedrich Wilhelm zu Hohenlohe-Ingelfingen,1826年1月9日-1895年10月24日),霍恩洛厄-英格尔芬根(英语:Hohenlohe-Ingelfingen)亲王,阿道夫·霍恩洛厄-英格尔芬根的次子。1872年,腓特烈·威廉与安娜·冯·基希(Anna von Giech)结婚,两人共有1子4女:
  • 曾氏大宗祠曾氏大宗祠可以指: