梯度消失问题

✍ dations ◷ 2025-09-14 23:52:26 #梯度消失问题

梯度消失问题(Vanishing gradient problem)是一种机器学习中的难题,出现在以梯度下降法和反向传播训练人工神经网络的时候。在每次训练的迭代中,神经网路权重的更新值与误差函数的偏导数成比例,然而在某些情况下,梯度值会几乎消失,使得权重无法得到有效更新,甚至神经网络可能完全无法继续训练。举个例子来说明问题起因,一个传统的激励函数如双曲正切函数,其梯度值在 (-1, 1)范围内,反向传播以链式法则来计算梯度。

这样做的效果,相当于在n层网络中,将n个这些小数字相乘来计算“前端”层的梯度,这就使梯度(误差信号)随着n呈指数递减,导致前端层的训练非常缓慢。

反向传播使研究人员从头开始训练监督式深度人工神经网络,最初收效甚微。 1991年赛普·霍克赖特(Hochreiter)的毕业论文正式确认了“梯度消失问题”失败的原因。梯度消失问题不仅影响多层前馈网络,还影响循环网络。循环网络是通过将前馈网络深度展开来训练,在网络处理的输入序列的每个时间步骤中,都会产生一个新的层。

当所使用的激励函数之导数可以取较大值时,则可能会遇到相关的梯度爆炸问题(exploding gradient problem)。

相关

  • 师公教摩教,也叫壮族师公教,是大部分壮族人信奉的宗教,主要存在于广西。摩教主要崇拜一个创世大神——布洛陀,也崇拜其他一些神灵。摩教有一个三元素理论(天、地和水),是一种泛灵论的宗
  • 孤山孤山镇,是中华人民共和国辽宁省丹东市东港市下辖的一个镇,行政级别为副县级。孤山镇地处大孤山经济开发区的中心地带,拥有较多旅游资源。孤山镇下辖以下地区:东街社区、西街社区
  • 台北体院体育馆台北体院体育馆,俗称白馆,原位于台北市敦化北路、八德路口,现已拆除。白馆拆除前SBL第一季至第四季皆以此为主场馆,琼斯杯等国际性比赛亦在此进行。
  • 其培其培(缅甸语:ချီဖွေမြို့,英语:Chipwi)缅甸北部克钦邦其培镇区辖下的一个镇,位于恩梅开江边。市区附近有一座由中国电力投资集团公司云南国际公司建造的小其培水电站,该
  • 鲁思·本尼迪克特瓦萨学院英国文学学士(1909年)Frederick Fulton 鲁思·本尼迪克特(Ruth Benedict,原姓Fulton,1887年6月5日-1948年9月17日),美国人类学家。20世纪初少数的女性学者,受到法兰兹·鲍亚
  • 芳龄十三《芳龄十三》(英文:)是于2003年在美国上映的剧情片,由嘉芙连·赫域姬执导,霍利·亨特及艾凡·瑞秋·伍德等主演。电影剧本由妮基·瑞德及导演合写,改编自妮基·瑞德本身的高中生涯
  • 李当户李当户,西汉陇西郡成纪县(今甘肃省天水市秦安县)人。李广的长子。李椒开始担任郎官,事奉汉武帝,当时汉武帝和韩嫣开玩笑,韩嫣对汉武帝稍有不逊,李当户于是就追打韩嫣,韩嫣逃避,汉武帝
  • 李曜 (北朝)李曜,《周书》作李耀,北周官员,八柱国李弼长子,出自辽东李氏。李曜的二弟李晖娶宇文泰之女义安长公主,于是以李晖为嗣。李曜不得嗣爵,朝廷以李弼功大,封李曜为邢国公,官至开府、使持
  • 陆小波陆小波(1882年3月3日-1973年5月1日),男,江苏镇江人,中国现代实业家。曾任中央银行镇江支行行长、镇江水电公司总经理、茅麓公司董事长、南京大同面粉厂董事长、京江中学董事长、镇
  • 梅芙梅芙(英语:Medb;古爱尔兰拼音:;中古爱尔兰语: Meḋḃ 或 Meaḋḃ;现代早期爱尔兰语:Meadhbh、;现代爱尔兰语:Méabh 、Medbh 或 Maebh;有时会使用盎格鲁化的Maeve、 Maev 或 Maive /ˈmeɪv/),爱尔兰神话阿尔斯特传说(英语:Ulster Cycle)中的康诺特女王。在传说中,她有好几任丈夫,最后一任的丈夫是艾利尔‧麦‧马塔(爱尔兰语:Ailill mac Máta),其夫均为康诺特省国王。她统治著克鲁亨山(现罗斯康门郡)。她既是阿尔斯特王康纳尔‧马克