梯度消失问题

✍ dations ◷ 2025-10-25 20:49:10 #梯度消失问题

梯度消失问题(Vanishing gradient problem)是一种机器学习中的难题,出现在以梯度下降法和反向传播训练人工神经网络的时候。在每次训练的迭代中,神经网路权重的更新值与误差函数的偏导数成比例,然而在某些情况下,梯度值会几乎消失,使得权重无法得到有效更新,甚至神经网络可能完全无法继续训练。举个例子来说明问题起因,一个传统的激励函数如双曲正切函数,其梯度值在 (-1, 1)范围内,反向传播以链式法则来计算梯度。

这样做的效果,相当于在n层网络中,将n个这些小数字相乘来计算“前端”层的梯度,这就使梯度(误差信号)随着n呈指数递减,导致前端层的训练非常缓慢。

反向传播使研究人员从头开始训练监督式深度人工神经网络,最初收效甚微。 1991年赛普·霍克赖特(Hochreiter)的毕业论文正式确认了“梯度消失问题”失败的原因。梯度消失问题不仅影响多层前馈网络,还影响循环网络。循环网络是通过将前馈网络深度展开来训练,在网络处理的输入序列的每个时间步骤中,都会产生一个新的层。

当所使用的激励函数之导数可以取较大值时,则可能会遇到相关的梯度爆炸问题(exploding gradient problem)。

相关

  • 平衡常数可逆化学反应达到平衡时,每个产物浓度系数次幂的连乘积与每个反应物浓度系数次幂的连乘积成正比,这个比值叫做平衡常数,记作 K 。反应进行得越完全,平衡常数就越大。对于反应
  • 清朝皇帝世系图肇祖原皇帝 ~ 兴祖直皇帝 ~ 景祖翼皇帝 ~ 显祖宣皇帝 ~ 成宗义皇帝(入关)太祖高皇帝[天命](立国) → 太宗文皇帝[天聪]太宗文皇帝[崇德](称帝) → 世祖章皇帝[顺治] → 圣祖仁皇帝[康熙] →
  • 南极鸟类南极鸟类(学名:Austrodyptornithes)是鸟类的一个演化支,包括企鹅目和鹱形目 (如信天翁等)。2014年对48种代表性鸟类的全基因组分析得出结论,企鹅是鹱形目的姐妹群,它们大约在6000万
  • 辛亥革命《辛亥革命》(英文:1911)是一部2011年上映的中国电影。本片是中国大陆为纪念辛亥革命一百周年筹拍的献礼片。由英皇影业有限公司、寰亚电影有限公司、长春电影集团公司联合上海
  • 霍达兰坐标:60°15′N 06°00′E / 60.250°N 6.000°E / 60.250; 6.000霍达兰(挪威语:Hordaland  聆听 帮助·信息)是挪威西南部已撤销的郡,首府及最大的城市为卑尔根。霍达兰郡面积1
  • 铱异常铱异常(Iridium anomaly)一般是指在地层中化学元素铱含量异常丰富的状况。而这异常含量一般被认为是其他天体撞击地球的撞击事件证据,白垩纪与第三纪地层交界的K-T界线即为一典
  • 寅次郎的故事10 寅次郎美梦成真《寅次郎的故事10 寅次郎美梦成真》(日语:男はつらいよ 寅次郎夢枕、英语:Tora-san's Dream-Come-True)是一部1972年上映的日本喜剧电影,亦是《寅次郎的故事系列》的第十部剧场版
  • BCBC有许多不同的意思:
  • 石灵宝石灵宝,南齐人物,会稽郡余姚县(今浙江省余姚市)人。石灵宝在南齐为奉朝请。其女石令嬴被始安王萧遥光纳为妾室。萧遥光败,入萧宝卷后宫。建康城平,为梁武帝采女,生皇子萧绎。石令嬴
  • 41号公路 (以色列)41号公路(希伯来语:כביש 41‎)为在以色列中南部的一条干线道路(英语:arterial road)。西起阿什杜德港,东至4号公路/42号公路(英语:Highway 42 (Israel))与7号公路(英语:Highway 7 (Israel))衔接,全长3.9公里。42号公路与盖代拉(40号公路(英语:Highway 40 (Israel)))之间的路段在升格为7号公路以前曾是41号公路的一部分。41号公路位于阿什杜德境内的路段已完成拓宽并且重新调整。哈修玛尔交叉口(צומת חשמל‎,今已废除