梯度消失问题

✍ dations ◷ 2025-08-16 19:26:26 #梯度消失问题

梯度消失问题（Vanishing gradient problem）是一种机器学习中的难题，出现在以梯度下降法和反向传播训练人工神经网络的时候。在每次训练的迭代中，神经网路权重的更新值与误差函数的偏导数成比例，然而在某些情况下，梯度值会几乎消失，使得权重无法得到有效更新，甚至神经网络可能完全无法继续训练。举个例子来说明问题起因，一个传统的激励函数如双曲正切函数，其梯度值在 (-1, 1)范围内，反向传播以链式法则来计算梯度。

这样做的效果，相当于在n层网络中，将n个这些小数字相乘来计算“前端”层的梯度，这就使梯度（误差信号）随着n呈指数递减，导致前端层的训练非常缓慢。

反向传播使研究人员从头开始训练监督式深度人工神经网络，最初收效甚微。 1991年赛普·霍克赖特（Hochreiter）的毕业论文正式确认了“梯度消失问题”失败的原因。梯度消失问题不仅影响多层前馈网络，还影响循环网络。循环网络是通过将前馈网络深度展开来训练，在网络处理的输入序列的每个时间步骤中，都会产生一个新的层。

当所使用的激励函数之导数可以取较大值时，则可能会遇到相关的梯度爆炸问题（exploding gradient problem）。

相关

ΤTau（大写Τ，小写τ），是第十九个希腊字母。汉语发音为“套”第四声。小写τ用于：西里尔字母的 Т 及拉丁字母的 T 都是由 Tau 演变而成。近年来，有部分学者认为约等于3.14的π“不
威兰海因里希·奥托·威兰（德语：Heinrich Otto Wieland，1877年6月4日－1957年8月5日）是一位德国化学家，终生致力于面对天然产物的有机化学研究，成功分离出多种毒素与生物碱。因对胆汁酸
大鲜卑山大鲜卑山，传说中的鲜卑起源地，其地点不详。现代考证认为应是指大兴安岭北侧。史载鲜卑的名称来自他们所居地地附近的一座大山，名鲜卑山。鲜卑的习俗，当他们游牧到某个地方，就会将
约翰·福特约翰·福特（英语：John Ford，1894年2月1日－1973年8月31日），原名John Martin Feeney，美国著名电影导演及美国海军退役将领。生于缅因州伊丽莎白角一个爱尔兰移民家庭。早年曾在影片《
新耳草属新耳草属（学名：）是茜草科下的一个属，为披散草本植物，分枝多，节间生根，很少为亚灌木。该属共有约30种，分布于热带亚洲和大洋洲。
博卡詹博卡詹（Bokajan），是印度阿萨姆邦Karbi Anglong县的一个城镇。总人口14938（2001年）。该地2001年总人口14938人，其中男性8373人，女性6565人；0—6岁人口1793人，其中男956人，女837人；识字率
郑洁郑洁（1983年7月5日－），出生于四川成都，祖籍浙江宁波，中国女子职业网球运动员。2004年初出茅庐的郑洁在当年的法国网球公开赛进入女子单打十六强，成为第一位进入网球大满贯赛事第四轮的中国选手。2006年在澳大利亚网球公开赛和温布尔顿网球公开赛中与搭档晏紫合作拿下两项赛事的双打冠军，并进入WTA年终总决赛女子双打四强，刷新中国网球历史，2008年手持外卡参加温布尔顿女子单打比赛的郑洁，一路爆冷，击败了包括时为世界第一伊万诺维奇，首次进入大满贯女子单打四强。北京奥林匹克运动会上协同晏紫夺得女子双打季军。2
星期一的丰满《星期一的丰满》（日语：月曜日のたわわ）是日本漫画家比村奇石于Twitter上每星期一发表的漫画。最早该作以“月曜朝の社畜諸兄にたわわをお届けします”（给星期一早上的各位社畜哥哥送上丰满）为标题在作者Twitter账户上发布了第一部作品，之后每周连载，2016年连载第46话时改为现名。主题是为了星期一早上成为社畜的大家打气而画的丰满胸部女生插画。相关连载也通过同人志在Comic Market发售，至2018年8月已发售了6本单行本。有些时候作品也与发布当时的时事有所关联，例如在第24届日本参议院议员通常选
张光憻张光憻（越南语：Trương Quang Đản／.mw-parser-output .han-nom{font-family:"Nom Na Tong","Han-Nom Gothic","Han-Nom Ming","HAN NOM A","HAN NOM B","TH-Khaai-TP0","TH-Khaai-TP2","TH-Khaai-PP0","TH-Khaai-PP2","TH-Sung-PP0","TH-Sung-PP2","TH-Sung-TP0","TH-Sung-TP2","TH-S
赛义德·阿里夫·哈桑赛义德·阿里夫·哈桑中将（乌尔都语：سید عارف حسن‎‎，1950年11月11日－）是一名退役的巴基斯坦陆军三星上将（相当于中将）。他是巴基斯坦奥林匹克协会的现任主席。2007年，他还在没有竞争对手的情况下当选为亚洲奥林匹克理事会副主席。他还担任了第九届伊斯兰堡奥运会组委会主席。作为少将，他担任过巴基斯坦陆军副总参谋长。2001年10月，他晋升为中将并任命为巴基斯坦陆军第10兵团指挥官， 2003年9月，他被任命为第4兵团的指挥官。哈桑在巴基斯坦陆军服役期间，被任命2004年南亚运动会组委会主席。