线性整流函数

整流线性单位函数（Rectified Linear Unit, ReLU）,又称修正线性单元, 是一种人工神经网络中常用的激励函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。

比较常用的线性整流函数有斜坡函数 ${\displaystyle f(x)=max(0,x)}$，以及带泄露整流函数 (Leaky ReLU)，其中 ${\displaystyle x}$ 为神经元(Neuron)的输入。线性整流被认为有一定的生物学原理，并且由于在实践中通常有着比其他常用激励函数（譬如逻辑函数）更好的效果，而被如今的深度神经网络广泛使用于诸如图像识别等计算机视觉人工智能领域。

通常意义下，线性整流函数指代数学中的斜坡函数，即

而在神经网络中，线性整流作为神经元的激活函数，定义了该神经元在线性变换 ${\displaystyle {\mathbf{w}}^T\mathbf{x}+b}$之后的非线性输出结果。换言之，对于进入神经元的来自上一层神经网络的输入向量 ${\displaystyle x}$，使用线性整流激活函数的神经元会输出

至下一层神经元或作为整个神经网络的输出（取决现神经元在网络结构中所处位置）。

线性整流函数在基于斜坡函数的基础上有其他同样被广泛应用于深度学习的变种，譬如带泄露线性整流(Leaky ReLU)， 带泄露随机线性整流(Randomized Leaky ReLU)，以及噪声线性整流(Noisy ReLU).

在输入值 ${\displaystyle x}$ 为负的时候，带泄露线性整流函数（Leaky ReLU）的梯度为一个常数 ${\displaystyle \mathrm{\lambda <!--\; \lambda \; -->}\in <!--\; \in \; -->(0,1)}$，而不是0。在输入值为正的时候，带泄露线性整流函数和普通斜坡函数保持一致。换言之，

在深度学习中，如果设定 ${\displaystyle \mathrm{\lambda <!--\; \lambda \; -->}}$ 为一个可通过反向传播算法（Backpropagation）学习的变量，那么带泄露线性整流又被称为参数线性整流（Parametric ReLU）。

带泄露随机线性整流（Randomized Leaky ReLU, RReLU）最早是在Kaggle全美数据科学大赛（NDSB）中被首先提出并使用的。相比于普通带泄露线性整流函数，带泄露随机线性整流在负输入值段的函数梯度 ${\displaystyle \mathrm{\lambda <!--\; \lambda \; -->}}$ 是一个取自连续性均匀分布 ${\displaystyle U(l,u)}$ 概率模型的随机变量，即

其中 且

相关

• 康塔尔省康塔尔省（法文：Cantal）是法国奥弗涅-隆-阿尔卑斯大区所辖的省份。该省编号为15。康塔尔省得名于康塔尔山脉。康塔尔省与多姆山省、上卢瓦尔省、阿韦龙省、洛特省、洛泽尔省、科
• 温德尔·斯坦利温德尔·梅雷迪思·斯坦利（英语：Wendell Meredith Stanley，1904年8月16日－1971年6月15日），出生于印第安纳州里奇维尔，美国化学家，1946年获诺贝尔化学奖。1901年：范托夫 | 1902年：费歇
• USB通用串行总线（英语：Universal Serial Bus，缩写：USB）是连接计算机系统与外部设备的一种串口总线标准，也是一种输入输出接口的技术规范，被广泛地应用于个人电脑和移动设备等信息通讯
• 小林诚 (物理学家)小林诚（日语：小林 誠／こばやし まこと  ?，1944年4月7日－），以研究CP破坏著名的日本物理学家，现为名古屋大学特别教授、高能加速器研究机构名誉教授、独立行政法人日本学术振兴会（日
• 休·波利策休·波利策（英语：Hugh Politzer，1949年8月31日－），出生于纽约，美国物理学家，2004年获诺贝尔物理学奖。1901年：伦琴 / 1902年：洛伦兹、塞曼 / 1903年：贝克勒、皮埃尔·居里、玛丽·居里 /
• 天主教菲律宾圣若瑟教区天主教菲律宾圣若瑟教区 （拉丁语：Dioecesis Sancti Iosephi in Insulis Philippinis、他加禄语：Diyosesis ng San Jose sa Pilipinas）是菲律宾一个罗马天主教教区，属天主教仁牙因
• 开元镇开元镇，是中华人民共和国河北省保定市定州市下辖的一个乡镇级行政单位。开元镇下辖以下地区：小油村、赵庄子村、孔庄子村、高油村、李油村、绳油村、代庄子村、岗北村、东近同
• 尾高龟藏尾高龟藏（1884年9月28日－1953年8月1日），日本陆军军人。最终阶级为陆军中将。佐贺县出身。本家务农，大谷平治所生的二男，再成为尾高家的养子。唐津中学校毕业，1904年10月陆军士官学
• ISIS酱ISIS酱（日语：ISIS ちゃん／アイシスちゃん ）是一个虚构的二次元角色，起源于日本网络论坛2ch，其起因是2015年的伊斯兰国拘禁日本人事件（日语：ISILによる日本人拘束事件），伊斯兰国绑架了
• 蔡望怀蔡望怀（1938年9月－），男，祖籍福建南安，生于福建厦门，中华人民共和国政治人物，曾任厦门市人民政府副市长，厦门市政协主席，第九届全国政协委员，省人大第七届代表，省政协第七、八、九届委员。蔡望怀祖籍福建省南安县官桥镇漳里村，1938年生于厦门市。1955年，蔡望怀就读于北京石油学院，1960年毕业于厦门大学，分配到龙岩一中任教。1979年，调入厦门市教师进修学院。1984年起，历任厦门市人民政府副秘书长、教委主任、副市长。1993年至2002年12月，任厦门市政协主席、党组书记（1995年6月定级为副省