线性整流函数

整流线性单位函数（Rectified Linear Unit, ReLU）,又称修正线性单元, 是一种人工神经网络中常用的激励函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。

比较常用的线性整流函数有斜坡函数 ${\displaystyle f(x)=max(0,x)}$，以及带泄露整流函数 (Leaky ReLU)，其中 ${\displaystyle x}$ 为神经元(Neuron)的输入。线性整流被认为有一定的生物学原理，并且由于在实践中通常有着比其他常用激励函数（譬如逻辑函数）更好的效果，而被如今的深度神经网络广泛使用于诸如图像识别等计算机视觉人工智能领域。

通常意义下，线性整流函数指代数学中的斜坡函数，即

而在神经网络中，线性整流作为神经元的激活函数，定义了该神经元在线性变换 ${\displaystyle {\mathbf{w}}^T\mathbf{x}+b}$之后的非线性输出结果。换言之，对于进入神经元的来自上一层神经网络的输入向量 ${\displaystyle x}$，使用线性整流激活函数的神经元会输出

至下一层神经元或作为整个神经网络的输出（取决现神经元在网络结构中所处位置）。

线性整流函数在基于斜坡函数的基础上有其他同样被广泛应用于深度学习的变种，譬如带泄露线性整流(Leaky ReLU)， 带泄露随机线性整流(Randomized Leaky ReLU)，以及噪声线性整流(Noisy ReLU).

在输入值 ${\displaystyle x}$ 为负的时候，带泄露线性整流函数（Leaky ReLU）的梯度为一个常数 ${\displaystyle \mathrm{\lambda <!--\; \lambda \; -->}\in <!--\; \in \; -->(0,1)}$，而不是0。在输入值为正的时候，带泄露线性整流函数和普通斜坡函数保持一致。换言之，

在深度学习中，如果设定 ${\displaystyle \mathrm{\lambda <!--\; \lambda \; -->}}$ 为一个可通过反向传播算法（Backpropagation）学习的变量，那么带泄露线性整流又被称为参数线性整流（Parametric ReLU）。

带泄露随机线性整流（Randomized Leaky ReLU, RReLU）最早是在Kaggle全美数据科学大赛（NDSB）中被首先提出并使用的。相比于普通带泄露线性整流函数，带泄露随机线性整流在负输入值段的函数梯度 ${\displaystyle \mathrm{\lambda <!--\; \lambda \; -->}}$ 是一个取自连续性均匀分布 ${\displaystyle U(l,u)}$ 概率模型的随机变量，即

其中 且

相关

• 喂乳母乳哺育（Breastfeeding），亦称哺乳、授乳或母乳喂养，指的是女性以乳房喂食婴儿母乳的行为。婴儿有吮吸反射，因此可以吮吸乳房并吞咽母乳，专家建议在出生后一小时即可哺喂母乳，之后
• 环境组织环境组织或环保组织（英语：environmental organization）是寻求保护、分析或监测环境以防止其遭虐待或恶化的组织。从这个意义上说，环境可以是指生态环境、自然环境或者建成环境。
• 乐达聪乐达聪（1872年－1954年），一名铎，号敬宇，晚年自号晚香老人。北京人，祖籍浙江宁波府慈溪县慈水镇。著名的制药专家，济南宏济堂创始人，出身于北京同仁堂乐家。1902年，乐达聪捐官为山东候补
• 保罗·布赛克保罗·约瑟夫·布赛克（英语：Paul Joseph Busiek；1923年4月1日－2016年4月18日），是美国的共和党政治人物及医生，前密苏里州众议院议员。布赛克出生在密苏里州斯普林菲尔德，曾入读杜利
• 加坦吉加坦吉（Ghatanji），是印度马哈拉施特拉邦Yavatmal县的一个城镇。总人口19347（2001年）。该地2001年总人口19347人，其中男性10150人，女性9197人；0—6岁人口2417人，其中男1325人，女1092人；
• 羊平镇羊平镇是中华人民共和国河北省曲阳县所辖的一个镇，位于曲阳县南部，距县城10公里。1961年建羊平公社，1985年改为乡，1991年改为镇。工业以雕刻、板材加工为主，农业以小麦、玉米为主
• 第32届日本众议院议员总选举第32届日本众议院议员总选举在昭和44年（1969年）12月27日举行，是日本历史上第一次在12月举行的众议院选举，因此又被称为师走选举或者腊月选举。这次日本的大选临近1970年，随着日本
• 绝望少女们绝望少女们（日语：絶望少女達），是按照于日本动画《绝望先生》系列登场之二年へ班女学生形象，汇聚各个出演声优之声优组合，主要负责作品内之主题曲和插曲工作。组合成立的契机，在于部
• 阿诺尔特大花草阿诺德大花草（学名：），又称霸王花、大王花，属金虎尾目大花草科大花草属的一种，产于印度尼西亚苏门达腊岛南端与婆罗洲。阿诺德大花草为世界上最大的花，花的直径长达一米，重11千克。其
• 弗兰克·威斯纳弗兰克·乔治·威斯纳（英语：Frank George Wisner II，1938年7月2日－），是美国的商人、外交官，曾经担任美国驻印度大使、驻菲律宾大使、驻埃及大使、驻赞比亚大使，国防部副部长，国际安全事务副国务卿。