线性整流函数

整流线性单位函数（Rectified Linear Unit, ReLU）,又称修正线性单元, 是一种人工神经网络中常用的激励函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。

比较常用的线性整流函数有斜坡函数 ${\displaystyle f(x)=max(0,x)}$，以及带泄露整流函数 (Leaky ReLU)，其中 ${\displaystyle x}$ 为神经元(Neuron)的输入。线性整流被认为有一定的生物学原理，并且由于在实践中通常有着比其他常用激励函数（譬如逻辑函数）更好的效果，而被如今的深度神经网络广泛使用于诸如图像识别等计算机视觉人工智能领域。

通常意义下，线性整流函数指代数学中的斜坡函数，即

而在神经网络中，线性整流作为神经元的激活函数，定义了该神经元在线性变换 ${\displaystyle {\mathbf{w}}^T\mathbf{x}+b}$之后的非线性输出结果。换言之，对于进入神经元的来自上一层神经网络的输入向量 ${\displaystyle x}$，使用线性整流激活函数的神经元会输出

至下一层神经元或作为整个神经网络的输出（取决现神经元在网络结构中所处位置）。

线性整流函数在基于斜坡函数的基础上有其他同样被广泛应用于深度学习的变种，譬如带泄露线性整流(Leaky ReLU)， 带泄露随机线性整流(Randomized Leaky ReLU)，以及噪声线性整流(Noisy ReLU).

在输入值 ${\displaystyle x}$ 为负的时候，带泄露线性整流函数（Leaky ReLU）的梯度为一个常数 ${\displaystyle \mathrm{\lambda <!--\; \lambda \; -->}\in <!--\; \in \; -->(0,1)}$，而不是0。在输入值为正的时候，带泄露线性整流函数和普通斜坡函数保持一致。换言之，

在深度学习中，如果设定 ${\displaystyle \mathrm{\lambda <!--\; \lambda \; -->}}$ 为一个可通过反向传播算法（Backpropagation）学习的变量，那么带泄露线性整流又被称为参数线性整流（Parametric ReLU）。

带泄露随机线性整流（Randomized Leaky ReLU, RReLU）最早是在Kaggle全美数据科学大赛（NDSB）中被首先提出并使用的。相比于普通带泄露线性整流函数，带泄露随机线性整流在负输入值段的函数梯度 ${\displaystyle \mathrm{\lambda <!--\; \lambda \; -->}}$ 是一个取自连续性均匀分布 ${\displaystyle U(l,u)}$ 概率模型的随机变量，即

其中 且

相关

• 克里斯汀·德·迪夫克里斯汀·德·迪夫（法语：Christian René de Duve，1917年10月2日－2013年5月4日）)，出生于英国的细胞学家与生物化学家，是比利时移民的后裔。1920年，他与家人一起回到比利时。他主要
• 马略特定律波意耳-马略特定律（英语：Boyle's law，也称作Boyle–Mariotte law或Mariotte's law），在定量定温下，理想气体的体积与压强成反比。是由爱尔兰化学家罗伯特·波义耳，在1662年根据实验
• 尼日利亚内战Military killed: 45,000–100,000 killedDisplaced: 2,000,000–4,500,0001968年1969年1970年尼日利亚内战，亦称比亚法拉战争或比夫拉战争，是1967年至1970年间尼日利亚政府和
• 白莲教白莲教，是跨越多个中国史上朝代的一个秘密民间宗教组织，发展过程中融入了包括弥勒教在内的其他组织的内容，但一般认为主源是源于宋高宗绍兴三年（1133年），由茅子元创立的佛教净土宗
• 人头税人头税（poll tax或head tax）是一种向每一个人课相同、定额的税种（有别于所得之百分比）。在19世纪时，此税曾为许多国家的重要税收，但是现在已非如此。历史上有几个著名的人头税例子
• 多特蒙德数据库多特蒙德数据库（英语：Dortmund Data Bank，缩写为DDB）是收录热力学与热物理数据的事实数据库。其主要用途为提供过程模拟（英语：process simulation）所需之数据，而这些实验数据是设计
• 拉里奥哈共产党拉里奥哈共产党（西班牙语：Partido Comunista de La Rioja）是西班牙共产党在拉里奥哈自治区的分支。该党于1986年11月13日在西班牙内政部注册。它的意识形态是共产主义、马克思
• 中华槭中华槭（学名：）为槭树科槭属下的一个种。
• 伊斯梅尔雷区伊斯梅尔雷区（阿塞拜疆语：İsmayıllı rayonu‎）是阿塞拜疆的一个区，位于该国东北部。面积2,074平方公里，1993年人口77,800人。首府伊斯梅尔雷。1931年设区。阿布歇隆 · 阿格达姆 · 阿格达什 · 阿格贾贝迪 · 阿克斯塔法 · 阿赫苏 · 阿斯塔拉 ·  · 巴拉肯 · 巴尔达 · 贝拉甘 · 比利亚苏瓦尔 · 达什卡桑 · 菲祖利 · 凯达贝克 · 戈兰博伊 · 盖奥克恰伊 · 盖戈里 · 卡齐穆罕默德 · 伊米什利 · 伊斯梅尔雷 
• 雅尔塔雅尔塔（俄语：Ялта，乌克兰语：Ялта，克里米亚鞑靼语：Yalta）是位于克里米亚半岛南岸的一个城市，为世界闻名的历史古城，建于12世纪。人口约有141,781人，面积283km²。也是黑海沿岸知名的疗养区。雅尔塔从19世纪开始发展旅游业。在20世纪，雅尔塔是苏联最重要的疗养区。1945年的雅尔塔会议就是在这里的里瓦几亚宫举行。2014年克里米亚危机后乌克兰和俄罗斯均主张为自己领土。根据2001年1月1日乌克兰政府进行的人口普查结果，雅尔塔总人口为80,500人。雅尔塔主要居民是：俄罗斯人 - 65%