线性整流函数

✍ dations ◷ 2025-02-23 07:11:30 #线性整流函数

整流线性单位函数（Rectified Linear Unit, ReLU）,又称修正线性单元, 是一种人工神经网络中常用的激励函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。

比较常用的线性整流函数有斜坡函数 ${displaystyle f(x)=max(0,x)}$ ${displaystyle f(x)=max(0,x)}$ ，以及带泄露整流函数 (Leaky ReLU)，其中 ${displaystyle x}$ $x$ 为神经元(Neuron)的输入。线性整流被认为有一定的生物学原理，并且由于在实践中通常有着比其他常用激励函数（譬如逻辑函数）更好的效果，而被如今的深度神经网络广泛使用于诸如图像识别等计算机视觉人工智能领域。

通常意义下，线性整流函数指代数学中的斜坡函数，即

而在神经网络中，线性整流作为神经元的激活函数，定义了该神经元在线性变换 ${displaystyle mathbf {w} ^{T}mathbf {x} +b}$ ${displaystyle mathbf {w} ^{T}mathbf {x} +b}$ 之后的非线性输出结果。换言之，对于进入神经元的来自上一层神经网络的输入向量 ${displaystyle x}$ $x$ ，使用线性整流激活函数的神经元会输出

至下一层神经元或作为整个神经网络的输出（取决现神经元在网络结构中所处位置）。

线性整流函数在基于斜坡函数的基础上有其他同样被广泛应用于深度学习的变种，譬如带泄露线性整流(Leaky ReLU)，带泄露随机线性整流(Randomized Leaky ReLU)，以及噪声线性整流(Noisy ReLU).

在输入值 ${displaystyle x}$ $x$ 为负的时候，带泄露线性整流函数（Leaky ReLU）的梯度为一个常数 ${displaystyle lambda in (0,1)}$ ${displaystyle lambda in (0,1)}$ ，而不是0。在输入值为正的时候，带泄露线性整流函数和普通斜坡函数保持一致。换言之，

在深度学习中，如果设定 ${displaystyle lambda }$ $lambda$ 为一个可通过反向传播算法（Backpropagation）学习的变量，那么带泄露线性整流又被称为参数线性整流（Parametric ReLU）。

带泄露随机线性整流（Randomized Leaky ReLU, RReLU）最早是在Kaggle全美数据科学大赛（NDSB）中被首先提出并使用的。相比于普通带泄露线性整流函数，带泄露随机线性整流在负输入值段的函数梯度 ${displaystyle lambda }$ $lambda$ 是一个取自连续性均匀分布 ${displaystyle U(l,u)}$ ${displaystyle U(l,u)}$ 概率模型的随机变量，即

其中 ${displaystyle lambda sim U(l,u),l<u}$ ${displaystyle lambda sim U(l,u),l<u}$ 且 ${displaystyle l,uin 。</p><p>相比于传统的神经网络激活函数，诸如逻辑函数（Logistic sigmoid）和tanh等双曲函数，线性整流函数有着以下几方面的优势：</p> </div> <div class=$

相关

泌尿科人体解剖学 - 人体生理学组织学 - 胚胎学人体寄生虫学 - 免疫学病理学 - 病理生理学细胞学 - 营养学流行病学 - 药理学 - 毒理学泌尿外科是专门研究男女泌尿系统与男
单核细胞增多症传染性单核白血球增多症（英语：Infectious mononucleosis，缩写“IM”，别名mono、glandular fever、Pfeiffer's disease、Filatov's disease）是一种由EB病毒造成的传染病。大部分人
莫农加希拉莫农加希拉国家森林（英语：Monongahela National Forest）是美国西弗吉尼亚州的一座国家森林，位于阿勒格尼山脉以东。
龙眼龙眼（学名：Dimocarpus longan），又称桂圆、福圆、荔枝奴、亚荔枝、燕卵，为水果；寿命最长可达400多年。常绿大乔木，高6－10米。长椭圆形叶子互生，全缘、革质、光滑无毛，长6－10厘米，宽2-4厘
古群山群岛古群山群岛（朝鲜语：고군산군도／古群山群島 Gogunsan Gundo */?），是大韩民国的群岛，位于黄海，由16个有人居住的岛屿47个无人居住的岛屿组成，由全罗北道负责管辖，面积约为23km²，2015
包机包机，是出租整架飞机的一种形式，有如出租车，主要分为指定行程、目的地和时间等三种。包机不是定期班机，租户与机主订立出租合约。包机的乘客是租户的顾客，除了客运包机之外，还有货
山下勉山下勉（日语：ツトム・ヤマシタ，1947年3日15日－），是一名日本敲击乐演奏家，键盘乐演奏家和作曲家。出生于日本京都府京都市。在1960年代至1970年代，山下勉以传统日本敲击乐音乐与西
西凤酒西凤酒产于陕西省凤翔县，是一种凤香型大曲白酒。凤翔古称雍，是周秦发祥之地，有非常悠久的酿酒历史。此地所产之酒，周武王时称“雍酒”，周文王时称“秦酒”。此酒以柳林镇所酿造的
久吉亚尔久吉亚尔（Jugial），是印度旁遮普邦Gurdaspur县的一个城镇。总人口16664（2001年）。该地2003年总人口16664人，其222中男性9081人，女性7583人；0—6岁人口1795人，其中男1060人，女735人；识字
情人 (蔡徐坤单曲)《情人》是中国大陆男歌手蔡徐坤的一首原创单曲，于2020年5月24日正式发行。同年12月，蔡徐坤凭借该作品获得第十四届音乐盛典咪咕汇“年度10大金曲”奖项。以下内容整理自：发行公司 : M&P International