卷积神经网络

✍ dations ◷ 2025-07-09 23:22:11 #卷积神经网络

卷积神经网络(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。

卷积神经网络由一个或多个卷积层和顶端的全连通层(对应经典的神经网络)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网络能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网络在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网络,卷积神经网络需要考量的参数更少,使之成为一种颇具吸引力的深度学习结构。

卷积神经网络的灵感来自于动物视觉皮层组织的神经连接方式。单个神经元只对有限区域内的刺激作出反应,不同神经元的感知区域相互重叠从而覆盖整个视野。


卷积神经网络是人工神经网络的一种特殊类型,在其至少一层中使用称为卷积的数学运算代替通用矩阵乘法。它们专门设计用于处理像素数据,并用于图像识别和处理。

CNN是根据生物的视觉处理过程来进行设计的。

Hubel和Wiesel在20世纪50年代到20世纪60年代的研究发现,猫和猴子的视觉皮层中包含着能分别对某一小块视觉区域进行回应的神经元。当眼睛不动的时候,在一定区域内的视觉刺激能使单个神经元兴奋,那这个区域就称为这个神经元的感受范围。相邻的细胞具有相似且重叠的感受范围。为了形成一张完整的视觉图像,整个视觉皮层上的神经元的感受范围的大小和位置呈现系统性的变化。左脑和右脑分别对应其对侧的视野。他们在其1968年的一篇论文中确定了大脑中有两种不同的基本视觉细胞:

Hubel和Wiesel还提出了这两种细胞用于模式识别任务的级联模型。

卷积神经网络由输入层、隐藏层和输出层组成。

卷积层可以产生一组平行的特征图(feature map),它通过在输入图像上滑动不同的卷积核并执行一定的运算而组成。此外,在每一个滑动的位置上,卷积核与输入图像之间会执行一个元素对应乘积并求和的运算以将感受野内的信息投影到特征图中的一个元素。这一滑动的过程可称为步幅 Z_s,步幅 Z_s 是控制输出特征图尺寸的一个因素。卷积核的尺寸要比输入图像小得多,且重叠或平行地作用于输入图像中,一张特征图中的所有元素都是通过一个卷积核计算得出的,也即一张特征图共享了相同的权重和偏置项。

线性整流层(Rectified Linear Units layer, ReLU layer)使用线性整流(Rectified Linear Units, ReLU) f ( x ) = max ( 0 , x ) {displaystyle f(x)=max(0,x)} 作为这一层神经的激励函数(Activation function)。它可以增强判定函数和整个神经网络的非线性特性,而本身并不会改变卷积层。

事实上,其他的一些函数也可以用于增强网络的非线性特性,如双曲正切函数 f ( x ) = tanh ( x ) {displaystyle f(x)=tanh(x)} , f ( x ) = | tanh ( x ) | {displaystyle f(x)=|tanh(x)|} ,或者Sigmoid函数 f ( x ) = ( 1 + e x ) 1 {displaystyle f(x)=(1+e^{-x})^{-1}} 。相比其它函数来说,ReLU函数更受青睐,这是因为它可以将神经网络的训练速度提升数倍,而并不会对模型的泛化准确度造成显著影响。

池化(Pooling)是卷积神经网络中另一个重要的概念,它实际上是一种非线性形式的降采样。有多种不同形式的非线性池化函数,而其中“最大池化(Max pooling)”是最为常见的。它是将输入的图像划分为若干个矩形区域,对每个子区域输出最大值。

直觉上,这种机制能够有效地原因在于,一个特征的精确位置远不及它相对于其他特征的粗略位置重要。池化层会不断地减小数据的空间大小,因此参数的数量和计算量也会下降,这在一定程度上也控制了过拟合。通常来说,CNN的网络结构中的卷积层之间都会周期性地插入池化层。池化操作提供了另一种形式的平移不变性。因为卷积核是一种特征发现器,我们通过卷积层可以很容易地发现图像中的各种边缘。但是卷积层发现的特征往往过于精确,我们即使高速连拍拍摄一个物体,照片中的物体的边缘像素位置也不大可能完全一致,通过池化层我们可以降低卷积层对边缘的敏感性。

池化层每次在一个池化窗口(depth slice)上计算输出,然后根据步幅移动池化窗口。下图是目前最常用的池化层,步幅为2,池化窗口为 2 × 2 {displaystyle 2times 2} 的二维最大池化层。每隔2个元素从图像划分出 2 × 2 {displaystyle 2times 2} 的区块,然后对每个区块中的4个数取最大值。这将会减少75%的数据量。

f X , Y ( S ) = max a , b = 0 1 S 2 X + a , 2 Y + b . {displaystyle f_{X,Y}(S)=max _{a,b=0}^{1}S_{2X+a,2Y+b}.}

除了最大池化之外,池化层也可以使用其他池化函数,例如“平均池化”甚至“L2-范数池化”等。过去,平均池化的使用曾经较为广泛,但是最近由于最大池化在实践中的表现更好,平均池化已经不太常用。

由于池化层过快地减少了数据的大小,目前文献中的趋势是使用较小的池化滤镜,甚至不再使用池化层。

RoI池化(Region of Interest)是最大池化的变体,其中输出大小是固定的,输入矩形是一个参数。

池化层是基于 Fast-RCNN 架构的卷积神经网络的一个重要组成部分。

最后,在经过几个卷积和最大池化层之后,神经网络中的高级推理通过完全连接层来完成。就和常规的非卷积人工神经网络中一样,完全连接层中的神经元与前一层中的所有激活都有联系。因此,它们的激活可以作为仿射变换来计算,也就是先乘以一个矩阵然后加上一个偏差(bias)偏移量(向量加上一个固定的或者学习来的偏差量)。

卷积神经网络通常在影像识别系统中使用。

相比影像识别问题,视频分析要难许多。CNN也常被用于这类问题。

卷积神经网络也常被用于自然语言处理。 CNN的模型被证明可以有效的处理各种自然语言处理的问题,如语义分析、搜索结果提取、句子建模 、分类、预测、和其他传统的NLP任务等。

卷积神经网络已在药物发现中使用。卷积神经网络被用来预测的分子与蛋白质之间的相互作用,以此来寻找靶向位点,寻找出更可能安全和有效的潜在治疗方法。

卷积神经网络在计算机围棋领域也被使用。2016年3月,AlphaGo对战李世乭的比赛,展示了深度学习在围棋领域的重大突破。

卷积神经网络(例如Alexnet、VGG网络)在网络的最后通常为softmax分类器。微调一般用来调整softmax分类器的分类数。例如原网络可以分类出2种图像,需要增加1个新的分类从而使网络可以分类出3种图像。微调(fine-tuning)可以留用之前训练的大多数参数,从而达到快速训练收敛的效果。例如保留各个卷积层,只重构卷积层后的全连接层与softmax层即可。

相关

  • 社会救助社会救助是一种社会福利,主要是协助低收入户,以及遭遇急难的受灾户,维持其基本生活水准。又称为公共救助,是所得维持政策中的一环,目的在维持国民最低“基本”生活水准所需的所得
  • 米切尔 (南达科他州)米切尔(英语:Mitchell),是美国南达科他州下属的一座城市。根据2010年美国人口普查,该市有人口15,254人。2011年估计该市人口约有15,368人,年增长率为0.75%。
  • 阿兰·摩尔阿兰·摩尔(1953年11月18日-,Alan Moore),英国漫画作家、小说家、短篇小说作家、电影剧本作家、音乐家、漫画家 。出生于英格兰中部的北安普顿郡,他在漫画界的作品令其闻名遐迩,包
  • 乐学轨范《乐学轨范》是一本古朝鲜音乐论述著作。由柳子光收辑,成书于约15世纪的李氏朝鲜。当时以汉字书写,辅以详细的图解,以便乐器演奏者熟谙乐器介绍和指法等,因而具有较高的研究和学
  • 袁一虬袁一虬(约1545年-1626年),字汝化,南直隶苏州府长洲县(今江苏苏州)人。明朝官员、学者。应天府乡试第七十八名。隆庆二年(1568年),登戊辰科第二甲第三十八名进士。历官荆门知州,官至浙江
  • 千代翔马富士雄千代翔马富士雄(1991年7月20日-),原名Ganbaatar Munkhsaihan,蒙古国乌兰巴托出身的大相扑力士。他在2009年9月初次比赛,在2016年9月到达幕内级别,他所属的相扑部屋为九重部屋,他最高
  • 埃德·珀尔马特埃德·珀尔马特(英语:Ed Perlmutter;1953年5月1日-)是美国的一位政治人物。自2007年开始,他是科罗拉多州第7选举区选出的美国众议院议员。他的党籍是民主党。珀尔马特已经结婚并且
  • H/PJ-26型单管76毫米舰炮H/PJ-26型单管76毫米舰炮是由中国船舶重工集团郑州机电工程研究所设计、中国第一重型机械集团公司生产的中口径舰载火炮,其研仿自苏联下诺夫哥罗德机械厂研制的AK-176型单管7
  • 威廉王子湾威廉王子湾(Prince William Sound)是阿拉斯加湾内的一个海湾,其海岸线约长5000千米,位于基奈半岛以东。钟克山脉从东、北和西三面围绕威廉王子湾。约80千米长的蒙塔古岛将威廉王子湾与海域隔开。海湾里最大的港口是位于纵贯阿拉斯加管道南端的瓦代兹。高达80米的哥伦比亚冰川的端部于威廉王子湾的北部注入大海,其宽度达10千米。1778年乔治·温哥华以当时的威廉王子,后来的英国国王威廉四世命名此海湾。1964年3月27日耶稣受难日地震导致131人丧生,地震破坏达五亿美元。该地震震强达9.2级,持续
  • 佐伊·卡赞佐伊·斯威科德·卡赞(英语:Zoe Swicord Kazan,1983年9月9日-)是一名美国女演员、剧作家及编剧。曾出演过多部百老汇作品,同时也会撰写戏剧剧本。2018年,卡赞和她的伴侣保罗·达诺共同撰写了迪诺的执导作《狂野生活(英语:Wildlife (film))》。卡赞从2007年以来与保罗·达诺维持着伴侣关系。两人有一个女儿 Alma Day ,出生于2018年8月。