多层感知器

✍ dations ◷ 2025-03-04 20:03:26 #多层感知器

多层感知器（Multilayer Perceptron,缩写MLP）是一种前向结构的人工神经网络，映射一组输入向量到一组输出向量。MLP可以被看作是一个有向图，由多个的节点层所组成，每一层都全连接到下一层。除了输入节点，每个节点都是一个带有非线性激活函数的神经元（或称处理单元）。一种被称为反向传播算法的监督学习方法常被用来训练MLP。多层感知器遵循人类神经系统原理，学习并进行数据预测。它首先学习，然后使用权重存储数据，并使用算法来调整权重并减少训练过程中的偏差，即实际值和预测值之间的误差。主要优势在于其快速解决复杂问题的能力。多层感知的基本结构由三层组成：第一输入层，中间隐藏层和最后输出层，输入元素和权重的乘积被馈给具有神经元偏差的求和结点,主要优势在于其快速解决复杂问题的能力。 MLP是感知器的推广，克服了感知器不能对线性不可分数据进行识别的弱点。

若每个神经元的激活函数都是线性函数，那么，任意层数的MLP都可被约简成一个等价的单层感知器。

实际上，MLP本身可以使用任何形式的激活函数，譬如阶梯函数逻辑Sigmoid函数，但为了使用反向传播算法进行有效学习，激活函数必须限制为可微函数。由于具有良好可微性，很多S函数，尤其是双曲正切函数（Hyperbolic tangent）及逻辑函数，被采用为激活函数。

在深度学习的最新发展中，线性整流(ReLU)更频繁地被用来克服与S函数相关的数值问题。

两个历史上常见的激活函数都是 S函数，形式是

${displaystyle y(v_{i})=tanh(v_{i})}$ ${displaystyle y(v_{i})=tanh(v_{i})}$ 和 ${displaystyle y(v_{i})=(1+e^{-v_{i}})^{-1}}$ ${displaystyle y(v_{i})=(1+e^{-v_{i}})^{-1}}$ 。

第一个是个双曲正切函数，值域为 -1 到 1；第二个是个逻辑函数，形状很相似但是值域为 0 到 1。令 y_i 为第 i 个节点（神经元）的输出，而 v_i 是输入连接的加权和。也有其他的激活函数，例如线性整流函数，径向基函数（用于径向基函数网络，另一种监督神经网络模型）。

MLP由三层或更多层非线性激活节点组成(一个输入层和一个具有一个或多个隐藏层的输出层)。由于多层互连是完全连接的，所以一层中的每个节点都以一定的权重 w_ij 连接到下一层的每个节点。

MLP 在感知器中进行学习，通过每次处理数据后改变连接权重，降低输出与预测结果的误差量。这是有监督学习的一个例子，通过反向传播来实现，反向传播是线性感知器中最小均方算法的推广。

我们可以将输出节点 j 的第 n 个数据点的误差表示为 ${displaystyle e_{j}(n)=d_{j}(n)-y_{j}(n)}$ ${displaystyle e_{j}(n)=d_{j}(n)-y_{j}(n)}$ ，其中 d 是目标值，y 是由感知器预测的值。调整节点权重的方式是，尝试通过修正节点权重最小化输出的整体误差

使用梯度下降，每个权重的修正量为

其中 y_i 是前一个神经元的输出，η是学习率。η需要精心挑选，保证权重可以快速收敛而不发生震荡。

式中的导数取决于局部场 v_j。场是变化的。很容易证明输出节点的导数可以简化为

其中 ${displaystyle phi ^{prime }}$ ${displaystyle phi ^{prime }}$ 是激活函数的导数。 ${displaystyle phi ^{prime }}$ ${displaystyle phi ^{prime }}$ 是不变的。对于隐藏节点的权重变化，分析更加困难，但是可以看出相关的导数是

代表输出层的第k个节点的权重变化会影响这个导数。因此，为了改变隐藏层权重，输出层权重根据激活函数的导数而改变，因此该算法代表激活函数的反向传播。

术语“多层感知器”不是指具有多层的单感知器，每一层由多个感知器组成。另一种说法是是“多层感知器网络”。此外，MLP的“感知器”不是最严格意义上的感知器。真正的感知器在形式上是人工神经元的一个特例，它使用一个阈值激活函数，如阶跃函数。MLP感知器可以使用任意激活函数。一个真正的感知器执行二进制分类(或者这个或者那个)，一个MLP神经元可以自由地执行分类或者回归，这取决于它的激活函数。

后来应用术语“多层感知器”时，没有考虑节点/层的性质，节点/层可以由任意定义的人工神经元组成，而不是具体的感知器。这种解释避免了将“感知器”的定义放宽到一般意义上的人工神经元。

常被MLP用来进行学习的反向传播算法，在模式识别的领域中算是标准监督学习算法，并在计算神经学及并行分布式处理领域中，持续成为被研究的课题。MLP已被证明是一种通用的函数近似方法，可以被用来拟合复杂的函数，或解决分类问题。

MLP在80年代的时候曾是相当流行的机器学习方法，拥有广泛的应用场景，譬如语音识别、图像识别、机器翻译等等，但自90年代以来，MLP遇到来自更为简单的支持向量机的强劲竞争。近来，由于深度学习的成功，MLP又重新得到了关注。

相关

克罗宁詹姆斯·克罗宁（英语：James Cronin，1931年9月29日－2016年8月25日），美国物理学家。生于芝加哥，1980年，因为发现中性K介子衰变时存在对称破坏，与瓦尔·菲奇共同荣获诺贝尔物理学奖。190
达玛稣一世教宗圣达玛稣一世（拉丁语：Sanctus Damasus PP. I；约305年－384年12月11日）原名Damasus，于366年10月1日－384年12月11日在位为教宗。任内致力打击异端亚流派。因当时圣座改用拉丁文进
涞源县涞源县在河北省西部、拒马河与唐河上游，是保定市下辖的一个县，邻接山西省。县政府驻涞源镇开源路29号。东经114°20′-115°05′，北纬39°01′-39°40′，县域面积2448平方公里。
安东·拉维安东·拉维（1930年4月11日－1997年10月29日），原名霍华德·斯坦顿·拉维，从很小的时候就被称作托尼拉维，他是撒旦教的创始人，以及《撒旦圣经》的作者，这本书的法文版发表于2006年。拉
安纳·朱尔·德·诺瓦耶安纳·朱尔·德·诺瓦耶，第二代诺阿耶公爵（Anne Jules, 2e duc de Noailles，1650年2月5日－1708年10月2日），第一代诺阿耶公爵昂·德·诺阿耶之子，23岁为陆军元帅。1682年任朗格多克(
少女革命《少女革命》（日语：少女革命ウテナ）是一部由动画导演几原邦彦率领的团队BE-PAPAS担任原作、剧本等的日本跨媒体制作作品，动画夺得1997年动画神户的最佳动画大奖。1997年4月2日至
万得-土星控股万得-土星控股有限公司（德语：Media-Saturn-Holding GmbH，缩写：MSH）是欧洲规模最大的电子产品零售商，总部设于德国因戈尔施塔特。它是原本独立的两家电子产品零售商万得城电器和土
南市难民区南市难民区（法语：La Zone Jacquinot），是1937年到1940年，中日战争期间，在中国上海南市地区毗邻法租界的部分地区成立的供中国难民居住的军事中立区，由法国天主教耶稣会神父、华洋义
三冠站三冠站（丹麦语：Trekroner Station）是丹麦罗斯基勒市区东部的一座小型火车站，因所在地“三冠（丹麦语：Trekroner (Roskilde)）”而得名，靠近罗斯基勒大学。1988年5月28日启用。车站股道大致呈东西走向。开往：东门站哥本哈根⟷霍尔拜克开往：霍尔拜克站开往：东门站哥本哈根⟷斯劳厄尔瑟开往：斯劳厄尔瑟站车站地道德铁货运所属的货运火车途径三冠站配套巴士站配套自行车棚往：哥本哈根火车总站往：科雪尔站
台大薰风国乐团台大薰风国乐团（National Taiwan University Chinese Orchestra，NTUCO）创立于1952年，为国立台湾大学之学生国乐团，同时也是台湾历史最悠久之学生国乐社团。原名为薰风国乐团，后经赠名，更名为台大薰风国乐团。为第一个前往大陆演出交流的学生乐团。通常于1月及7月举行定期公演，近年来蝉联台湾全国学生音乐比赛国乐合奏大专B组第一名，除了定期演出，也致力于推广国乐。乐团组织下设有乐队、中级班、教学部，乐团指挥为学生指挥。负责主要对外演出与比赛。针对喜好国乐，但无法配合乐