联结主义

联结主义是认知科学领域的一种方法，期望能够以人工神经网络 （ANN）来解释心灵现象。联结主义的中心原则是使用，简单且经常一致的单元互联网络，来描述心理现象。不同模型的联结及单元形式可以有所不同。例如，网络的单元及联结可以分别表示神经元及突触,如同人脑那样。在大多数联结主义模型中，网络会随着时间而变化。联结主义模型的一个密切且普遍的特征是激活 。任何时候，网络中的单元都会有个激活，而该激活是表示该单元在某方面的数值。例如，如果模型中的单位是神经元，则激活可以表示神经元产生动作电位峰值的概率 。激活通常会传递到与其联结的所有其他单元。扩散激活一直是神经网络模型的特征，而该特征在认知心理学家使用的联结主义模型中也很常见。迄今为止，神经网络是最常用的联结主义模型。尽管神经网络模型种类繁多，但它们几乎始终遵循关于思维的两个基本原则：大多数神经网络模型中的变化来自：联结主义者一致认为，与前馈神经网络 （无循环的有向网络，称为DAG ）相比，循环神经网络 （其中的网络联结可以形成有向循环的有向网络）是更好的大脑模型。许多递回联结主义模型也纳入了动力学系统理论 。许多研究者，例如联结主义者Paul Smolensky ，皆认为联结主义模型将朝着完全地连续、高维度、非线性的动态系统方式发展。一般而言，联结主义者的工作不需要具有生物学上的现实意义，因此缺乏神经科学的合理性。神经网络中的权重根据某些学习规则或算法（如赫布学习)进行调整。因此，联结主义者为神经网络创建了许多复杂的学习过程。学习总是涉及修改联结权重。通常，给定的数据集由神经单元的某个子集的激活向量组成时，这些公式会涉及到数学公式，以确定权重的变化。设计基于联结主义的教学方法是近年来研究的热点。借由这种方式正规化学习，联结主义者能够使用许多工具。在联结主义的学习方法中，有一种很常见的策略是在以权重矩阵所定义的空间中，于该空间的误差表面与梯度下降合并。在联结主义者模型中，所有梯度下降学习都涉及通过误差表面对应于权重的偏导数来更改每个权重。反向传播 （BP）最早流行于1980年代，它可能是当今最普遍的联结主义梯度下降算法。联结主义的思想可以追溯到一个世纪以前，在20世纪中后期之前，这些思想仍仅止于猜测。当今流行的联结主义方法，最初称为分散式平行处理 （英语：Parallel distributed processing，PDP），是一种人工神经网络方法，强调了神经处理的并行性以及神经表征的分散性，为研究人员提供了一个通用的数学框架。主要包括八个方面：许多造成PDP发展的研究都是在1970年代完成，但是直到1980年代出版了《 分布式并行处理：认知微观结构的探索》第一卷（基础）及第二卷（心理和生物学模型），作者为詹姆斯·L·麦克莱兰德 ，戴维·E·鲁梅尔哈特和PDP研究小组，PDP才开始流行。 如今，这些书被认为是有着巨大影响的联结主义著作，虽然书中未使用过“联结主义”一词，但仍普遍视PDP等同于联结主义。PDP的直接根源是研究人员的感知器理论，例如1950年代和1960年代的弗兰克·罗森布拉特 (Frank Rosenblatt)。但是，由马文·明斯基和西摩尔·派普特在1969年出版的《 感知器 》一书，使感知器模型变得非常不得人心。它详述了单层（无隐藏层）感知器计算功能的局限性，甚至无法执行如异或问题 （exclusive disjunction，如判断这是苹果还是桔子，但不是二者皆是）这样的简单功能。 借由证明多层次非线性神经网络更加强大，并可用于大量的函数阵列，PDP克服了这项难关。许多早期的研究人员提倡联结主义风格的模型，例如1940年代和1950年代的沃伦·麦卡洛克、沃尔特·皮茨 （ MP神经元 ）、唐纳德·赫布和卡尔·拉什利。麦卡洛克和皮茨展示了神经系统如何实现一阶逻辑 ：其经典论文《神经活动中内在思想的逻辑演算》（1943）深深影响了这方面的发展，而他们则是受到了尼古拉斯·拉舍夫斯基（ Nicolas Rashevsky） 在1930年代的重要成果之影响。赫布对神经功能的推测做出了巨大贡献，并提出了一种叫做赫布学习的学习原则 ，一直使用至今。拉什利（Lashley）主张采用分散式表示法，这是因为他在多年的病变实验中，并未发现任何类似于局部印迹的东西。虽然PDP是联结主义的主要形式，但还有其他理论工作也应归类为联结主义。许多联结主义的原理可以追溯到心理学的早期工作，例如威廉•詹姆斯。 基于人脑知识的心理学理论在19世纪后期很流行。早在1869年，神经学家约翰·休格林·杰克逊(John Hughlings Jackson)就主张多层次分散式系统。在此基础上，赫伯特·斯宾塞的《心理学原理 》第3版（1872年）和西格蒙德·弗洛伊德的《科学心理学计划》（1895年）提出了联结主义或原型联结主义理论，而这些往往只是推测性的理论。到了20世纪初，爱德华·桑戴克进行了尝试建立联结型网络的实验。哈耶克在1920年发表的一篇论文中，独立构思了赫本突触学习模型，将该模型发展成由赫本突触网络所构成的“全球脑理论”，构成更大的地图系统和记忆网络。弗兰克·罗森布拉特（Frank Rosenblatt）在其感知器论文中引用了哈耶克的突破性成果。联结主义模型的另一种形式，是由语言学家悉尼·兰姆（Sydney Lamb）在1960年代开发的关系网络框架。关系网络仅由语言学家使用，从未与PDP方法统一，因此，现今很少研究人员使用。另外还有混合联结主义模型，主要是将符号表征与神经网络模型混合在一起。一些如Ron Sun的研究人员提倡混合方法。随着联结主义在1980年代后期变得越来越流行，一些研究人员（包括杰瑞·福多，史迪芬·平克等）对此表示反对。他们认为，随着当时的发展，联结主义威胁到经典的计算主义方法，并抹去认知科学和心理学领域正在取得的进步。计算主义是认知主义的一种特殊形式，认为心理活动是计算性的，也就是说，大脑通过对图灵机之类的符号，执行纯粹的形式运算来进行操作。一些研究人员认为，联结主义的趋势代表着联想主义的回归，以及对思想语言概念的放弃，而他们对此感到不以为然。相比之下，联结主义的趋势使得联结主义对其它研究人员而言，变得更具吸引力。联结主义和计算主义不必然矛盾，但是在1980年代末和1990年代初的争论，造成了两种方法之间的对立。在整个争论中，一些研究人员认为，尽管尚未就此问题完全达成共识，但是联结主义和计算主义可完全兼容。两种方法的差异包括：尽管存在这些差异，一些理论家提出，联结主义架构只是有机大脑碰巧实现符号操作系统的一种方式。这在逻辑上是可能的，因为众所周知的事实，联结主义模型可以实现计算主义模型中的符号操作系统，如果这个模型要解释人类执行“符号操作任务”的能力，则确实必须做到这一点。但争论的焦点在于这种符号操作是否构成了一般认知的基础，所以这并不是对计算主义的潜在辩护。然而，举例来说，计算性描述可能有助于对逻辑认知的高级描述。争论主要集中在逻辑论点上，即联结主义网络是否能产生“这种在推理中观察到的句法结构”。尽管联结主义的处理过程在大脑中不太可能实现，，但后来仍实现了这样的句法结构，因此争论仍在持续。截至2016年,神经生理学进展和一般神经网络的理解的进步，导致了很多此类的早期问题得以成功地建模,因此，关于基本认知的争论在很大程度上取决于赞成联结主义的神经科学家。 。然而，这些近期的发展尚未在心理学或心灵哲学等其他领域中达成共识。近年来，动态系统流行于心灵哲学领域，为这一争论提供了新的视角; 一些作者现在认为，联结主义和计算主义之间的任何分裂，更确切地说是计算主义和动态系统之间的分裂。2014年， DeepMind的 Alex Graves等人发表了一系列论文，描述了一种新型的深度神经网络结构，称为神经图灵机 该结构能够读取磁带上的符号，并将符号存储在内存中。关系网络是DeepMind发行的另一个深度网络模块，能够创建类似客体的表征形式，并操纵它们来回答复杂的问题。关系网络和神经图灵机进一步证明了联结主义和计算主义不必矛盾。Template:Cybernetics