联结主义

联结主义心理学家桑代克的工作产生了行为心理学最初的刺激一反应理论的雏形：学习是刺激和反应二者之间形成联系的结果。

这种关联或者“习惯”通过刺激一反应之间的连接的本质和频率而得到加强或者弱化。

刺激一反应理论的最初模式是试误学习，在这个过程中某种反应由于得到奖励而处于支配地位。

联结主义的证据是不需要对任何不易观察的内心状态的说明，它就足以解释学习的发生。

桑代克的理论包括三条法则：(1)效果律——对能够带来奖励的条件作出的反应能够得到强化，然后形成对那个条件产生习惯性反应。

(2)准备律一一好几种反应连接在一起以达到某个目标，如果被中断可能导致烦恼。

(3)练习律——联结通过练习得以加强，也会因为练习中断而消退。

效果律的一个推论就是，减少获得奖励的可能性的反应(即惩罚、失败)，反应的强度将减弱。

联结主义理论表明学习的迁移取决于在最初的和新的学习情境中某些因素的出现情况。

也就是说，迁移从来都是具体的而不是普遍一般性的。

在后来的联结理论中引入了“相属性”的概念。

“相属性”的概念认为如果人感知到刺激或者反应同时出现，那么联结就更容易建立。

（美）肯尼斯·莫尔著.课堂教学技巧.人民教育出版社,2010.1.1、概述与历史认知心理学发展至今，一直存有两种研究取向，一种是信息加工取向，一种是联结主义取向。

前者是一种计算机隐喻，将人脑与计算机类比，认为人脑实际是一种信息加工装置和符号处理系统，具备类似计算机信息处理的一般特性：符号性、离散性、序列加工、非自组织性和局部表征。

而后者是一种人脑神经网络类比，用各种形式神经元的网络模型来模拟真实大脑的结构与功能，是一种人工神经网络，与信息加工认知心理学相比，联结主义的神经网络模型具备一些不同的特点：亚符号性、连续性、平行加工、自组织性和分布式表征。

联结主义认知心理学兴起于20世纪40年代，一般把1943年心理学家麦克洛齐和数学家匹茨发表的《神经系统中所蕴涵思想的逻辑演算》一文作为联结主义研究的开始。

他们提出了形式神经元的概念和最初的神经网络模型M-P模型，以及此后加拿大心理学家赫布提出赫布学习定律、心理学家鲁梅尔哈特提出模拟视知觉的感知机模型，开始引发了联结主义认知心理学网络模型研究的第一个高潮。

但是限于当时的条件，他们提出的模型难以解决更复杂的问题，模型的学习算法和规则不够成熟，处理能力极其有限，而在理论上又难以有所突破，加上美国人工智能权威人士明斯基和佩帕特对于感知机能力和应用前景的批评，信息加工取向的研究此时出现了巨大突破，所以对于联结主义神经网络模型研究的热情很快冷却下来，研究进入了一个长期的萧条阶段。

直到80年代初期，当信息加工认知心理学在大发展之后，发现以符号处理为基础的系统不能很好处理那些非明确定义的问题，很难处理模糊的、非完全符号表征和复杂的信息，同时这种系统不具备学习能力，不能通过经验来总结出知识。

人们意识到，要全面认识人类认知问题，仅仅信息加工研究范式是不够的。

而联结主义研究在相关学科的发展下，有了全面的进步，罗森布拉特、欣顿、安德森等提出的各自新的网络模型引起了人们的重视，再度激起人们对网络研究的热情。

1982年，美国学者霍普菲尔德提出了一种回归网络，这种网络存在一种正比于每个神经元活性和联结权重的能量函数，系统规定活性的变化朝着能量函数递减的方向，直至收敛到0。

这种模型成功的解决众多复杂性很高的计算性问题，由此开始把联结主义研究推向高潮。

1986年是联结主义研究历史上的最为鼎盛的一年，鲁梅尔哈特和麦克莱兰德编辑出版了联结主义认知心理学的圣经——《平行分布加工：认知结构的微观探索》，提出了一个基于反向传播学习算法的多层网络模型，而这种模型是今后众多神经网络模型的基础与原型。

可以说，该书奠定了联结主义网络模型研究的基础。

而之后至今的联结主义研究大致是对该模型不断完善，或基于共同的假设提出新的、更加复杂的、解决高级认知问题的模型。

2、主要模型2.1 形式神经元众观联结主义认知心理学的研究，其很大一部分是各种人工神经网络模型的研究，这些模型不仅模拟了人脑操作特性和功能，也体现了研究者所持有的联结主义认知心理学的基本观点。

在各种神经网络模型中，无论其构造如何还是具备不同的逻辑功能，它们的基本构造单元基本是一致的，基本的理论思路是一致的。

由于是对人脑神经网络的模拟，人工神经网络不可能原封不动的照搬数以几十亿计和生物形式的神经元，麦克洛奇和匹茨总结了生物神经元的基本特征，提出了形式神经元的概念，这种形式神经元具备了生物神经元一般的操作特性，但并非完全一致。

形式神经元的概念一经提出之后，就成为了所有人工神经网络的基本单位。

对于一个形式神经元来说，它具有类似生物神经元的阈限活性状态，当输入的信息强度高于某一预先确定的阈限的时候，它就会“兴奋”，其数学赋值1，否则“不兴奋”，赋值0。

同样，形式神经元与生物神经元具有多输入单输出的结构，也就是说，单个神经元的活性状态取决于多个输入信息的总的加权强度是否高于阈限。

输入信息可以是兴奋的，也可以是抑制的，同时各个输入信息具有不同的权重，权重的正负性可以代表兴奋或抑制。

权重实际的含义是一对神经元联结的强度，这种联结强度在生物神经元当中就是突触的联系强度，可以用前突触细胞所释放的媒介物质的量来表示。

这种权重设计意味着，对于被输入的神经元来说，不同输入单元对其活性的决定程度是不同的，这也意味着调节输入信息的权重可以改变网络的联结模式，这种权重联结模式实际表征着信息某些维度。

形式神经元具体一般表现六种基本功能特性：（1）输入装置，接受信息；（2）整合装置，对输入信息进行整合；（3）传导装置，传导整合信息；（4）、输出装置，发送信息于其他神经元；（5）计算装置，转换信息类型；（6）表征装置，对内部信息进行表征。

单个神经元与其他神经元结合一起构成某一层次的神经网络，而更大的神经网络模型是由多个层次的网络构建而成，每个层次的神经元不仅与自身层次的神经元有联结，也以加权的方式与其他层的神经元联结，这样构成的神经网络具备了极其复杂和强大的功能，当然在具体的不同模型中，这些层内联结和层间联结规则安排也不一致。

2.2 M-P模型麦克洛奇和匹茨的M-P模型是联结主义研究中的第一个人工神经网络模型，它首次提出了形式神经元的概念，并认为形式神经元是一种二元阈限逻辑单元，即全或无，高于阈限则兴奋，否则不兴奋。

他们的研究关心模型能否模拟逻辑系统，试图通过相互联结的神经元的激活操作来获得命题逻辑。

他们的研究构建了两个输入单元和一个可调节阈限的输出单元所构成的简单神经网络。

目的是检验这两个二元阈限逻辑单元能否计算两个命题的16个逻辑函数。

结果发现，这种简单网络只能够处理16种逻辑函数的中的14种，XOR函数即“A否则B”和其否定形式是无法用单个操作单元和两个输入单元的网络所处理。

麦克洛奇和匹茨认为，如果两个输入单元能够联结使得一个单元的状态可以控制另一个单元的状态就可以解决XOR问题。

单个二元阈限逻辑单元对XOR函数的无法解决说明这种简单网络的处理能力的有限性，或者说XOR问题需要更加复杂的网络才能够解决，这在后来加入隐单元层的多层网络结构模型当中就已体现。

而这种模型在运行当中，处理单元的活性取决于三个参数和输入单元的活性，三个参数分别是两个输入单元的权重和操作单元的阈限，三个参数的不同形成不同的网络权重模式方程。

而这种方程只有7个，每个方程可以解决1种逻辑函数与其否定形式，因此也只能处理14种两个命题的逻辑函数。

2.3 感知机模型罗森布拉特的感知机模型是引起联结主义初期高潮的重要模型，它是基于视知觉的一种神经网络模型，试图模拟人类视知觉的真实过程，能够完成学习再认的装置。

该模型的指导思想与信息加工的模式识别的理论大相径庭，他认为真实视知觉当中的模式识别是没有如模板匹配理论所述的那样存在着输入模式与已储存模式的搜索和匹配过程。

真实的模式识别是由输入信息激活已有模式而获得的，更接近真实的情况是输入的信息可能激活多个模式，其中激活量最大的会进入更高的加工。

其差异或许是前者有着有意识的搜索和匹配过程，而后者更多的一种无意识的联结。

感知机是由感知层S单元、联想层A单元和反应层R单元三层结构的视觉脑模型，其中S单元直接从环境接受输入相当于视网膜，S单元层与A单元层的联结权重固定，一个S单元可以输入信息到单个A单元，也可以输入到多个A单元。

A单元层与R单元层联结，而S单元层与R单元层不联结，A与R单元的联结权重可以根据学习而得到改变。

每一个R单元的活性由与之联结的所有A单元的加权活性强度决定，如果加权强度高于R单元预先设定的阈限，R单元就兴奋，否则则不。

由于感知机当中A单元与R单元的联结权重可以随着学习而不断调整，所以理论上，感知机可以学会将感知模式分为几类。

在最简单的双类区分任务当中，当期望输出与实际输出不符合（归类失败），网络就试图调整相应的联结权重，以获得期望输出。

它的这种在失败后调整权重的方式或者书学习算法是这样的：如果期望输出是1而实际输出是0，那么所有激活的A单元与该R单元的联结权重将增大，而如果期望输出是0而实际输出是1，那么所有激活的A单元与该R单元的联结权重会消失。

直至期望输出与实际输出是一致的时候，学习停止。

尽管罗森布拉特证明了感知机收敛理论，即只要有足够的练习，感知机能够将权重模式调整到解决一个特殊线形分类问题，但这一收敛仅当两层感知机时成立，并认为权重调整与实际输出与期望输出的误差成正比。

对于三层感知机来说，学习的有限性是难以预料的，因为如果出现一个输入结果引起的调整模式恰恰是原有模式相反方面的表现的话，那么可能会出现反复的调整模式的震荡，使得学习无法结束。

另外，如同与M-P模型一样，感知机也未能解决XOR问题。

这说明还需要更加完善和复杂的模型来模拟人脑基本运行特性2.4 三层前馈式网络模型三层前馈式网络模型是具有隐单元层的多层网络模型的一种，比较典型，其训练方法和学习规则都是由鲁梅尔哈特和麦克莱兰德在《平行分布加工：认知结构的微观探索》当中所提出。

其他多层网络模型虽然在结构上大有不同，但是在基本原理上与三层前馈式网络模型是一致的，这里就以三层前馈式网络模型来总结下具有隐含单元层的多层网络模型的基本特性。

三层前馈式网络模型是由输入层、隐单元层和输出层组成，其中输入层与输出层只与隐单元层联结，彼此不联结，与感知机不同的是，输入层与隐单元层的联结权重是可以改变的，这样具有双层可调节联结权重的网络，其处理能力将大为增加。

层与层之间的联结可以是兴奋性的，也可以是抑制性的，而层间的联结被规定为或者是抑制性，或者没有。

与上面模型类似，隐单元层和输出层单元的活性都是取决于与之联结的上层多个单元加权联结强度。