联结主义认知心理学

符号加工理论（信息加工理论）的基本原理：
1、符号加工取向的认知心理学也被称为认知主义，由于其 指导性隐喻和核心工作是计算机，因而它采纳的是功能的 或者软件的描述水平，把心智看做是一种信息加工。 2、认知主义者认为，无论是有生命的人还是人工的计算机， 都是通过对符号的接收、编码、存储、提取、转变和传递 来加工信息的。 3、在符号加工取向的认知心理学中，符号是模式，其功能 是代表标志和指明外部世界的事物。符号通过一定的联系 形成符号系统。符号和符号结构代表着一定的内容和意义， 是对外部事物的内部表征。符号不仅可以代表外部事物， 也可以标志信息加工的操作。符号加工系统得到某个符号， 就可以得到这个符合代表的事物或进行该符号所标注的操 作。
• 2、霍普菲尔德网络
• 霍普菲尔德提出一种神经网络的数学模型，并研究了该网络 的动力学性质。这种模型基于记忆状态可被分析为类似于动 力物理学系统的固定状态的思想，把理论分析与动力系统稳 定性分析方法结合起来，从而为获得有关神经网络的联想记 忆问题的可解模型提供了理论条件。 • 对霍普菲尔德网络的核心思想——霍普菲尔德提出的神经网 络模型有两个重要成分，即储存信息和提取信息。在典型的 对称性霍普菲尔德模型中，其系统的动力学趋于使能量函数 达到最小值，生物学的噪声或神经元的背景活动可用温度表 征，这就使神经网络具有统计力学或热力学的特性。 • 对霍普菲尔德网络的基本说明——采用“死记式”学习方法 ，其权重一经确定就不再改变，网络中各神经单元的状态在 运行过程中不断更新，网络演变到稳定状态时各神经元的状 态就是问题的解。
认知心理学的新进展 ——联结主义
一、联结主义的产生和发展
• 1.联结主义的历史渊源 • 在心理学史中，联结主义最早的思想渊源可以追溯到古希腊 时期亚里士多德对联想主义的论述。亚里士多德并没有明确 使用“联想”这一概念，只是运用联想概念的内涵来说明记 忆或回忆的历程。 • 洛克在《人类智慧论》提出了“联想”的概念。洛克认为， “我们一些观念相互之间有一种自然的联合” ，即联想就是 观念的联合。 • 20世纪中期，西方主流心理学掀起了一场推翻行为主义心理 学的革命，结果产生了认知心理学。认知心理学的目的在于 研究和揭示人的认知过程的本质。由于大脑本身的不可直接 研究性，使认知心理学在孕育和诞生之时就以假设、模拟和 类比的方式进行认知过程的研究。认知心理学的联结主义理 论和符号加工理论的历史都可以追述到麦克洛奇和匹茨1943 年发表的《神经系统中所蕴含的思想的逻辑演算》。
• 联结主义的记忆包含信息的储存和会议这两层含义。通过学 习，联结主义网络将获得的知识信息分布储存在联结权重的 变化上，并具有相对稳定性。网络学习的过程，也是网络存 储记忆的过程。 • 长时记忆——一般来说储存记忆需要花费较长的时间，但是 一旦形成，就具有时间稳定性，能够保持较长的时间； • 短时记忆——在学习期间，网络计算给定输入模式的输出状 态的速度很快，但记忆保持的时间却很短，这种在学习期间 发生的记忆称之为短时记忆。 • 在联结主义网络中，由于各单元的相互联结，一个单元的兴 奋或抑制能够引起相邻或相关单元的兴奋或抑制，因而，联 想是联结主义网络记忆的重要特性，联想记忆是联结主义记 忆的一个重要特征。
• ③萧条阶段 • 1969年，明斯基和佩帕特出版了《感知机》，对 感知机模型提出质疑，指出感知机的处理能力有 限。人工智能和数字计算机大发展阶段。
• ④复兴阶段 • 20世纪70年代后期，人们发现以符号表征理论为基础的计算机 一般不能从现实世界的实例和现象中获取病总结出知识，即计 算机不具有学习能力。 • 1982年，霍普菲尔德把网络的各种结构和算法概括起来，提出 了一种回归网络，即霍普菲尔德网络模型（关于学习和记忆的 模型）。 • 1986年，鲁梅尔哈特和麦克莱兰德出版了联结主义事业的“圣 经”《并行分布加工：认知结构的微观探索》，第一次系统阐 述了联结主义的观点和成就。这部著作涉及神经网络的三个主 要特征，即结构、神经元的传递函数和它的学习训练方法，并 分别介绍了这三个方面的各种网络模型，提出了多层前馈网络 的误差反传算法（Back propagation algorithm，简称BP算 法），解决了多层神经网络的学习问题，证明了多层神经网络 的计算能力，可以完成许多学习任务，解决许多学习问题。
三、联结主义对心理过程的说明
• 1、联结主义对记忆的说明 在记忆方面，联结主义表现出最明显的智能特点是它 具有联想记忆的能力。联结主义关心的问题是如何用权重 的变化来解释记忆的变化。联结主义者认为记忆的变化与 联结权重的变化之间是等价的。 模式联合者是由单元的输入层、单元的输出层以及介 于两组单元之间的调节联结层所构成的，模式联合者中没 有隐含层。从程序上讲，这种训练包括呈现或训练阶段和 测验阶段两个阶段。 从本质上说，联结主义神经网络所呈现的以及类型是 重构性的，通过变化网络联结权重的功能，即改变激活模 式，记忆就得到了重构。
• 4、联结主义模型分析——
以神经网络中最常见的BP网络为 例 • BP网络是单向传播的多层向前神 经网络，包括：输入层神经元、 隐含层神经元、输出层神经元。 不同层间的神经元形成交叉多维 联结（包括兴奋性联结和抑制性 联结），同层神经元之间无联结 或只有抑制性联结，信息仅单方 向流动。这里的输入层神经元模 拟感觉神经元接受信息；隐含层 神经元模拟联合神经元以不同的 权重整合信息；输出层神经元模 拟运动神经元，进一步整合并输 出来自隐含层的信息。
• 1958年，鲁梅尔哈特提出感知机模型。鲁梅尔哈特
从特殊的途径，以对人脑结构和功能的初步认识为基础， 模仿人脑处理信息的多层结构，制造出视知觉的脑模型— —感知机。这是一种自学习和自组织的心理学模型，它是 由简单的阈值性神经元组成的，基本上符合生物神经网络 的情况，模型可以在有噪声的环境中学习且网络结构中存 在随机联结，可进行模式识别、联想记忆等活动。该模型 具有分类、自学习、分布式贮存、并行处理和一定的容错 性。
• 3、联结主义相关假设
• 神经元结构假设：对于完成特殊任务的直觉处理 器而言，使用的是与大脑完成这种任务所使用的 结构相同的结构。直觉处理器具有一定的联结主 义结构，抽象模拟了神经网络的一般特征。处理 器的相互作用是一种活性进化方程。 • 联结主义动力系统假设：任何时刻的直觉处理器 的状态是由对于每一单元的大量活性值的向量精 确界定的，其动力学是由不同的变异方程控制， 这种方程中的参项组成了直觉处理器的程序或知 识。
联结主义理论
1、心理过程像人脑 2、采纳分布表征和并行加工 理论 3、强调的是网络的并行分布 加工 4、注重的是网络加工的数学 基础 5、认知是网络的整体活动 6、通过联结来约束，两个单 元的联结构成了加工的约束， 联结具有灵活性
• 2.联结主义的发展
• ①启蒙阶段 • 1890年，詹姆士出版了《心理学原理》，详细论述了人脑 结构以及其功能，对相关学习、联想记忆的基本原理做了 开创性研究。他认为，“当两个基本的大脑过程被同时激 活或继发激活时，一个过程的再次激活将导致把兴奋传导 到另一个过程”，这就是“神经习惯法则”。
• 通过改变联结的权重，产生预期的输出
• 6、联结主义神经网络的基本特征
• 平行结构和平行处理机制 • 联结主义神经网络是由大量简单加工单元相互联结构成的高 度平行的非线性网络，网络的所有运算处理也是同时平行进 行的，在同一层次内的所有加工单元都是同时进行操作的。 • 分布式表征 • 人脑具有通过联想或直观地把储存在脑中的记忆以及知识结 合起来的能力，分散储存的记忆实在具有这样的联想或直观 能力的基础上发挥作用的。 • 连续性和亚符号性的特征 • 联结主义强调模拟运算的连续性和信息表征的亚符号性，表 征的是直觉经验以及尚未结晶或升华为用语言表达出来的概 念，即亚概念。
二、联结主义的基本理论观点
1、联结主义模型的基本含义
“联结主义模式” 通常是指“通过简单加工单元之间的联 结方式进行计算的一类模型”，它是包括大量特殊算法形式 和结构的通用词。 由于它把信息看成是分布在各个神经单元以及神经单元 的联结中，信奉通过合作并行主义的形式来运用简单的单个 加工单元加工信息，因此称为并行分布加工；由于它是对真 实神经网络的模拟，故又称为人工神经网络；斯摩伦斯基把 联结主义与符号加工范式进行了比较，认为它是处于符号层 次水平和真实神经元层次之间的无意识加工，因此又把它称 作亚符号范式。 联结主义是一种旨在模拟人脑结构及其功能并具有简化 大脑结构的特征的信息处理系统。
• ②开始阶段
• 1943年，麦克洛奇和匹茨发表了《神经系统中所蕴含的思想 的逻辑演算》，总结了生物神经元的一些基本特征，突出了 形式神经元的数学描述和结构方法，即M-P模型——一种阈值 模型。其基本点是模拟神经元扩布性峰电位的“全或无”性 质，注意的中心是神经元的数学特性。这种模型把神经元看 作逻辑组件，由此把脑的思维过程当做是一个可操作的组合。 • 1949年，Hebb出版了《行为的组织》一书，提出了神经元群， 突触和反响回路的理论概念，并提出了神经元之间突触联系 强度可变的假设。神经系统的学习是发生在两个神经细胞相 互连接的突触处，突触间的连结强度是可变的，并首次给出 了突触间连结权重值变化的方案，即著名的Hebb学习规则. Hebb规则认为学习过程最终发生在神经元之间的突触部位， 突触的联系强度随着突触前后神经元的活动而变化。
2、联结主义模式的基本构成成分
——单元是带有活性值（activation value）的简单 加工器。 ——联结是单元之间相互作用的中介，单元及单元之 间的联结构成网络。 一般来说联结都是加权的（weighted），权值可 正、可负，特定的输入将根据权数的提示而决定接受 它的单元是兴奋还是抑制。 联结权重决定着联结的重要性以及对通过它所联 结的单元之间的影响程度。 在联结主义模式中，知识是贮存在加工单元的联 结之中，单元的激活表征将引起其它单元新的激活模 式。
• 5、联结主义网络模型的训练
• ①基本思想 • 首先对权重设置一小的初始值，然后选择一个训练样本并计 算相对于该样本的误差梯度，通过调整权重使得误差值能达 到全域最小值直至为0 • 利用均方误差和梯度下降法来实现对联结权重的修正 • ②操作步骤 • （1）前向过程，给网络一个输入，并且这一输入通过网络 经由隐含层向上传播，当网络产生输出时，即把这种实际输 出与期望输出进行比较，如果不相符合就会产生一个误差信 号（2）反向过程，即把输出单元作为输入单元，通过网络 把误差信号向后传播，随着传播的不断进行，输出单元与隐 含单元之间的权重就会发生改变，然后再进一步地改变隐含 单元与正常输入单元之间的权重。
• 很强的容错性 • 由于模型中信息的分布式存储和分布式表征，模型激活时 会有大量神经元的平行加工， 某一神经单元或联结受到 损失，不会影响整个网络模型的输出模式 • 自适应、自组织、自学习等功能 • 自适应性是指一个系统能改变自身的性能以适应环境变化 的能力，自适应包括自组织和自学习两层含义。人脑的优 越性在于人脑可以根据环境通过“自学”来认识为学习过 的新知识并解决不熟悉的新问题，既能牢固地记住所学的 各种知识，又能根据环境的变化不断地进行自我调节以适 应变化了的环境。 • 抵制噪声 • 人类通常可以在噪声很大的环境下从事工作而不影响工作 的效果，联结主义网络也模拟了人的这一特点。假如噪声 没有大到混淆网络的思维，输入与所存储的一切不同模式 相类似，网络就可以正确的工作。
符wk.baidu.com加工论和联结主义理论的关系：
共同点： 1、研究对象相同，感知觉、注意、记忆、表象、思 维和言语等。 2、都把心理过程视为层次结构的加工系统。 3、重视研究认知过程的内部心理机制。 4、注重心理过程的整体性研究。 5、都采用了模拟、假设、类比的研究方法。
两者的不同点是：
符号加工理论
1、心理过程像计算机 2、采纳符号表征和计算的理 论 3、强调的是符号的序列和串 行的加工 4、注重的是符号加工的逻辑 基础 5、认知是计算机的运算过程 6、有了前提，根据规则，才 能得出结论，规则具有确定 性