联结主义认知心理学

• 联结主义的记忆包含信息的储存和会议这两层含义。通过学 习，联结主义网络将获得的知识信息分布储存在联结权重的 变化上，并具有相对稳定性。网络学习的过程，也是网络存 储记忆的过程。 • 长时记忆——一般来说储存记忆需要花费较长的时间，但是 一旦形成，就具有时间稳定性，能够保持较长的时间； • 短时记忆——在学习期间，网络计算给定输入模式的输出状 态的速度很快，但记忆保持的时间却很短，这种在学习期间 发生的记忆称之为短时记忆。 • 在联结主义网络中，由于各单元的相互联结，一个单元的兴 奋或抑制能够引起相邻或相关单元的兴奋或抑制，因而，联 想是联结主义网络记忆的重要特性，联想记忆是联结主义记 忆的一个重要特征。
• 5、联结主义网络模型的训练
• ①基本思想 • 首先对权重设置一小的初始值，然后选择一个训练样本并计 算相对于该样本的误差梯度，通过调整权重使得误差值能达 到全域最小值直至为0 • 利用均方误差和梯度下降法来实现对联结权重的修正 • ②操作步骤 • （1）前向过程，给网络一个输入，并且这一输入通过网络 经由隐含层向上传播，当网络产生输出时，即把这种实际输 出与期望输出进行比较，如果不相符合就会产生一个误差信 号（2）反向过程，即把输出单元作为输入单元，通过网络 把误差信号向后传播，随着传播的不断进行，输出单元与隐 含单元之间的权重就会发生改变，然后再进一步地改变隐含 单元与正常输入单元之间的权重。
三、联结主义对心理过程的说明
• 1、联结主义对记忆的说明 在记忆方面，联结主义表现出最明显的智能特点是它 具有联想记忆的能力。联结主义关心的问题是如何用权重 的变化来解释记忆的变化。联结主义者认为记忆的变化与 联结权重的变化之间是等价的。 模式联合者是由单元的输入层、单元的输出层以及介 于两组单元之间的调节联结层所构成的，模式联合者中没 有隐含层。从程序上讲，这种训练包括呈现或训练阶段和 测验阶段两个阶段。 从本质上说，联结主义神经网络所呈现的以及类型是 重构性的，通过变化网络联结权重的功能，即改变激活模 式，记忆就得到了重构。
• 2、霍普菲尔德网络
• 霍普菲尔德提出一种神经网络的数学模型，并研究了该网络 的动力学性质。这种模型基于记忆状态可被分析为类似于动 力物理学系统的固定状态的思想，把理论分析与动力系统稳 定性分析方法结合起来，从而为获得有关神经网络的联想记 忆问题的可解模型提供了理论条件。 • 对霍普菲尔德网络的核心思想——霍普菲尔德提出的神经网 络模型有两个重要成分，即储存信息和提取信息。在典型的 对称性霍普菲尔德模型中，其系统的动力学趋于使能量函数 达到最小值，生物学的噪声或神经元的背景活动可用温度表 征，这就使神经网络具有统计力学或热力学的特性。 • 对霍普菲尔德网络的基本说明——采用“死记式”学习方法 ，其权重一经确定就不再改变，网络中各神经单元的状态在 运行过程中不断更新，网络演变到稳定状态时各神经元的状 态就是问题的解。
2、联结主义模式的基本构成成分
——单元是带有活性值（activation value）的简单 加工器。 ——联结是单元之间相互作用的中介，单元及单元之 间的联结构成网络。 一般来说联结都是加权的（weighted），权值可 正、可负，特定的输入将根据权数的提示而决定接受 它的单元是兴奋还是抑制。 联结权重决定着联结的重要性以及对通过它所联 结的单元之间的影响程度。 在联结主义模式中，知识是贮存在加工单元的联 结之中，单元的激活表征将引起其它单元新的激活模 式。
符号加工论和联结主义理论的关系：
共同点： 1、研究对象相同，感知觉、注意、记忆、表象、思 维和言语等。 2、都把心理过程视为层次结构的加工系统。 3、重视研究认知过程的内部心理机制。 4、注重心理过程的整体性研究。 5、都采用了模拟、假设、类比的研究方法。
两者的不同点是：
符号加工理论
1、心理过程像计算机 2、采纳符号表征和计算的理 论 3、强调的是符号的序列和串 行的加工 4、注重的是符号加工的逻辑 基础 5、认知是计算机的运算过程 6、有了前提，根据规则，才 能得出结论，规则具有确定 性
• ②开始阶段
• 1943年，麦克洛奇和匹茨发表了《神经系统中所蕴含的思想 的逻辑演算》，总结了生物神经元的一些基本特征，突出了 形式神经元的数学描述和结构方法，即M-P模型——一种阈值 模型。其基本点是模拟神经元扩布性峰电位的“全或无”性 质，注意的中心是神经元的数学特性。这种模型把神经元看 作逻辑组件，由此把脑的思维过程当做是一个可操作的组合。 • 1949年，Hebb出版了《行为的组织》一书，提出了神经元群， 突触和反响回路的理论概念，并提出了神经元之间突触联系 强度可变的假设。神经系统的学习是发生在两个神经细胞相 互连接的突触处，突触间的连结强度是可变的，并首次给出 了突触间连结权重值变化的方案，即著名的Hebb学习规则. Hebb规则认为学习过程最终发生在神经元之间的突触部位， 突触的联系强度随着突触前后神经元的活动而变化。
二、联结主义的基本理论观点
1、联结主义模型的基本含义
“联结主义模式” 通常是指“通过简单加工单元之间的联 结方式进行计算的一类模型”，它是包括大量特殊算法形式 和结构的通用词。 由于它把信息看成是分布在各个神经单元以及神经单元 的联结中，信奉通过合作并行主义的形式来运用简单的单个 加工单元加工信息，因此称为并行分布加工；由于它是对真 实神经网络的模拟，故又称为人工神经网络；斯摩伦斯基把 联结主义与符号加工范式进行了比较，认为它是处于符号层 次水平和真实神经元层次之间的无意识加工，因此又把它称 作亚符号范式。 联结主义是一种旨在模拟人脑结构及其功能并具有简化 大脑结构的特征的信息处理系统。
联结主义理论
1、心理过程像人脑 2、采纳分布表征和并行加工 理论 3、强调的是网络的并行分布 加工 4、注重的是网络加工的数学 基础 5、认知是网络的整体活动 6、通过联结来约束，两个单 元的联结构成了加工的约束， 联结具有灵活性
• 2.联结主义的发展
• ①启蒙阶段 • 1890年，詹姆士出版了《心理学原理》，详细论述了人脑 结构以及其功能，对相关学习、联想记忆的基本原理做了 开创性研究。他认为，“当两个基本的大脑过程被同时激 活或继发激活时，一个过程的再次激活将导致把兴奋传导 到另一个过程”，这就是“神经习惯法则”。
符号加工理论（信息加工理论）的基本原理：
1、符号加工取向的认知心理学也被称为认知主义，由于其 指导性隐喻和核心工作是计算机，因而它采纳的是功能的 或者软件的描述水平，把心智看做是一种信息加工。 2、认知主义者认为，无论是有生命的人还是人工的计算机， 都是通过对符号的接收、编码、存储、提取、转变和传递 来加工信息的。 3、在符号加工取向的认知心理学中，符号是模式，其功能 是代表标志和指明外部世界的事物。符号通过一定的联系 形成符号系统。符号和符号结构代表着一定的内容和意义， 是对外部事物的内部表征。符号不仅可以代表外部事物， 也可以标志信息加工的操作。符号加工系统得到某个符号， 就可以得到这个符合代表的事物或进行该符号所标注的操 作。
• 1958年，鲁梅尔哈特提出感知机模型。鲁梅尔哈特
从特殊的途径，以对人脑结构和功能的初步认识为基础， 模仿人脑处理信息的多层结构，制造出视知觉的脑模型— —感知机。这是一种自学习和自组织的心理学模型，它是 由简单的阈值性神经元组成的，基本上符合生物神经网络 的情况，模型可以在有噪声的环境中学习且网络结构中存 在随机联结，可进行模式识别、联想记忆等活动。该模型 具有分类、自学习、分布式贮存、并行处理和一定的容错 性。
• ③萧条阶段 • 1969年，明斯基和佩帕特出版了《感知机》，对 感知机模型提出质疑，指出感知机的处理能力有 限。人工智能和数字计算机大发展阶段。
• ④复兴阶段 • 20世纪70年代后期，人们发现以符号表征理论为基础的计算机 一般不能从现实世界的实例和现象中获取病总结出知识，即计 算机不具有学习能力。 • 1982年，霍普菲尔德把网络的各种结构和算法概括起来，提出 了一种回归网络，即霍普菲尔德网络模型（关于学习和记忆的 模型）。 • 1986年，鲁梅尔哈特和麦克莱兰德出版了联结主义事业的“圣 经”《并行分布加工：认知结构的微观探索》，第一次系统阐 述了联结主义的观点和成就。这部著作涉及神经网络的三个主 要特征，即结构、神经元的传递函数和它的学习训练方法，并 分别介绍了这三个方面的各种网络模型，提出了多层前馈网络 的误差反传算法（Back propagation algorithm，简称BP算 法），解决了多层神经网络的学习问题，证明了多层神经网络 的计算能力，可以完成许多学习任务，解决许多学习问题。
• 通过改变联结的权重，产生预期的输出
• 6、联结主义神经网络的基本特征
• 平行结构和平行处理机制 • 联结主义神经网络是由大量简单加工单元相互联结构成的高 度平行的非线性网络，网络的所有运算处理也是同时平行进 行的，在同一层次内的所有加工单元都是同时进行操作的。 • 分布式表征 • 人脑具有通过联想或直观地把储存在脑中的记忆以及知识结 合起来的能力，分散储存的记忆实在具有这样的联想或直观 能力的基础上发挥作用的。 • 连续性和亚符号性的特征 • 联结主义强调模拟运算的连续性和信息表征的亚符号性，表 征的是直觉经验以及尚未结晶或升华为用语言表达出来的概 念，即亚概念。
认知心理学的新进展 —• 1.联结主义的历史渊源 • 在心理学史中，联结主义最早的思想渊源可以追溯到古希腊 时期亚里士多德对联想主义的论述。亚里士多德并没有明确 使用“联想”这一概念，只是运用联想概念的内涵来说明记 忆或回忆的历程。 • 洛克在《人类智慧论》提出了“联想”的概念。洛克认为， “我们一些观念相互之间有一种自然的联合” ，即联想就是 观念的联合。 • 20世纪中期，西方主流心理学掀起了一场推翻行为主义心理 学的革命，结果产生了认知心理学。认知心理学的目的在于 研究和揭示人的认知过程的本质。由于大脑本身的不可直接 研究性，使认知心理学在孕育和诞生之时就以假设、模拟和 类比的方式进行认知过程的研究。认知心理学的联结主义理 论和符号加工理论的历史都可以追述到麦克洛奇和匹茨1943 年发表的《神经系统中所蕴含的思想的逻辑演算》。