第五章思维机---智能机器人

感知器学习规则
wi ( p + 1) = wi ( p ) + α . xi ( p) .⋅ e( p )
其中 p = 1, 2, 3, . . . ，α是学习率，是一个小于1 的正常数。
感 知 器 学 习 规 则 首 先 由 Rosenblatt 在 1960 年 提 出。使用这个规则可以得出用于分类任务的感知 器训练演算法。
人工神经网络 神经元 输入 输出 权重
神经元示意图
神经元计算带权重的输入信号和并将结果和 临界值θ比较。如果网络的净输入比临界值
低，神经元输出−1，如果网络净输入大于或等 于临界值，则神经元启动并输出+1。 神经元使用下面的转移或激励函数：
n
X = ∑ xi wi
i =1
Y
=
⎧ + 1,
⎨ ⎩
−
1,
if if
X X
≥θ <θ
这种激励函数称作符号函数。
神经元的激励函数
单个的神经元可以学习吗？
1958 年，Frank Rosenblatt提出了 一种训练算法，它提出了第一个训练 简单的ANN的过程：感知器。
感知器是神经网络最简单的形式。
它由一个可调整 突触权重的神经元 和硬限幅器 组成。
• 应用研究可分为以下两类：
• 1)．神经网络的软件仿真和硬件实现 的研究。
• 2)．神经网络在各个领域中应用的研 究。这些领域主要包括：
• 模式识别、信号处理、知识工程、专家系 统、优化组合、机器人控制等。
人工神经网络---监督学习
生物神经网络
人 类 的 大 脑 可 以 看 作 一 个 高 度 复 杂 、 非 线 性、并列的信息处理系统。
如果在迭代 p中，实际输出为Y(p)， 期望输出为Yd (P)，那么误差为：
e( p) = Yd ( p) − Y( p)
其中 p = 1, 2, 3, . . .
这里迭代 p 表示提供给感知器的第 p 个训练 实例。
如果误差e(p)为正，就需要增加感知器 输出Y(p)；如果e(p)为负，就减少感知器 输出Y(p)。
感知器训练演算法
步骤 1:初始化
设定权重w1, w2, …, wn和临界值θ的初值，取值 范围为[−0.5, 0.5]。 如果误差e(p) 为正，就需要增加感知器输出 Y(p) ； 如 果 e(p) 为 负 ， 就 减 少 干 感 知 器 输 出 Y(p)。
多极細胞(Multipolar Neurons) (例子: 脊柱的运动細胞(spinal motor neurons), 角锥形細胞(pyramidal neurons)).
人类大脑皮质的全部表面积约有20×104mm2，平均厚度 约2．5mm，皮质的体积则约为50 × 104mm3。如果皮质中 突触的平均密度是6 × l09／mm3左右，则可认为皮质中的 全部突触数为3 × 1015个。如果再按上述人脑所含的全部神 经元数目计算，则每个神经元平均的突触数目可能就有1． 5—3．0万个左右。
神经元之间透过有权重的连结将信号从一个神
经元传递到另一个神经元。
每个神经元透过其连接收到几个输入信号。输 出信号透过神经元的外出连接传送。外出连接又 分出几个分支传递相同的信号。外出分支在网络 中其它神经元的进入连接处中止。
典型人工神经网络的结构
生物和人工神经网络间的对比
生物神经网络 细胞体 树突 轴突 突触
Neurotransmitter at nerve synapse
神经元之间的联系主要依赖其突触的联接作用。这种突触的
联接是可塑的，也就是说突触特性的变化是受到外界信息的影响 或自身生长过程的影响。生理学的研究归纳有以下几个方面的变 化：
(1)突触传递效率的变化。首先是突触的膨胀以及由此产生的 突触后膜表面积扩大，从而突触所释放出的传递物质增多，使得 突触的传递效率提高。其次是突触传递物质质量的变化，包括比 例成分的变化所引起传递效率的变化。
把对人脑的微观结构及其智能行为的研究结合 起来即人工神经网络（Artificial Neural Netwroks，简称ANN）方法。 （2）宏观功能的模拟：
从人的思维活动和智能行为的心理学特 性出发，利用计算机系统来对人脑智能进行宏 观功能的模拟，即符号处理方法。
人工神经网络
• 人工神经网络（ Artificial Neural Networks， 简写为ANNs）也简称为神经网 络（NNs）或称作连接模型（Connectionist Model） ，是对人脑或自然神经网络 （Natural Neural Network）若干基本特性 的抽象和模拟。人工神经网络以对大脑的生理研 究成果为基础的，其目的在于模拟大脑的某些机 理与机制，实现某个方面的功能
神经网络中信息的储存和处理在整个网络中 是同时进行的，而不是在某个位置上是同时进
行的。换言之，在神经网络中，数据及其处理 是全域而不是局部的。
学习是生物神经网络的基础和本质特征。这 种简单和自然的方式使得在计算机中模拟生物 神经网络的尝试成为可能。
Fra Baidu bibliotek
人工神经网络包含很多简单但高度互联的处理 器，也称作神经元，这与大脑中的生物神经网络 很类似。
分支
树突
• 将讯息带入细胞本体 • 表面粗糙 • 一般而言一个神经细胞有多
个树突 • 有核糖体(ribosomes) • 没有外鞘的绝缘 • 在细胞本体附近就开始分支
神经元的结构图
树突
（胞体）
轴突
突触末端 髓鞘
神经元胞质自胞体向轴突远端流动，同时从轴突远端也向胞体 流动。这种方向不同、快慢不一的轴质双向流动称为轴突运输
• 神经细胞的最外层被细胞膜所包覆着
• 神经细胞内有包含基因的细胞核
• 神经细胞有细胞质, 粒线体, 内质网和其它 的胞器
• 神经细胞也有和其它细胞不同的地方:
• 神经细胞会从本体处长出触手状的组织, 称为轴突(axons)和树突 (dendrites).
• 树突负责将信息带回细胞; • 而轴突则是负责将讯息传递出去.
•
• 第二，具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。 • • 第三，具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的
计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很 快找到优化解。
• 神经网络的研究可以分为理论研究和应用研究两大方面。
神经細胞的分类 神经细胞的方法之一是根据神經細胞本体(cell body)有多少數目的突出 分支向外延伸而命名 双极化化細胞(Bipolar Neurons) (例子: 视网膜細胞(retinal cells), 嗅觉 表皮細胞(olfactory epithelium cells)
假单极細胞(Pseudounipolar cells) (例子: 背根神经结细胞(dorsal root ganglion cells). 事实上，此类細胞有两个轴突，而非一个树突一 个轴突，其中一根轴突向中央脊柱位置延伸，另一根則延伸至皮肤或是 肌肉
• 细胞膜:胞体的胞膜和突起表面的膜，是连续完整的细胞 膜。除突触部位的胞膜有特优的结构外，大部分胞膜为单 位膜结构。神经细胞膜的特点是一个敏感而易兴奋的膜。 在膜上有各种受体（receptor）和离子通道（ionic chanel），二者各由不同的膜蛋白所构成。形成突触部 分的细胞膜增厚。
• 膜上受体可与相应的化学物质神经递质结合。当受体与乙 酰胆碱递质或γ-氨基丁酸递质结合时，膜的离子通透性 及膜内外电位差发生改变，胞膜产生相应的生理活动：兴 奋或抑制。
1982年，美国物理学家J.J.Hopfield提出Hopfield 模型，它是一个互联的非线性动力学网络他解决问题的 方法是一种反复运算的动态过程,这是符号逻辑处理方法 所不具备的性质. 1987年首届国际ANN大会在圣地亚 哥召开，国际ANN联合会成立，创办了多种ANN国际刊 物。1990年12月，北京召开首届学术会议。
因此一个基本的感知器，用超平面 将n 维空间划分成两个决策区域。超平面由线 性分割 函数定义：
n
∑ xi wi − θ = 0
i =1
感知器的线性分割
感知器如何学习分类任务？
透过细微地调节权重值来减少感知器的期望输出 和实际输出之间的差别可以完成这一任务。初始 权重值可以任意指定，通常在范围 [−0.5, 0.5] 内，然后透过训练实例进行调整。
The synapse（突触） is a junction between an axon of one neuron and the cell membrane of another neuron. Neurotransmitters （神经递质）travel across the space, or synaptic cleft （突触间隙）, from the presynaptic neuron and are received by receptors on the opposite cell membrane, or post-synaptic neuron
(2)突触接触间隙的变化。在突触表面有许多形状各异的小凸 芽，调节其形状变化可以改变接触间隙，并影响传递效率。
(3)突触的发芽。当某些神经纤维被破坏后，可能又会长出新 芽，并重新产生附着于神经元上的突触．形成新的回路。由于新 的回路的形成，使得结合模式发生变化，也会引起传递效率的变 化。
(4)突触数目的增减。由于种种复杂环境条件的刺激等原因， 或者由于动物本身的生长或衰老，神经系统的突触数目会发生变 化，并影响神经元之间的传递效率。
• 神经细胞会利用化学和电讯号与其它细胞沟通 • 神经细胞有特化的组织(如 ,突触), 以及化学物质(如 神经传导物质).
轴突
• 将讯息带出本体细胞 • 表面光滑 • 一般而言一个神经细胞只
有一个轴突 • 没有核糖体
(ribosomes) • 可形成外鞘(myelin) • 离细胞本体较远处才开始
• 人工神经网络的特点和优越性，主要表现在三个方面：
• 第一，具有自学习功能。例如实现图像识别时，只在先把许多不同的图象样板和对应的
应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功 能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、 效益预测，其应用前途是很远大的。
第五章 思维机------智能机器人
• 人的头脑是由数以千亿计的神经细胞(又称为神经元) 所组成的. 这些神经细胞是专门传递电讯号的细胞, 当 位于细胞表面的受体接收到神经传导物质时, 神经细胞 便会产生动作电位以传递讯息.
神经细胞
• 神经细胞是身体中许许多多的细胞的一种, 它和其它细胞有以下几点相同:
神经网络研究的发展
(1)第一次热潮(40-60年代未) 1943年,美国心理学家W.McCulloch和数学家W.Pitts
在提出了一个简单的神经元模型，即MP模型。1958年， F.Rosenblatt等研制出了感知机(Perceptron）。 (2)低潮(70-80年代初): (3)第二次热潮
人工神经网络
• 利用机器模仿人类的智能是长期以来人们认识 自然、改造自然和认识自身的理想。
• 研究ANN目的： • （1）探索和模拟人的感觉、思维和行为的规
律，设计具有人类智能的计算机系统。 • （2）探讨人脑的智能活动，用物化了的智能
来考察和研究人脑智能的物质过程及其规律。
研究ANN方法
（1）生理结构的模拟： 用仿生学观点，探索人脑的生理结构，
• • 理论研究可分为以下两类：
•
1)．利用神经生理与认知科学研究人类思维以及智能
机理。
•
2)．利用神经基础理论的研究成果，用数理方法探索
功能更加完善、性能更加优越的神经网络模型，深入研究
网络算法和性能， 如：稳定性、收敛性、容错性、鲁棒
性等；开发新的网络数理理论，如：神经网络动力学、非
线性神经场等。
单层双输入感知器
感知器
Rosenblatt的感知器的运算基于McCulloch和 Pitts 的神经元模型。这个模型由一个线性组合 器，后接一个硬限幅器组成。 输入的权重和，被施加于硬限幅器，硬限幅 器当其输入为正时输出为 +1，输入为负时输 出为 −1。
感知器的作用是将输入分类，也就是将 输入x1 、 x2、… 、 xn ， 分为两类，即A1和 A2 。