(完整版)神经网络理论基础
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
神经网络理论基础
以冯·诺依曼型计算机为中心的信息处 理技术的高速发展，计算机在信息化社会 中起着十分重要的作用。
但是，当用它来解决某些人工智能问 题时却遇到了很大的困难。
模糊控制从人的经验出发，解决了 智能控制中人类语言描述和推理问 题，但在处理数值数据、自学习能 力等方面远未达到人脑境界
图片来自蒲慕明教授的第6届模式识别会议大会报告版权归其所有
生物神经元－－信息处理单元
信息输出
生物神经元－－信息处理单元
生物神经元－－信息处理单元
生物神经元－－信息处理单元
生物神经元－－信息处理单元
生物神经元－－信息处理单元
生物神经元－－信息处理单元
人工神经元－－信息处理单元
人工神经元－－信息处理单元
信息输入
人工神经元－－信息处理单元
人工神经网络以数学手段来模拟 人脑神经网络结构和特性
神经网络是一个并行和分布式的 信息处理网络结构，它一般由许多个 神经元组成，每个神经元只有一个输 出，它可以连接到很多其他的神经元， 每个神经元输入有多个连接通道，每 个连接通道对应于一个连接权系数。
目前已有40多种模型
人脑神经网络信息处理的特点
单个生物神经元解剖图
细胞体：包括细胞质、细胞膜和细胞核 树突：用于为细胞体传入信息
轴突：为细胞体传出信息，其末端为神 经末梢，含传递信息的化学物质
突触：神经元之间的接口（可塑性）
从神经元各组成部分的功能来 看，信息的处理与传递主要发生在 突触附近。当神经元细胞体通过轴 突传到突触前膜的脉冲幅度达到一 定强度，即超过其阈值电位后，突 触前膜将向突触间隙释放神经传递 的化学物质。
图片来自蒲慕明教授的第6届模式识别会议大会报告版权归其所有
图片来自蒲慕明教授的第6届模式识别会议大会报告版权归其所有
神经网络原理
生物神经元 人脑大约由1012个神经元组成，神经
元互相连接成神经网络
神经元是大脑处理信息的基本单元， 以细胞体为主体，由许多向周围延伸的不 规则树枝状纤维构成的神经细胞，其形状 很像一棵枯树的枝干。它主要由细胞体、 树突、轴突和突触(Synapse，又称神经键) 组成。
1．分布存储与冗余性 2．并行处理 3．信息处理与存储合一 4．可塑性与自组织性 5．鲁棒性
人工神经元模型 归纳一下生物神经元传递信息的过程：
生物神经元是一个多输入、单输出单元。 常用的人工神经元模型可用下图模拟。
生物神经网络
人工神经网络
生物神经网络
人工神经网络
u
y
生物神经网络
人工神经网络
u(t)
y(t)
生物神经网络
人工神经网络
生物神经网络
人工神经网络
u(t)
y(t 1)
生物神经网络
人工神经网络
u
y
生物神经网络
人工神经网络
生物神经网络
人工神经网络
+
生物神经网络
人工神经网络
P
u
II
y
D
人工神经网络（Artificial Neural Networks, ANN）:
突触有两种： 兴奋性突触和抑制性突触。
前者产生正突触后电位，后者 产生负突触后电位。
突触传递信息的功能和特点归纳为：
信息传递有时延，一般为0.3～lms。 信息的综合有时间累加和空间累加。（时空整合） 突触有兴奋性和抑制性两种类型。 具有脉冲／电位信号转换功能。 神经纤维传导的速度，即脉冲沿神经纤维传递的速度，
人工神经网络是模拟人脑思维 方式的数学模型，从微观结构和 功能上对人脑进行抽象和简化， 模拟人类智能
人工神经网络
是 对人脑的模拟
人工神经元 模拟 生物神经元
人工神经元 模拟 生物神经元
人工神经网络 模拟 生物神经网络
人工神经元 模拟 生物神经元
生物神经元
生物神经元
生物神经元
人工神经元
在1—150m／s之间 存在不应期。 不可逆性，脉冲只从突触前传到突触后，不逆向传递。
（动态极化性） 可塑性，突触传递信息的强度是可变的，即具有学习
功能。 存在遗忘或疲劳效应。
人工神经网络(简称神经网络) 也是由大量的、功能比较简单的 形式神经元互相连接而构成的复 杂网络系统，用它可以模拟大脑 的许多基本功能和简单的思维方 式。
从人脑生理、心理学着手，模拟人脑 工作机理
大脑是由生物神经元构成的巨型网络， 它在本质上不同于计算机，是一种大规模 的并行处理系统，它具有学习、联想记忆、 综合等能力，并有巧妙的信息处理方法。
图片来自蒲慕明教授的第6届模式识别会议大会报告版权归其所有
图片来自蒲慕明教授的第6届模式识别会议大会报告版权归其所有
i
f (xi )
人工神经－－信息处理单元
i
f (xi )
人工神经元信息输入输出
i
f (xi )
人工神经元信息输入输出
i
Fra Baidu bibliotek
f (xi )
人工神经元信息输入输出
i
f (xi )
人工神经元信息输入输出
i
f (xi )
人工神经网络 模拟 生物神经网络
生物神经网络
生物神经网络
生物神经网络
生物神经元
人工神经元
i
f (xi )
生物神经元
人工神经元
生物神经元－－信息处理单元
生物神经元－－信息处理单元
信息输入
生物神经元－－信息处理单元
信息 传播 与 处理
生物神经元－－信息处理单元
信息 传播 与 处理（整合）
生物神经元－－信息处理单元
信息 传播 与 处理： 兴奋或抑制
一种模范动物神经网络行为特征，进 行分布式并行信息处理的算法数学模 型。
这种网络依靠系统的复杂程度，通过 调整内部大量节点之间相互连接的关 系，从而达到处理信息的目的。
人工神经网络具有自学习和自适应 的能力，可以通过预先提供的一批 相互对应的输入－输出数据，分析 掌握两者之间潜在的规律，最终根 据这些规律，用新的输入数据来推 算输出结果，这种学习分析的过程 被称为“训练”。（引自《环球科 学》2007年第一期《神经语言：老 鼠胡须下的秘密》）
信息输入
i
f (xi )
人工神经元－－信息处理单元
信息 传播 与 处理： 积与和
i
f (xi )
人工神经元－－信息处理单元
信息 传播
i
f (xi )
人工神经元－－信息处理单元
信息 传播 与 处理: 非线性
i
f (xi )
人工神经元－－信息处理单元
信息输出
i
f (xi )
人工神经元－－信息处理单元
以冯·诺依曼型计算机为中心的信息处 理技术的高速发展，计算机在信息化社会 中起着十分重要的作用。
但是，当用它来解决某些人工智能问 题时却遇到了很大的困难。
模糊控制从人的经验出发，解决了 智能控制中人类语言描述和推理问 题，但在处理数值数据、自学习能 力等方面远未达到人脑境界
图片来自蒲慕明教授的第6届模式识别会议大会报告版权归其所有
生物神经元－－信息处理单元
信息输出
生物神经元－－信息处理单元
生物神经元－－信息处理单元
生物神经元－－信息处理单元
生物神经元－－信息处理单元
生物神经元－－信息处理单元
生物神经元－－信息处理单元
人工神经元－－信息处理单元
人工神经元－－信息处理单元
信息输入
人工神经元－－信息处理单元
人工神经网络以数学手段来模拟 人脑神经网络结构和特性
神经网络是一个并行和分布式的 信息处理网络结构，它一般由许多个 神经元组成，每个神经元只有一个输 出，它可以连接到很多其他的神经元， 每个神经元输入有多个连接通道，每 个连接通道对应于一个连接权系数。
目前已有40多种模型
人脑神经网络信息处理的特点
单个生物神经元解剖图
细胞体：包括细胞质、细胞膜和细胞核 树突：用于为细胞体传入信息
轴突：为细胞体传出信息，其末端为神 经末梢，含传递信息的化学物质
突触：神经元之间的接口（可塑性）
从神经元各组成部分的功能来 看，信息的处理与传递主要发生在 突触附近。当神经元细胞体通过轴 突传到突触前膜的脉冲幅度达到一 定强度，即超过其阈值电位后，突 触前膜将向突触间隙释放神经传递 的化学物质。
图片来自蒲慕明教授的第6届模式识别会议大会报告版权归其所有
图片来自蒲慕明教授的第6届模式识别会议大会报告版权归其所有
神经网络原理
生物神经元 人脑大约由1012个神经元组成，神经
元互相连接成神经网络
神经元是大脑处理信息的基本单元， 以细胞体为主体，由许多向周围延伸的不 规则树枝状纤维构成的神经细胞，其形状 很像一棵枯树的枝干。它主要由细胞体、 树突、轴突和突触(Synapse，又称神经键) 组成。
1．分布存储与冗余性 2．并行处理 3．信息处理与存储合一 4．可塑性与自组织性 5．鲁棒性
人工神经元模型 归纳一下生物神经元传递信息的过程：
生物神经元是一个多输入、单输出单元。 常用的人工神经元模型可用下图模拟。
生物神经网络
人工神经网络
生物神经网络
人工神经网络
u
y
生物神经网络
人工神经网络
u(t)
y(t)
生物神经网络
人工神经网络
生物神经网络
人工神经网络
u(t)
y(t 1)
生物神经网络
人工神经网络
u
y
生物神经网络
人工神经网络
生物神经网络
人工神经网络
+
生物神经网络
人工神经网络
P
u
II
y
D
人工神经网络（Artificial Neural Networks, ANN）:
突触有两种： 兴奋性突触和抑制性突触。
前者产生正突触后电位，后者 产生负突触后电位。
突触传递信息的功能和特点归纳为：
信息传递有时延，一般为0.3～lms。 信息的综合有时间累加和空间累加。（时空整合） 突触有兴奋性和抑制性两种类型。 具有脉冲／电位信号转换功能。 神经纤维传导的速度，即脉冲沿神经纤维传递的速度，
人工神经网络是模拟人脑思维 方式的数学模型，从微观结构和 功能上对人脑进行抽象和简化， 模拟人类智能
人工神经网络
是 对人脑的模拟
人工神经元 模拟 生物神经元
人工神经元 模拟 生物神经元
人工神经网络 模拟 生物神经网络
人工神经元 模拟 生物神经元
生物神经元
生物神经元
生物神经元
人工神经元
在1—150m／s之间 存在不应期。 不可逆性，脉冲只从突触前传到突触后，不逆向传递。
（动态极化性） 可塑性，突触传递信息的强度是可变的，即具有学习
功能。 存在遗忘或疲劳效应。
人工神经网络(简称神经网络) 也是由大量的、功能比较简单的 形式神经元互相连接而构成的复 杂网络系统，用它可以模拟大脑 的许多基本功能和简单的思维方 式。
从人脑生理、心理学着手，模拟人脑 工作机理
大脑是由生物神经元构成的巨型网络， 它在本质上不同于计算机，是一种大规模 的并行处理系统，它具有学习、联想记忆、 综合等能力，并有巧妙的信息处理方法。
图片来自蒲慕明教授的第6届模式识别会议大会报告版权归其所有
图片来自蒲慕明教授的第6届模式识别会议大会报告版权归其所有
i
f (xi )
人工神经－－信息处理单元
i
f (xi )
人工神经元信息输入输出
i
f (xi )
人工神经元信息输入输出
i
Fra Baidu bibliotek
f (xi )
人工神经元信息输入输出
i
f (xi )
人工神经元信息输入输出
i
f (xi )
人工神经网络 模拟 生物神经网络
生物神经网络
生物神经网络
生物神经网络
生物神经元
人工神经元
i
f (xi )
生物神经元
人工神经元
生物神经元－－信息处理单元
生物神经元－－信息处理单元
信息输入
生物神经元－－信息处理单元
信息 传播 与 处理
生物神经元－－信息处理单元
信息 传播 与 处理（整合）
生物神经元－－信息处理单元
信息 传播 与 处理： 兴奋或抑制
一种模范动物神经网络行为特征，进 行分布式并行信息处理的算法数学模 型。
这种网络依靠系统的复杂程度，通过 调整内部大量节点之间相互连接的关 系，从而达到处理信息的目的。
人工神经网络具有自学习和自适应 的能力，可以通过预先提供的一批 相互对应的输入－输出数据，分析 掌握两者之间潜在的规律，最终根 据这些规律，用新的输入数据来推 算输出结果，这种学习分析的过程 被称为“训练”。（引自《环球科 学》2007年第一期《神经语言：老 鼠胡须下的秘密》）
信息输入
i
f (xi )
人工神经元－－信息处理单元
信息 传播 与 处理： 积与和
i
f (xi )
人工神经元－－信息处理单元
信息 传播
i
f (xi )
人工神经元－－信息处理单元
信息 传播 与 处理: 非线性
i
f (xi )
人工神经元－－信息处理单元
信息输出
i
f (xi )
人工神经元－－信息处理单元