人工神经网络课件1解析

人工神经网络 及其经济管理应用
The Application of ANN to Economics & Management
2021/2/7
1
第一章 导 论
▪ 什么是人工神经网络（Artificial Neural Network）
▪ 人脑结构对ANN的启示 ▪ ANN 的特点 ▪ 人工神经网络的发展历史 ▪ ANN在经济管理领域的应用
2021/2/7
2
什么是Artificial Neural Network
▪ Neural networks are composed of simple elements operating in parallel. These elements are inspired by biological nervous systems.
2021/2/7
11
ANN的基本工作原理
•从环境样本中学习,学习的结果存储于连接之中（不可见），学习的 过程叫做训练，训练成功的ANN可以用来解决特定的问题。
•学习的规则是ANN的核心，但学习规则与网络结构有关，以下是有监 督学习的一般工作原理。
2021/2/7
12
ANN的软件模拟—Matlab Toolbox
▪ As in nature, the network function is determined largely by the connections between elements. We can train a neural network to perform a particular function by adjusting the values of the connections (weights) between elements.
(0,0)
(1,0)
2021/2/7
17
复兴期:DARPA
▪ 1980年,Grossberg提出解决竞争学习问题的自适应 共振理论。
▪ 1982年，Hopfield用能量函数构造了一种递归网络 计算方法——BP网等常用ANN的直接基础。
▪ 1946年ENIAC建成，1948年Wiener完成 Cybernetics，开创了电子计算机的时代，从不同的 方面做出了贡献。
▪ 1949年，Donald Hebb提出了著名的Hebb学习规则。
2021/2/7
14
Hebb学习规则
▪ “如果相互连接的两个神经元都兴奋,则二者的 联系将加强”——“The Organization of
202i1n/c2/l7uding graphical user interface building
13
ANN的发展历史
▪ 奠基时期
▪ 早在十九世纪初就已经有人关注人类神经活动的复 制。
▪ 1943年McCulloch&Pitts发表“神经活动中蕴涵的思 想与逻辑活动”成为这一领域的奠基之作,其来源是 神经生理学。
Algorithm development
Data acquisition
Modeling, simulation, and prototyping
Data analysis, exploration, and visualization
Scientific and engineering graphics Application development
2021/2/7
9
人脑与电脑
▪ 共同点:获取、传递、存储、处理、输出信息 （知识）。
▪ 不同点：
▪ 电脑：程序性、串行工作方式、储用分离、 易损（Robust）、精确性。
▪ 人脑：单元结构简单、整体结构复杂;并行处 理；具有自主学习能力（环境可塑性）；联 想功能；遗忘功能；复杂决策；高冗余、自 我恢复；非线性特征明显。
2021/2/7
10
ANN 的特点
▪ ANN是AI（Artificial Intelligence）的一个分 支。
▪ 致力于从结构上模仿人脑的功能。
▪ 分为软件模仿和硬件模仿。
▪ 1、采用大规模分布式结构,通过学习具有非 线性输入输出影射能力。
▪ 2、通过学习存储知识，具有适应性、容错性 及泛化能力（举一反三）。
MATLAB® is a high-performance language for technical computing.
The name MATLAB stands for matrix laboratory.
Typical uses include :
Math and computation
▪ 模拟人脑,人工智能（AI）的基础之一。
2021/2/7
3
人脑结构对ANN的启示
▪ How human brain works?
Stimuli
Preceptor
Effecter
2021/2/7
4
人脑结构
▪ 人脑是由大量神经细胞组成的复杂网络。
2021/2/7
5
神经细胞与神经传导
2021/2/7
Behavior”
▪ Hebb是一个心理学家，他的理论一开始并没 有受到工程界的重视。（Why?）
▪ 但是稍后Rochester等人的研究证明，在引入 控制论和信息论（Shannon）的相关约束后， Hebb规则是一贯而通用的，并构成了其他学 习规则的基础。
2021/2/7
15
ANN的发展历史
▪ 第一次研究热潮——1950‘s ▪ 1957年,Rosenblatt发明感知机和ADALine ▪ Widrow&Hoff 提出著名的最小均方（LMS）
算法。
▪ 但出现了恶炒问题——人工大脑就要问世了! ▪ 被发现无法解决一个简单的XOR问题。 ▪ 遭到Minsky和Papert等人的全面否定。
2021/2/7
16
沉默期:要命的XOR问题
▪ XOR（0,0）＝0
▪ XOR（1，1）＝0
(0,1)
(1,1)
▪ XOR（0，1）＝1
▪ XOR（1，0）＝1
6
人脑功能的基础—神经网络
2021/2/7
7
人脑功能
Hale Waihona Puke 2021/2/78
对人脑进行模拟的两条道路
▪ 黑箱方法－功能模拟－电子计算机 ▪ 白箱方法－结构模拟－智能机器（ANN）
▪ 电子计算机（或称为Von Neumann 计算机） 以逻辑代数为基本原理,模拟人的逻辑思维。
▪ 人工神经网络试图模拟人脑的结构从而得到 类似于人脑的功能。