神经网络+数学建模模型及算法简介

i 1
n
• 参数识别：假设函数形式已知，则可以从已有的 输入输出数据确定出权系数及阈值。
简单原理
人工神经网络是根据人的认识过程而开发出的 一种算法。 假如我们现在只有一些输入和相应的输出，而 对如何由输入得到输出的机理并不清楚，那么我们 可以把输入与输出之间的未知过程看成是一个“网 络”，通过不断地给这个网络输入和相应的输出来 “训练”这个网络，网络根据输入和输出不断地调 节自己的各节点之间的权值来满足输入和输出。这 样，当训练结束后，我们给定一个输入，网络便会 根据自己已调节好的权值计算出一个输出。这就是 神经网络的简单原理。
法是一种反复运算的动态过程,这是符号逻辑处理方法所
不具备的性质. 1987年首届国际ANN大会在圣地亚哥召开， 国际ANN联合会成立，创办了多种ANN国际刊物。
经典的人工神经网络算法
BP算法
人工神经网络的分类
按网络连接的拓扑结构分类：
层次型结构：将神经元按功能分成若干层，如输入层、 中间层（隐层）和输出层，各层顺序相连
单 纯 型 层 次 型 结 构
人工神经网络的分类
按网络内部的信息流向分类：
前馈型网络：网络信息处理的方向是从输入层到各隐 层再到输出层逐层进行
前 馈 型 网 络
神经网络的作用
• 网络说话 • 人们把一本教科书用网络把它读出来（当 然需要通过光电，电声的信号转换）；开 始网络说的话像婴儿学语那样发出“巴、 巴、巴”的声响；但经过B－P算法长时间 的训练竟能正确读出英语课本中 90％的词 汇． • 从此用神经网络来识别语言和图象形成一 个新的热潮。
人工神经网络基本特点
m
z
w
i 1
m
i
xi
1, y f (z) 0,
w w
i 1 i 1 m
i
xi , xi ,
i
神经元的传递函数
S型传递函数
f(x)
f (x )
1 1e
x
f(x)
2 1e
x
f (x )
1
1e 1e
x x
人工神经网络的工作原理
感知器模型
具体的： 这样的话，我们就可以得到
Wj X 0
T
一、引例
• 思路：作一直线将两类飞蠓分开
• 例如；取A＝（1.44，2.10）和 B＝(1.10，1.16)， 过A B两点作一条直线： • y＝ 1.47x - 0.017 • 其中x表示触角长；y表示翼长．
x1
oj
-1
x2
单层感知器的局限性是：仅对线性可分问题具有分 类能力。
神经网络研究的发展
(1)第一次热潮(40-60年代未)
1943年,美国心理学家W.McCulloch和数学家W.Pitt 在提出了一个简单的神经元模型，即MP模型。1958年， F.Rosenblatt等研制出了感知机(Perceptron）。 (2)低潮(70-80年代初): (3)第二次热潮 1982年，美国物理学家J.J.Hopfield提出Hopfield模 型，它是一个互联的非线性动力学网络,他解决问题的方
•
图1飞蠓的触角长和翼长
一、引例
• 思路：作一直线将两类飞蠓分开
• 例如；取A＝（1.44，2.10）和 B＝(1.10，1.16)， 过A B两点作一条直线： • y＝ 1.47x - 0.017 • 其中x表示触角长；y表示翼长．
• 分类规则：设一个蚊子的数据为（x, y） • 如果y≥1.47x - 0.017，则判断蚊子属Apf类； • 如果y＜1.47x - 0.017；则判断蚊子属Af类．
神经网络算法 简介
一、引例
• 1981年生物学家格若根（W． Grogan）和维什（W．Wirth）发现了两 类蚊子(或飞蠓midges)．他们测量了这两类蚊子每个个体的翼长和触角 长，数据如下： • • • • • • • • • 翼长 1.78 1.96 1.86 1.72 2.00 2.00 1.96 1.74 触角长 类别 1.14 Apf 1.18 Apf 1.20 Apf 1.24 Af 1.26 Apf 1.28 Apf 1.30 Apf 1.36 Af
x2 · · · x
n
w2

y
w
n
y f ( wi xi )
i 1
n
人工神经元－信息处理单元


i
f ( xi )
人工神经元－信息处理单元


i
f ( xi )
信息输入
人工神经元－信息处理单元


i
f ( xi )
信息传播与处理：加权求和
人工神经元－信息处理单元


i
感知器模型
具体的： 设输入向量X=(x1 ,x2)T x1 x2 oj
-1
1 输出：j o 1
w1 j x1 w 2 j x 2 T j 0 w1 j x1 w 2 j x 2 T j 0
则由方程w1jx1+w2jx2-Tj=0确定了二维平面上的一条分 界线
生物神经网
基本工作机制：
一个神经元有两种状态——兴奋和抑制 平时处于抑制状态的神经元，当接收到其它神 经元经由突触传来的冲击信号时，多个输入在 神经元中以代数和的方式叠加。
进入突触的信号会被加权，起兴奋作用的信号为正， 起抑制作用的信号为负。
如果叠加总量超过某个阈值，神经元就会被激 发进入兴奋状态，发出输出脉冲，并由轴突的 突触传递给其它神经元。
一、引例
• 分类结果：(1.24，1.80)，(1.28，1.84)属于Af类； (1.40，2.04）属于 Apf类．
D
D : ( 1.40 , 2.04 )
C
C : ( 1.28 , 1.84 )
B : ( 1.24 , 1.80 )
B
图2 分类直线图
一、引例
A＝（1.44，2.10）
•缺陷：根据什么原则确定分类直线？
人工神经网络的工作原理
感知器模型
净输入：
net
n
j

w ij x i
i 1
输出为：
n
y j sg n ( n et j T j ) sg n ( w ij x i ) sg n ( W j X )
T i0
Tj为阀值，sgn为符号函数
人工神经网络的工作原理(C.)
1 .0 0 .5 x 0
1 .0 0 x
-1 .0
• 注：一个神经元含有与输入向量维数相同个数的 权系数，若将阈值看作是一个权系数，-1是一个 固定的输入，另有n-1个正常的输入，则式也可表 示为： ‘ x1
oj x2
-1
y f ( wi xi )
i 1
n
y f ( wi xi )
人工神经网络的工作原理
感知器模型(单层前向神经网络）
输出类别指示 输入样本
X ( x1 ,x 2 ,...x i ,...,x n )
T
Y (y 1 , y 2 ,...y i ,..., y m )
T
W j ( w1 j ,w 2 j ,...w ij ,...,w
) nj
T
j=1,2,…,m
人工神经网络的工作原理
感知器模型
具体的： 则由方程w1jx1+w2jx2-Tj=0确定了二维平面上的一条分 界线(Why?) w1j x1+w2j x2 – Tj = 0 w1j x1 = Tj - w2j x2 x1 = (Tj -w2j x2) / w1j = - ( w2j/ w1j ) x2 +Tj / w1j = a x2 +c
• 分类规则：设一个蚊子的数据为（x, y） • 如果y≥1.47x - 0.017，则判断蚊子属Apf类； • 如果y＜1.47x - 0.017；则判断蚊子属Af类．
人工神经网络的工作原理
感知器模型
一个最简单的单计算节点感知器具有分类功能。其分类 原理是将分类知识存储于感知器的权向量（包含了阈值） 中，由权向量确定的分类判决界面将输入模式分为两类。
……
人工神经网络的工作原理
人工神经网络的工作原理到底是怎样的，我们可 以从一个最简单的网络来剖析，一定程度上打开 这个黑匣子。 1958年，美国心理学家Frank Rosenblatt提出一种 具有单层计算单元的神经网络，称为Perceptron， 即感知器。 感知器是模拟人的视觉接受环境信息，并由神经 冲动进行信息传递的层次型神经网络。 单层感知器的结构与功能都非常简单，以至于在 解决实际问题时很少采用，但由于它在神经网络 研究中具有重要意义，是研究其它网络的基础， 常作为学习神经网络的起点。
u
y
神经网络的学习规则
关键在于如何决定每一神经元的权值。 常用的学习规则有以下几种： (1)Hebb规则 (2)Delta规则 (最小均方差规则 ) (3)反向传播学习方法 (4)Kohonen学习规则(用于无指导训练网络 ) (5)Grosberg学习方法
神经网络常用模型
共70多种，具有代表性的有： （1）感知器（Perceptron） （2）多层前馈（BP）网络 （3）Hopfield网络 (优化) （4）Boltzmann机（在BP中加入噪声） （5）双向联想记忆网络（快速存储）
人工神经网络的生物学基础
电脉冲 输 入 树 突 细胞体 信息处理 图 1 2 .2 形成 突 轴突 传输 触 输 出
生物神经元功能模型
人工神经网络的生物学基础
信息输入
信息传播与处理
信息传播与处理（整合）
信息传播与处理结果：兴奋与抑制
信息输出
神经网络的基本思想
人工神经元的基本构成：
x1 w1
f ( xi )
信息传播
人工神经元－信息处理单元


i
f ( xi )
信息传播与处理
人工神经元－信息处理单元


i
f ( xi )
信息输出
神经元的传递函数
• f（X）是激发函数；它可以是线性函数，也可以 是非线性函数．例如，若取激发函数为符号函数
1, sgn( x ) 0,
x 0, x ቤተ መጻሕፍቲ ባይዱ.
（1）可处理非线性 （2）并行结构．对神经网络中的每一个神经元来说；其 运算都是同样的．这样的结构最便于计算机并行处理． （3）具有学习和记忆能力．一个神经网络可以通过训练 学习判别事物；学习某一种规律或规则． （4）对数据的可容性大．在神经网络中可以同时使用量化 数据和质量数据（如好、中、差、及格、不及格等）． （5）神经网络可以用大规模集成电路来实现．如美国用 256 个神经元组成的神经网络组成硬件用于识别手写体的邮政编 码．
• 翼长 • 1.64 • 1.82 • 1.90 • 1.70 • 1.82 • 1.82 • 2.08
触角长 1.38 1.38 1.38 1.40 1.48 1.54 1.56
类别 Af Af Af Af Af Af Af
一、引例
1989年美国大学生数学建模问题
• 问：若抓到三只新的蚊子，它们的触角长和翼长 分别为(1.24,1.80); (1.28，1.84)；（1.40， 2.04）．问它们应分别属于哪一个种类？ • 把翼长作纵坐标，触角长作横坐标；那么每个 蚊子的翼长和触角决定了坐标平面的一个点.其 中 6个蚊子属于 APf类；用黑点“·”表示；9个 蚊子属 Af类；用小圆圈“。”表示． • 得到的结果见图1
• 若取A=(1.46,2.10), B=(1.1,1.6)不变，则分类直线 变为 y=1.39x+0.071 分类结果变为： (1.24,1.80)， (1.40,2.04) 属于Apf类； (1.28,1.84)属于Af类 A : ( 1.40 , 2.04 )
B : ( 1.28 , 1.84 ) C : ( 1.24 , 1.80 ) Aph
B C A
• 哪一分类直线才是正确的呢？
Af
一、引例
• 再如，如下的情形能不能用分类直线的办法呢？
方法：
马氏距离判别法、 Bayes判别法等
• 新思路：将问题看作一个系统，飞蠓的数据作为输入， 飞蠓的类型作为输出，研究输入与输出的关系。
人工神经网络模型
前言
所谓人工神经网络就是基于模仿生物大脑的结 构和功能而构成的一种信息处理系统。 粗略地讲，大脑是由大量神经细胞或神经元组 成的。每个神经元可看作是一个小的处理单元，这 些神经元按某种方式连接起来，形成大脑内部的生 理神经元网络。 这种神经元网络中各神经元之间联结的强弱， 按外部的激励信号做自适应变化，而每个神经元又 随着所接收到的多个接收信号的综合大小而呈现兴 奋或抑制状态。