神经网络模型及应用

MATLAB介绍
MTALAB系统由五个主要部分组成: (1)MATALB语言体系 MATLAB是高层次的矩阵／数组语言．具有条件控制 、函数调用、数据结构、输入输出、面向对象等程序语言特性。 (2)MATLAB工作环境 这是对MA丁LAB提供给用户使用的管理功能的总称 ．包括管理工作空间中的变量据输入输出的方式和方法，以及开发、调 试、管理M文件的各种工具。 (3)图形句相系统 这是MATLAB图形系统的基础，包括完成2D和3D数据图 示、图像处理、动画生成、图形显示等功能的高层MATLAB命令，也包括 用户对图形图像等对象进行特性控制的低层MATLAB命令，以及开发GUI 应用程序的各种工具。 (4)MATLAB数学函数库这是对MATLAB使用的各种数学算法的总称．包括 各种初等函数的算法，也包括矩阵运算、矩阵分析等高层次数学算法。 (5)MATLAB应用程序接口(API) 这是MATLAB为用户提供的一个函数库， 使 得 用 户 能 够 在 MATLAB 环 境 中 使 用 c 程 序 或 FORTRAN 程 序 ， 包 括 从 MATLAB中调用于程序(动态链接)，读写MAT文件的功能。
1
(- [0 1], 学习系数. dj期望输出。yj实际输出. xi-signal, i=输 出差
定理：如果输入样本是线性可分的，则修正叠代过程一定 在有限次叠代后收敛。
MCM 89 Problem A
两种蠓Af和Apf由生物学家W﹒L﹒Grogan W﹒Wirth(1981年) 根据它们的触角长度和翼长加以区别，9只为Af 蠓用“o”标记， 6只Apf蠓用“﹒”标记。根据给出的触角长度和翼长识别出一 只标本是Af还是Apf是重要的。
（BP） 19501985 Hinton
形式神经元模型 Hebb学习法则 感知机（Perceptron) 自适应模型（Adline）
自组织映射（SOM） 霍普神经网（HNN）
误差反向传播神经网
波儿兹曼(Boltzmann)机
神经网络概述
三个组成部分：细胞体(1)、树突(2)、轴突(3) 、突触(4)
1 试构造，建立判别诊断模型
2 利用所建模型，分别对表1中90个病例做出 判别、诊断。
3 解释、说明你的模型的合理性、实用性和 优越性．
反向传播网络
反向传播网络(Back—Propagation Networks简称BF网络)是 将W-H学习规则一般化对非线性可微分函数进行权值训练 的多层网络。
神经网络模型应用
人工神经网络作为对自然界生物进化人脑的各种思维结构和 思维方式进行模拟抽象的仿真过程，理论上，所有的领域 都可以找到它的应用。
典型的如BP网络,ART网络,Hopfield网络,SOM自组织特征映射 网络,BAT网络等.其中，H opfield神经网络(HNN)和自组 织特征映射是两种被广泛应用于解决组合优化
谢谢！
典型的神经网络模型
1943 McCulloch， Pittes 形式神经元模型
19441944 Hebb
学习法则
19451957 Rosebalatt
感知机（Perceptron)
19461962 Widrow
自适应模型（Adline）
19471972 Von Den Malsburg 自组织原理
主要应用：
• 函数逼近: 用输入矢量和相应的输出矢量训练一个网络逼 近一个函数
• 分类：把输入矢量以所定义的合适方式进行分类
• 模式识别：用一个特定的输出矢量将它与输人矢量联系 起来
• 数据压缩：减少输出矢量维数以便于传输或存储
a1=tansig(w1*p,b1); a2=purelin(w2*a1,b2); e=t-a; d2=deltalin(a2,e); d1=detatan(a1,d2,w2); [dw1,db1]=learnbp(a1,d1,lr); [dw2,db2]=learnbp(a1,d2,lr);% learngd w1=w1+dw1;b1=b1+dw1; % gradient descent w2=w2+dw2;b2=b2+dw2; %[dw,db ]=learnbpm(p,d,lr,mc,dw,db); 改进
感知机 (Perceptron)
感知机 罗森布拉待(Rosenblatt,1957) 单层感知器: 具有一层神经元、采用阀值激活函数的前向网 络。通过对网络权值的训练，可以使感知器对一组输入矢 量的响应达到元素为0或1的目标输出。从而实现对输入矢 量分类的目的。感知器特别适合解决简单的模式分类问题。
常用数学软件
• Mathematica
• Matlab • Maple • Lindo • MathCAD • SAS • SPSS • NoSA
数学软件介绍
MATLAB介绍
• MATLAB软件是由美国Mathworks公司推出的用于数值 计算和图形处理的科学计算系统环境。 • MATLAB是英文MATrix LABoratory(短阵实验室)的缩写。 • 它的第1版(DoS版本1.0)发行于1984年，经过10余年的 不断改进，现今已推出它的Windows 98/NT版本(6.1版)。
作用：
控制输人对输出的激活作用； 对输入、输出进行函数转换； 将可能无限域的输入变换成指定的有限范围内的输出
1. 阀值型（硬限制型）
1,W*Pb0 Af(W*Pb) 0,W*Pb0
2. 线性型
A f( W * P b ) W * P b
3. S型（Sigmoid）
f
1
1exp[(nb)]
对数
f 1exp[2(nb)] 1exp[2(nb)]
神经网络模型及应用
中山大学 数学与计算科学学院 冯国灿
NP 问题与非传统计算
TSP (Traveling Salesman Problem) 平面上有N个城市，一旅 行商欲遍历所有城市且每个城市仅能访问一次并最后回 到起始点，则按照怎样的遍历顺序，回路长度才最短。
在理论上，只要有足够的时间和计算能力，任何规模的TSP 问题都可以得到解决但对于实际应用，往往只要求在时 间允许的条件下给出尽可能好的解因而，可以运用人工 神经网络近似地求解这类问题
问题是已被证明具有NP时间复杂性.
解决方法：
1. 穷举法 2. 动态规划 3. 分支定界法 NP
4. NN (HNN)
NP 问题与非传统计算
蛋白质的分解 (92年B题)
•非传统计算
进化计算(Evolutionary computing): 遗传算法(Genetic Algorithm) 神经计算：神经网络（Neural Network) 智能子计算(Agent)
•给出一只Af或者Apf族的蠓，你如何正确地区分它属于哪一族
•将你的方法对触角和翼长分别为（1.24,1.80）,(1.28,1.84)与 (1.40,2.04)的3个标本，用所得的方法加以识别。
•设Af是宝贵的传粉益虫，Apf是某种疾病的载体，是否应该修 改你的方法的分类方法，若需修改，怎么办？
感知机
翼 2.2 长
2.1
2
1.9
1.8
1.7
1.6
1
1.2
叠代次数 80
触角mm
实例
1.4
1.6
1.8
70年代以来的资料表明，肺炎一直是我国儿 童的第一死因，小儿肺炎的病原除细菌与病 毒两大类外，支原体也是较常见的病原之一。 支原体飞扬。如无血清学诊断根据，很难与 前述两大类病原感染相区别，而血清诊断则 需要一个星期以上的时间。因而往往延误了 诊断治疗。为此，对支原体肺炎的早期快速 诊断对临床治疗至关重要。表（略）中列出 了辽宁中医学院附属医院儿科收治过的90例 肺炎病例，其中支原俐市炎40例(1-40号）， 细菌性肺炎50例(41-90号）。选取温度(T)和 白总分(WBC )这两个临床上较为明显并容易 获取的特殊指标作为判别诊断变量0 Kohonen 自组织映射（SOM）
19501982 Hopfield 霍普神经网（HNN）
19511985 Rumelhart 误差反向传播神经网（BP）
19521985 Hinton 波儿兹曼机 （Boltzman
反向传播网络
反向传播网络(Back—Propagation Networks简称BF网络)是 将W-H学习规则一般化对非线性可微分函数进行权值训练 的多层网络。
数学 & 金融 Curve fitting Database Toolbox Extended Symbolic Math Financial Financial Time Series Equation Statistics Neural Network Bioinformatrics Toolbox 信号处理 / 图像处理 / 通信系统开发 Communications Toolbox DSP Blockset Image Acquisition Toolbox Signal Processing Image Processing Wavelet Model-Based Calibration Toolbox ….
A s* 1F (W s* r*P r* 1B s* 1)
单层神经网络
多层神经网络
神经网络的输出数学表达式：
A 1F 1 (W 1 *P B 1 )
三层神经网络及 数学表达
A 2 F 2 (W 2 * A 1 B 2 )
A 3 F 3 (W 3 * A 2 B 3 ) F 3 { W 3 * F 2 [ W 2 * F 1 ( W 1 * P B 1 ) B 2 ] B 3 }
单层感知器神经元模型图。
感知器简化结构图
[dW,dB]=learnp(P,A,T);%获得权植的修正量（感知器学习 公式） Trainp 直接给出最终的训练结果W和B值。
感知机的学习算法(学习规则）
wij (k 1) wij (k) j xi (k)
j d j y j (k)
n
y j (k) f ( wij xi j )
• 分类，最优化（NP问题），函数逼近
• 图像处理（边缘检测，图像压缩，特征提取），模式识别 （语音，人像，指纹，字符）
数据检索，控制等
神经网络计算机
丛爽, 面向Matlab工具箱的神经网络理论及应用，中科大出版社,1998
典型的神经网络模型
1943 McCulloch，Pittes 19441944 Hebb 19451957 Rosenblatt 19461962 Widrow 19471980 Kohonen 19481982 Hopfield 19491985 Rumelhart
MATLAB模块介绍
基础工具 MATLAB Simulink Stateflow 控制 Control System Fuzzy Logic Fixed-Point Blockset 实时目标系统 Real-Time Workshop Embedded Coder Embedded Target for TI C2000 DSP 应用接口 MATLAB Compiler Requirements Management Interface MATLAB Runtime Server MATLAB Web Server ….
Hopfield NN
Hopfiled and D W Tank (1985) 全连接神经网络 wij= wji ， wii=0
x3 x2
x1
xN
xi
xi
1
0
w ij x i i 0
ji
w ij x i i 0
ji
能量函数：
E1 2i
wijxixj xi
ji
i
E<=0, 具有联想记忆功能
其简化结构
人工神经元
输入分量：pj(j1,2, ,r)
权值分量： wj(j1,2, ,r)
r
以
w jp j
j1
形式求和后，形成激活函数 f 的输入。激
活函数的另一个输入为偏差。
r
Af(W*Pb)f( wjpj b) j1
激活转移函数(Activation transfer function)
双曲正切
-
-
-
MATLAB计算输出值 1）输出为{0,1}的硬函数：A=hardlim(W*P,B); 2）输出为{-1,1}的硬函数：A=hardlims(W*P,B); 3）线性函数：A=purelin(W*P,B); 4）对数S型函数：A=logsig(W*P,B); 5）双曲正切S型函数：A=tansig(W*P,B);
其中hopfield神经网络hnn和自组织特征映射是两种被广泛应用于解决组合优化图像处理边缘检测图像压缩特征提取模式识别语音人像指纹字符数据检索控制等神经网络计算机面向matlab工具箱的神经网络理论及应用中科大出版社19981943mccullochpittes形式神经元模型1944hebbhebb学习法则1957rosenblatt感知机perceptron1962widrow自适应模型adline1980kohonen自组织映射som1982hopfield霍普神经网hnn1985rumelhart误差反向传播神经网bp1985hinton三个组成部分