第十一讲 神经网络
神经网络介绍PPT详解课件
1940s
1960s
1980s
2000s
MP 模型 阈值加和 模型 Hebb学习 规则
感知器模型 自适应线性单元
Hopfield网络 Boltzman 机 BP算法
深度网络 DBN
CNN DBM
LeCun 98 Deep CNN RNN
低谷
低谷
人工神经网络发展历程
Deep Learning, Science 2006 (vol. 313, pp. 504-507)
网络模型
LeNet
网络结构的改进
NIN
AlexNet
网络深度的增加
VGGNet
GoogLeNet (Inception)
ResNet
Inception ResNet 图2：深度卷积神经网络发展图
图3：ILSVRC图像分类竞赛近年结果。
LeNet
最早的深度卷积神经网络模型，用于字符识别。网络具有如下特点：
AlexNet
AlexNet在LeNet基础上进行了更宽更深的网络设计，首次在CNN中引入了ReLU、 Dropout和Local Response Norm (LRN)等技巧。网络的技术特点如下：
➢ 使用ReLU （Rectified Linear Units）作为CNN的激活函数，并验证其效果在较深的网络超 过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题，提高了网络的训练速率。
人工神经网络发展历程
• 发展基础：
✓ 数据爆炸：图像数据、文本数据、语音数 据、社交网络数据、科学计算等
✓ 计算性能大幅提高
• 为什么有效
– 浅层神经网络可以近似任意函数，为何多层？
✓深层网络结构中，高层可以综合应用低层信息。 ✓低层关注“局部”，高层关注“全局”、更具有语
人工神经网络建模matlab
四、反向传播算法（B-P算法）
• Back propagation algorithm
• 算法的目的：根据实际的输入与输出数据， 计算模型的参数（权系数）
• 1．简单网络的B-P算法
u (i) • (2) 设 k
表示第k层第i神经元所接收的信息
wk(i,j) 表示从第k-1层第j个元到第k层第i个元的权重，
ak (i) 表第k层第i个元的输出
• （3）设层与层间的神经元都有信息交换（否则， 可设它们之间的权重为零）；但同一层的神经元 之间无信息传输．
• (4) 设信息传输的方向是从输入层到输出层方向； 因此称为前向网络．没有反向传播信息．
• 分类结果：(1.24，1.80)，(1.28，1.84)属 于Af类；(1.40，2.04）属于 Apf类．
图2 分类直线图
• •缺陷：根据什么原则确定分类直线？
• 若取A=(1.46,2.10), B=(1.1,1.6)不变，则分类直线 变为 y=1.39x+0.071
分类结果变为： (1.24,1.80)， (1.40,2.04) 属于Apf类； (1.28,1.84)属于Af类
• 问：如果抓到三只新的蚊子，它们的触角长和翼长 分别为(l.24,1.80); (l.28，1.84)；（1.40，2.04）．问 它们应分别属于哪一个种类？
• 解法一：
• 把翼长作纵坐标，触角长作横坐标；那么 每个蚊子的翼长和触角决定了坐标平面的一个 点.其中 6个蚊子属于 APf类；用黑点“·”表示； 9个蚊子属 Af类；用小圆圈“。”表示．
神经网络基本知识
神经网络基本知识一、内容简述神经网络是机器学习的一个重要分支，是一种模拟生物神经网络结构和功能的计算模型。
它以其强大的学习能力和自适应能力广泛应用于多个领域，如图像识别、语音识别、自然语言处理等。
《神经网络基本知识》这篇文章将带领读者了解神经网络的基本概念、原理和应用。
1. 神经网络概述神经网络是一种模拟生物神经系统结构和功能的计算模型。
它由大量神经元相互连接构成，通过学习和调整神经元之间的连接权重来进行数据处理和模式识别。
神经网络的概念自上世纪五十年代提出以来，经历了漫长的发展历程，逐渐从简单的线性模型演变为复杂的多层非线性结构。
神经网络在人工智能领域发挥着核心作用，广泛应用于计算机视觉、语音识别、自然语言处理等领域。
神经网络的基本构成单元是神经元，每个神经元接收来自其他神经元的输入信号，通过特定的计算方式产生输出信号，并传递给其他神经元。
不同神经元之间的连接强度称为权重，通过训练过程不断调整和优化。
神经网络的训练过程主要是通过反向传播算法来实现的，通过计算输出层误差并反向传播到输入层，不断调整权重以减小误差。
神经网络具有强大的自适应能力和学习能力，能够处理复杂的模式识别和预测任务。
与传统的计算机程序相比，神经网络通过学习大量数据中的规律和特征，自动提取高级特征表示，避免了手动设计和选择特征的繁琐过程。
随着深度学习和大数据技术的不断发展，神经网络的应用前景将更加广阔。
神经网络是一种模拟生物神经系统功能的计算模型，通过学习和调整神经元之间的连接权重来进行数据处理和模式识别。
它在人工智能领域的应用已经取得了巨大的成功，并将在未来继续发挥重要作用。
2. 神经网络的历史背景与发展神经网络的历史可以追溯到上个世纪。
最初的神经网络概念起源于仿生学，模拟生物神经网络的结构和功能。
早期的神经网络研究主要集中在模式识别和机器学习的应用上。
随着计算机科学的快速发展，神经网络逐渐成为一个独立的研究领域。
在20世纪80年代和90年代，随着反向传播算法和卷积神经网络的提出，神经网络的性能得到了显著提升。
神经网络专题ppt课件
(4)Connections Science
(5)Neurocomputing
(6)Neural Computation
(7)International Journal of Neural Systems
7
3.2 神经元与网络结构
人脑大约由1012个神经元组成，而其中的每个神经元又与约102～ 104个其他神经元相连接，如此构成一个庞大而复杂的神经元网络。 神经元是大脑处理信息的基本单元，它的结构如图所示。它是以细胞 体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞， 其形状很像一棵枯树的枝干。它主要由细胞体、树突、轴突和突触 (Synapse，又称神经键)组成。
15
4.互连网络
互连网络有局部互连和全互连 两种。 全互连网络中的每个神经元都 与其他神经元相连。 局部互连是指互连只是局部的， 有些神经元之间没有连接关系。 Hopfield 网 络 和 Boltzmann 机 属于互连网络的类型。
16
人工神经网络的学习
学习方法就是网络连接权的调整方法。 人工神经网络连接权的确定通常有两种方法：
4
5. 20世纪70年代 代表人物有Amari, Anderson, Fukushima, Grossberg, Kohonen
经过一段时间的沉寂后，研究继续进行
▪ 1972年，芬兰的T．Kohonen提出了一个与感知机等神经 网络不同的自组织映射理论(SOM)。 ▪ 1975年，福岛提出了一个自组织识别神经网络模型。 ▪ 1976年C．V．Malsburg et al发表了“地形图”的自形成
6
关于神经网络的国际交流
第一届神经网络国际会议于1987年6月21至24日在美国加州圣地亚哥 召开，标志着神经网络研究在世界范围内已形成了新的热点。
神经网络精选全文完整版
概述
神经网络的发展简史
初创（1943—1969） 1943年，McCulloch和Pitts 提出了M-P模型 1949年，Hebb提出Hebb学习规则 1957年，Rosenblatt提出感知器(perceptrons) 1969年，Minsky和Papert发表“Perceptrons”
x
(0) p2
x
(0) p, n0
T
d p d p1 d p1 d p,nQ T
( p 1,2, P)
利用该样本集首先对BP网络进行训练，也即对网络的连接权系数 进行学习和调整，以使该网络实现给定的输入输出映射关系。
i
2) 误差函数
e 1 2
k
(yˆ k yk )2
yˆ, y 分别表示输出层上节点k的期望输出与实
际输出
3) 连接权值的修正
w jk (t 1) w jk (t) w jk
wjk(t+1)和wjk(t)分别表示t+1和t时刻上从 节点j到节点k的连接权值， ∆wjk为修正量。
为了使连接权值沿着e的梯度变化方向得以改 善，网络逐渐收敛，取
e 1
2
( yˆk
yk )2
e yk
( yˆ
y)
又 yk netk
f
' (netk )
k ( yˆ k yk ) f ' (netk )
节点k不是输出层上的节点
k
e netk
e Ok
Ok netk
又 e Ok
m
mwkm
Ok netk
f ' (netk )
k f ' (netk ) mwkm
Y
N
神经网络方法-PPT课件精选全文完整版
信号和导师信号构成，分别对应网络的输入层和输出层。输
入层信号 INPi (i 1,根2,3据) 多传感器对标准试验火和各种环境条件
下的测试信号经预处理整合后确定，导师信号
Tk (k 1,2)
即上述已知条件下定义的明火和阴燃火判决结果，由此我们
确定了54个训练模式对，判决表1为其中的示例。
15
基于神经网络的融合算法
11
局部决策
局部决策采用单传感器探测的分析算法，如速率持续 法，即通过检测信号的变化速率是否持续超过一定数值来 判别火情。 设采样信号原始序列为
X(n) x1 (n), x2 (n), x3 (n)
式中，xi (n) (i 1,2,3) 分别为温度、烟雾和温度采样信号。
12
局部决策
定义一累加函数 ai (m为) 多次累加相邻采样值 的xi (差n) 值之和
样板和对应的应识别的结果输入人工神经网络，网络就会通过
自学习功能，慢慢学会识别类似的图像。
第二，具有联想存储功能。人的大脑是具有联想功能的。用人
工神经网络的反馈网络就可以实现这种联想。
第三，具有容错性。神经网络可以从不完善的数据图形进行学
习和作出决定。由于知识存在于整个系统而不是一个存储单元
中，一些结点不参与运算，对整个系统性能不会产生重大影响。
18
仿真结果
19
仿真结果
20
2
7.2 人工神经元模型—神经组织的基本特征
3
7.2 人工神经元模型—MP模型
从全局看，多个神经元构成一个网络，因此神经元模型的定义 要考虑整体，包含如下要素： （1）对单个人工神经元给出某种形式定义； （2）决定网络中神经元的数量及彼此间的联结方式； （3）元与元之间的联结强度（加权值）。
神经网络讲解
大家好，我们小组为大家介绍的是深度学习代表模型的原理，案例分析及其在交通领域的应用下面我将从三个方面进行分享首先是神经网络的概念人工神经网络是一种受人脑神经网络启发而设计的计算系统。
我们先看人脑神经网络1.1人脑神经网络是一个复杂而精密的系统，它由大量的神经元和突触连接组成，是人类大脑中数以亿计的神经元之间形成的复杂网络。
1.2这些神经元通过突触相互连接，通过电信号传递信息，形成了传递信息的通路，是我们思考、感知和行动的基础。
在人脑神经网络中为神经元提供输入的电线是树突。
在某些情况下，一个神经元会向另一个神经元发送信号，这些向外发送信号的导线被称为轴突。
轴突可能与一个或多个树突相连，这种交叉点称为突触。
这些神经元通过突触相互连接，通过电信号传递信息，形成了传递信息的通路。
1.3而人工神经网络是为模拟人脑神经网络而设计的一种计算模型，它从结构、实现机理和功能上模拟人脑神经网络。
与生物神经元类似，人工神经网络由一系列互相连接的神经元组成，可以通过学习和调整神经元之间的连接权重，来实现对输入数据的处理和分类。
那什么是权重呢？权重就像可调节的旋钮，决定着你输入的数据对最终输出结果的影响程度。
例如，为了找到适当的平衡（数据），我们要给输入值加上适当的权重。
然后将每个输入值（神经元）与权重相乘并相加，我们就能实现 "线性组合"。
实现线性组合后，再把他传递给 "激活函数"。
什么是激活函数呢？激活函数就像一个开关，它决定信号是否应该通过，使神经网络能够有效地学习和解决不同的问题。
从系统观点看，人工神经元网络就是由大量神经元通过极其丰富和完善的连接而构成的自适应非线性动态系统。
1.4接下来是神经网络的发展历程，神经网络的发展经历了五个阶段，从启蒙阶段，提出相关理论，因无法解决线性不可分的两类样本分类问题，发展进入低潮状态第三阶段是复兴时期，这个时期中，反向传播算法重新激发了人们对神经网络的兴趣。
深度学习之神经网络(CNN-RNN-GAN)算法原理+实战课件PPT模板可编辑全文
8-5showandtell模型
8-2图像生成文本评测指标
8-4multi-modalrnn模型
8-6showattendandtell模型
8-10图像特征抽取(1)-文本描述文件解析
8-8图像生成文本模型对比与总结
8-9数据介绍，词表生成
8-7bottom-uptop-downattention模型
第6章图像风格转换
06
6-1卷积神经网络的应用
6-2卷积神经网络的能力
6-3图像风格转换v1算法
6-4vgg16预训练模型格式
6-5vgg16预训练模型读取函数封装
6-6vgg16模型搭建与载入类的封装
第6章图像风格转换
单击此处添加文本具体内容，简明扼要的阐述您的观点。根据需要可酌情增减文字，与类别封装
06
7-12数据集封装
第7章循环神经网络
7-13计算图输入定义
7-14计算图实现
7-15指标计算与梯度算子实现
7-18textcnn实现
7-17lstm单元内部结构实现
7-16训练流程实现
第7章循环神经网络
7-19循环神经网络总结
第8章图像生成文本
08
第8章图像生成文本
02
9-9文本生成图像text2img
03
9-10对抗生成网络总结
04
9-11dcgan实战引入
05
9-12数据生成器实现
06
第9章对抗神经网络
9-13dcgan生成器器实现
9-14dcgan判别器实现
9-15dcgan计算图构建实现与损失函数实现
9-16dcgan训练算子实现
9-17训练流程实现与效果展示9-14DCGAN判别器实现9-15DCGAN计算图构建实现与损失函数实现9-16DCGAN训练算子实现9-17训练流程实现与效果展示
神经网络基本介绍PPT课件
神经系统的基本构造是神经元(神经细胞 )，它是处理人体内各部分之间相互信息传 递的基本单元。
每个神经元都由一个细胞体，一个连接 其他神经元的轴突和一些向外伸出的其它 较短分支—树突组成。
轴突功能是将本神经元的输出信号(兴奋 )传递给别的神经元，其末端的许多神经末 梢使得兴奋可以同时传送给多个神经元。
将神经网络与专家系统、模糊逻辑、遗传算法 等相结合，可设计新型智能控制系统。
(4) 优化计算 在常规的控制系统中，常遇到求解约束
优化问题，神经网络为这类问题的解决提供 了有效的途径。
常规模型结构的情况下，估计模型的参数。 ② 利用神经网络的线性、非线性特性，可建立线
性、非线性系统的静态、动态、逆动态及预测 模型，实现非线性系统的建模。
(2) 神经网络控制器 神经网络作为实时控制系统的控制器，对不
确定、不确知系统及扰动进行有效的控制，使控 制系统达到所要求的动态、静态特性。 (3) 神经网络与其他算法相结合
4 新连接机制时期（1986-现在） 神经网络从理论走向应用领域，出现
了神经网络芯片和神经计算机。 神经网络主要应用领域有：模式识别
与图象处理（语音、指纹、故障检测和 图象压缩等）、控制与优化、系统辨识 、预测与管理（市场预测、风险分析） 、通信等。
神经网络原理 神经生理学和神经解剖学的研究表 明，人脑极其复杂，由一千多亿个神经 元交织在一起的网状结构构成，其中大 脑 皮 层 约 140 亿 个 神 经 元 ， 小 脑 皮 层 约 1000亿个神经元。 人脑能完成智能、思维等高级活动 ，为了能利用数学模型来模拟人脑的活 动，导致了神经网络的研究。
(2) 学习与遗忘：由于神经元结构的可塑 性，突触的传递作用可增强和减弱，因 此神经元具有学习与遗忘的功能。 决定神经网络模型性能三大要素为：
神经网络基础PPT课件
AlexNet
VGGNet
ResNet
DenseNet
由Yann LeCun等人提出 ，是最早的卷积神经网 络之一，用于手写数字 识别。
由Alex Krizhevsky等人 提出，获得了2012年 ImageNet图像分类竞 赛的冠军，引入了ReLU 激活函数和数据增强等 技巧。
由牛津大学Visual Geometry Group提出 ，通过反复堆叠3x3的小 型卷积核和2x2的最大池 化层，构建了深度较深 的网络结构。
内部表示。
隐藏层
通过循环连接实现信息 的持久化，捕捉序列中
的动态信息。
输出层
将隐藏层的状态转化为 具体的输出。
循环连接
将隐藏层的状态反馈到 输入层或隐藏层自身， 实现信息的循环传递。
序列建模与长短时记忆网络（LSTM）
序列建模
01
RNN通过循环连接实现对序列数据的建模，能够处理任意长度
的序列输入。
久化。
Jordan网络
与Elman网络类似，但将输出 层的状态反馈到隐藏层。
LSTM网络
长短时记忆网络，通过引入门 控机制实现对长期依赖信息的
有效处理。
GRU网络
门控循环单元网络，一种简化 的LSTM结构，具有较少的参
数和较快的训练速度。
06 深度学习框架 TensorFlow使用指南
TensorFlow安装与配置教程
非线性可分问题
不存在一条直线（或超平面）能够将两类样本完全分开的 问题。对于这类问题，需要使用非线性分类器或者核方法 等技巧进行处理。
处理非线性可分问题的方法
包括使用多项式核、高斯核等核函数将数据映射到高维空 间使其线性可分；或者使用神经网络等非线性模型对数据 进行建模和分类。
神经网络基本原理精选全文完整版
数，它表示激活值σ和其输出f(σ ）之间的关系，如图5-3所示。
f(σ) 1
0
f
(
)
1 0
0 0
σ 图 5-3 阈值型神经元的输入／输出特性
21
阈值型神经元是一种最简单的人工神经元。这种二值型神经 元，其输出状态取值1或0，分别代表神经元的兴奋和抑制状态。 任一时刻，神经元的状态由功能函数f 来决定。
从人脑神经元的特性和功能可以知道，神经元是一 个多输入单输出的信息处理单元， 其模型如下图所示：
x1
ω1
x2 ω2
θ
y
ωn
xn
神经元模型
17
人工神经元及人工神经网络
x1
ω1
ω2
x2
θ
y
ωn
xn
神经元模型
18
人工神经元及人工神经网络
M-P模型 M-P模型属于一种阈值元件模型，它
是由美国心理学家Mc Culloch和数学家Pitts 提出的最早（1943）神经元模型之一。M-P 模型是大多数神经网络模型的基础。
25
从生理学角度看，阶跃函数（阈值型）最符 合人脑神经元的特点，事实上，人脑神经元正是 通过电位的高低两种状态来反映该神经元的兴奋 与抑制。然而，由于阶跃函数不可微，因此，实 际上更多使用的是与之相仿的Sigmoid函数。
26
人工神经网络 人工神经网络是对人类神经系统的一种模拟。尽管
人类神经系统规模宏大、结构复杂、功能神奇，但其最 基本的处理单元却只有神经元。人工神经系统的功能实 际上是通过大量神经元的广泛互连，以规模宏伟的并行 运算来实现的。
神经网络工作原理
神经网络工作原理
神经网络是一种基于人工神经元的数学模型，用于模拟和处理复杂的非线性问题。
该模型由一个由多个神经元（或节点）组成的网络组成，其工作原理是通过学习和适应数据的模式和特征，从而能够进行预测、分类、识别等任务。
神经网络的工作原理可以分为两个主要阶段：前向传播和反向传播。
在前向传播阶段，输入数据被输入到网络的输入层，并逐渐传递到网络的输出层。
每个神经元都会将收到的输入值与自身的权重进行计算，并将结果传递给下一层的神经元。
这个过程会一直持续，直到数据传递到输出层，输出层会给出最终的预测结果。
在反向传播阶段，神经网络会根据预测结果与实际输出之间的误差，来调整各个神经元之间的权重。
这一过程会沿着网络的反方向进行，依次更新每个神经元的权重和阈值，以使得误差逐渐减小。
通过多个反向传播的迭代，神经网络能够不断优化模型，提高对输入数据的预测和识别准确性。
此外，神经网络还可以通过增加网络的层数和神经元的数量来提高模型的复杂度和表达能力，从而适应更加复杂的任务和数据模式。
然而，过多的层和神经元可能会导致模型过拟合，因此在构建神经网络时需要进行适当的调节和优化。
总的来说，神经网络通过前向传播和反向传播的迭代过程，通
过学习和适应数据的模式和特征来完成各种复杂的任务。
这种模型具备良好的自适应能力和优化能力，在许多领域都展现出了强大的应用潜力。
神经网络基础知识
神经网络基础知识神经网络是一种模拟大脑处理信息的计算机系统。
神经网络通过自动学习和适应来执行任务，例如图像和语音识别。
对于普通人来说，理解神经网络可能有些困难。
因此，我们准备了这篇文章，以帮助您了解神经网络的基本知识。
1.神经元神经元是神经网络最基本的组成部分。
神经元接收输入信号，将其加权处理，然后传递给下一个神经元。
每个神经元都有一个阈值，当加权输入信号超过该阈值时，它产生一个输出信号。
神经元的目的是对输入信号进行分类或数据处理。
可以通过调整神经元之间的连接权重来改变神经元的行为，从而调整神经网络的性能。
2.神经网络神经网络由许多相互连接的神经元组成，这些神经元可以分为层。
每个神经元接收其上一层的输出信号，加权后将其传递到下一层。
一般而言，神经网络通常有三层：输入层，隐藏层和输出层。
输入层接收外部输入，并将其传递到隐藏层。
隐藏层在接收输入信号后产生新特征，这些新特征可以用于进一步处理，最终生成输出。
输出层将处理后的结果展示给用户。
3.训练神经网络训练神经网络分为两个步骤：前向传递和反向传递。
·前向传递：给网络提供输入数据，网络经过处理后，输出一个结果。
·反向传递：通过改变神经元之间的连接权重（weight）来训练神经网络，在误差反向传播的过程中逐渐调整。
误差越小，神经网络的性能就越好。
4.损失函数损失函数的主要功能是对神经网络的性能进行评估。
损失函数可以描述神经网络的误差和数据之间的差异。
损失函数的大小越小，神经网络的性能就越好。
常用的损失函数有平方损失函数、交叉熵损失函数、绝对值损失函数等。
5.深度学习深度学习是一种基于神经网络的机器学习方法，这种方法通过将多层神经网络组合起来来模拟人类大脑的学习方式。
深度学习的一个优点是可以在没有人工干预的情况下自动学习。
由于网络和数据集的复杂性，深度学习的计算成本很高，但是随着技术的发展，越来越多的公司和研究机构正在将深度学习应用于实际场景中。
完整的神经网络讲解
(1-35)
也可写成
(1-36)
其中：η为学习速率，即步长。
很明显，根据BP算法原则，求ae/aWij最关键的。下面求ae/aWij；有
(1-37)
由于
(1-38)
故而
(1-39)
从而有
(1-40)
令
(1-41)
则有学习公式：
输入上的权系数，i＝1，2，…，n。Wn+1(t)为t时刻时的阀值。
图1-10感知器的分类例子
2．输入一样本X＝(X1，X2，…，Xn+1)以及它的期望输出d。
期望输出值d在样本的类属不同时取值不同。如果x是A类，则取d＝1,如果x是B类，则取-1。期望输出d也即是教师信号。
3．计算实际输出值Y
4．根据实际输出求误差e
二、BP算法的数学表达
BP算法实质是求取误差函数的最小值问题。这种算法采用非线性规划中的最速下降方法，按误差函数的负梯度方向修改权系数。
为了说明BP算法，首先定义误差函数e。取期望输出和实际输出之差的平方和为误差函数，则有：
(1-34)
其中：Yi是输出单元的期望值；它也在这里用作教师信号；
Xim是实际输出；因为第m层是输出层。
Wn+1=-θ，Xn+1=1 (1-19)
则感知器的输出可表示为：
(1-20)
感知器学习算法步骤如下：
1．对权系数w置初值
对权系数w＝(W1．W2，…，Wn，Wn+1)的各个分量置一个较小的零随机值，但Wn+1＝
—g。并记为Wl(0)，W2(0)，…，Wn(0)，同时有Wn+1(0)＝-θ。这里Wi(t)为t时刻从第i个
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第十一讲神经网络与应用1 引言人工神经网络(Artificial neural network,ANN)也简称为神经网络，它是人脑或动物神经网络若干基本特性的抽象和模拟。
早在1943年，McCulloch和Pitts就提出一种叫做“似脑机器”（mindlike machine）的思想，这种机器可由基于生物神经元特性的互连模型来制造,这就是神经网络的最初概念。
在1985年，Parker和Rumelhart等完善了反向传播算法，即B—P算法(Back Propagation Algorithms)，神经网络模型重新活跃起来。
神经网络具有非常强的非线性映射能力,它不需要任何先验公式就可以通过学习(或训练)自动总结出数据间的函数关系,因而是一种有效的建模手段。
在建立起函数关系之后,常还需要求解由该函数作为目标函数的最优化问题,即寻找合适的网络输入,以使网络输出值达到最大(或最小)。
由于用人工神经网络模型确立的函数关系是通过神经元间的连接权值与阈值来实现的,难以用简单的函数形式表达,所以用传统的优化方法不易解决这类问题。
因而，神经网络具有记忆和学习功能，可以用来训练使它具有识别和预测的能力。
下面使神经网络的一些特点：（１）并行分布处理: 神经网络具有高度的并行结构和并行实现能力，因而能够有较好的耐故障能力和较快的总体处理能力。
这特别适于实时控制和动态控制。
（２）非线性映射: 神经网络具有固有的非线性特性，这源于其近似任意非线性映射（变换）能力。
这一特性给非线性控制问题带来新的希望。
（３）通过训练进行学习: 神经网络是通过所研究系统过去的数据记录进行训练的。
一个经过适当训练的神经网络具有归纳全部数据的能力。
因此，神经网络能够解决那些由数学模型或描述规则难以处理的控制过程问题。
（４）适应与集成:神经网络能够适应在线运行，并能同时进行定量和定性操作。
神经网络的强适应和信息熔合能力使得网络过程可以同时输入大量不同的控制信号，解决输入信息间的互补和冗余问题，并实现信息集成和熔合处理。
这些特性特别适于复杂、大规模和多变量系统的控制。
（５）硬件实现:神经网络不仅能够通过软件而且可借助软件实现并行处理。
近年来，一些超大规模集成电路实现硬件已经问世，而且可从市场上购到。
这使得神经网络具有快速和大规模处理能力的实现网络。
如美国用256个神经元组成的神经网络组成硬件用于识别手写体的邮政编码。
十分显然，神经网络由于其学习和适应、自组织、函数逼近和大规模并行处理等能力，因而具有用于智能控制系统的潜力。
神经网络在模式识别、信号处理、系统辨识和优化等方面的应用，已有广泛研究。
二神经元模型及其特性连接机制结构的基本处理单元与神经生理学类比往往称为神经元。
每个构造起网络的神经元模型模拟一个生物神经元，如图１所示。
该神经元单元由多个输入，i=1,2,...,n和一个输出y组成。
中间状态由输入信号的权和表示，而输出为:)()(1j ni i ji j x w f t y θ-=∑= (1)图１神经元模型式(1)中,j θ为神经元单元的偏置（阈值），ji w 为连接权系数（对于激发状态，ji w 取正值，对于抑制状态，ji w 取负值），n 为输入信号数目，j y 为神经元输出，t 为时间，f()为输出变换函数，有时叫做激发或激励函数，往往采用0和1二值函数或Ｓ形函数，见图1，这三种函数都是连续和非线性的。
一种二值函数可由下式表示：⎩⎨⎧<>=00,0,1)(x x x x x f (2) 如图2（a ）所示。
一种常规的Ｓ形函数见图2（b ），可由下式表示：)1)(0(,11)(<<+=-x f e x f ax(3) 常用双曲正切函数（见图2（c ））来取代常规Ｓ形函数，因为Ｓ形函数的输出均为正值，而双曲正切函数的输出值可为正或负。
双曲正切函数如下式所示：)1)(0(,11)(<<+-=--x f ee xf ax ax(4)图2 神经元中的某些变换（激发）函数人工神经网络由神经元模型构成；这种由许多神经元组成的信息处理网络具有并行分布结构。
每个神经元具有单一输出，并且能够与其它神经元连接；存在许多（多重）输出连接方法，每种连接方法对应一个连接权系数。
严格地说，人工神经网络是一种具有下列特性的有向图：（１）对于每个节点i 存在一个状态变量x i ；（２）从节点j 至节点i ，存在一个连接权系统数ji w ；（３）对于每个节点i ，存在一个阈值j θ；（４）对于每个节点i ，定义一个变换函数 f i (x i ,w ji ,q i ),i ¹j ；对于最一般的情况，此函数取)(i j jij i x w f θ-∑形式。
三 人工神经网络的基本结构（１）递归网络 在递归网络中，多个神经元互连以组织一个互连神经网络，如图3所示。
有些神经元的输出被反馈至同层或前层神经元。
因此，信号能够从正向和反向流通。
Hopfield 网络，Elmman 网络和Jordan 网络是递归网络有代表性的例子。
递归网络又叫做反馈网络。
图3 递归（反馈）网络 图4 前馈（多层）网络图3中， v i 表示节点的状态， x i 为节点的输入(初始)值， x i’为收敛后的输出值，i=1,2,...,n 。
（２）前馈网络 前馈网络具有递阶分层结构，由一些同层神经元间不存在互连的层级组成。
从输入层至输出层的信号通过单向连接流通；神经元从一层连接至下一层，不存在同层神经元间的连接，如图5.4所示。
图中，实线指明实际信号流通而虚线表示反向传播。
前馈网络的例子有多层感知器(MLP)、学习矢量量化(LVQ)网络、小脑模型联接控制(CMAC)网络和数据处理方法(GMDH)网络等。
5.3 BP 神经网络示例及其算法下面我们给出使用BP 神经网络解决实际问题的案例——MATLAB 的神经网络工具箱BP 算法在电弧炉炼钢中的预报。
电弧炉炼钢过程得物理化学反应难以用数学描述，参数耦合关系及其复杂。
就目前工艺水平和检测手段，难以实现炼钢过程终态的温度、含碳量和含磷量等重要技术指标的实时控制。
但是，如果能对炼钢过程终态主要技术指标进行预报，使操作者随时了解炼钢过程，就可以提高炼钢效率。
炼钢过程氧化期终态预报的准确性实质上决定了整个钢水冶炼过程终预报的准确性。
氧化期模型是表示输入(供电量、吹氧量、矿石加入量)和输出(钢水温度、含碳量和含磷量)之间的关系，可用图5表示：图5 电弧炉炼钢的输入与输出示意图这是一个三输入三输出的多变量系统，三个输出是耦合的，例如：钢液温度低对脱磷有利，而对脱碳不利，然而就目前理论水平，要寻求三者之间的关系，实现解耦非常困难。
神经网络为问题的解决提供了一个有力工具。
下面给出在5.3及以上版本中调试通过的源程序：clear% p0、c0、t0分别表示氧化期开始时的含磷量、含碳量、起始温度p0=[0.035,0.028,0.040,0.030,0.038,0.030,0.035,0.030,0.034,0.036,...0.025,0.025,0.038,0.035,0.033,0.030,0.030,0.030,0.030,0.030,...0.025,0.025,0.035,0.031,0.034,0.030,0.031,0.030,0.030,0.032,...0.028,0.034,0.030,0.030,0.028,0.040];c0=[1.06,1.13,0.82,0.93,0.94,1.07,1.10,1.13,1.04,1.05,0.99,1.25,1.01,0.83,...1.05,0.85,1.07,1.00,0.92,1.00,0.93,0.97,1.14,1.06,0.95,0.75,1.15,1.08,...0.90,1.05,1.08,1.11,1.04,1.30,0.96,0.82];t0=[1440,1450,1450,1440,1450,1450,1450,1450,1450,1450,1450,1440,1450,1450,...1440,1450,1440,1450,1450,1450,1450,1440,1440,1450,1460,1450,1440,1440,...1450,1440,1450,1440,1450,1440,1440,1450];% pt、ct、tt分别表示氧化期结束时的含磷量、含碳量、终点温度pt=[0.017,0.017,0.020,0.020,0.017,0.017,0.020,0.017,0.018,0.020,...0.017,0.017,0.017,0.017,0.015,0.020,0.020,0.018,0.017,0.015,...0.018,0.020,0.017,0.015,0.022,0.019,0.019,0.020,...0.018,0.016,0.018,0.020,0.020,0.020,0.021,0.017];ct=[0.64,0.69,0.60,0.64,0.67,0.71,0.74,0.51,0.60,0.58,0.55,0.60,...0.52,0.57,0.60,0.58,0.62,0.56,0.60,0.64,0.67,0.64,0.63,0.60,...0.63,0.64,0.50,0.61,0.60,0.60,0.62,0.66,0.61,0.67,0.63,0.68];tt=[1570,1550,1560,1565,1560,1560,1555,1550,1540,1540,1560,...1540,1560,1540,1550,1550,1560,1550,1590,1550,1540,1550,...1540,1540,1550,1560,1560,1560,1570,1550,1540,1560,1540,...1550,1550,1540];% wt、o2、el分别表示氧化期冶炼过程中所需矿石投入量(kg)、氧气耗量(min)、电量(度) wt=[115,85,100,95,80,100,115,105,150,140,75,75,150,...110,115,105,100,90,95,90,70,85,125,115,95,100,...105,100,95,115,100,100,100,100,85,85];o2=[26,23,15,17,18,23,23,23,25,24,21,23,25,18,23,14,23,23,...17,23,16,20,27,23,17,11,29,23,17,23,22,25,23,24,20,23];el=[1025,1190,1700,1620,1175,1340,1135,1300,1145,1480,1500,...1360,1360,1320,1335,1625,1230,1090,1600,1135,1675,1730,...980,1335,1350,1680,960,1240,1565,1330,1540,1000,1225,...1225,1720,1200];cadd=c0-ct; % 含碳递减量padd=p0-pt; % 含磷递减量tadd=tt-t0; % 温度递减量% 因为所收集到的数据不是在同一数量级，将所收集到的数据映射到[－1,1]之间，% 这样便于提高神经网络的训练速度。