人工神经网络复习题解读
人工神经网络原理第4章习题参考答案
1. 试比较BP 学习算法与感知机学习算法的异同。
同：两种学习算法均基于纠错学习规则，采用有指导的学习方式，根据来自输出节点的外部反馈（期望输出）调整连接权，使得网络输出节点的实际输出与外部的期望输出一致。
异：感知机学习算法中，隐含层处理单元不具备学习能力，其模式分类能力仍然非常有限；而BP 学习算法采用非线性连续变换函数，使隐含层神经元具有了学习能力。
BP 学习算法基于最小均方误差准则，采用误差函数按梯度下降的方法进行学习，其学习过程分为模式顺传播，误差逆传播、记忆训练、学习收敛4个阶段。
2. 试述BP 神经网络有哪些优点和缺点。
优点：具有良好的非线性映射能力、泛化能力和容错能力。
缺点：学习算法的收敛速度慢；存在局部极小点；隐含层层数及节点数的选取缺乏理论指导；训练时学习新样本有遗忘旧样本的趋势。
3. 试举例说明BP 神经网络擅长解决哪些问题，并针对一个具体应用实例，描述BP 神经网络解决该问题的具体方案。
擅长解决函数拟合问题（例如，拟合多项式函数），线性与非线性的分类问题（例如，疾病病例分类），预测问题（例如，房屋价格预测），模式识别问题（例如，手写数字识别）。
具体应用实例及解决方案略。
4. 请给出一个BP 神经网络的具体应用实例。
略。
5. 什么是BP 神经网络的泛化能力？如何提高BP 神经网络的泛化能力？BP 神经网络的泛化能力是指BP 神经网络对未训练样本的逼近程度或对于未知数据的预测能力。
即：BP 神经网络学习训练完成后会将所提取的样本模式对中的非线性映射关系存储在网络连接权向量中，在其后的正常工作阶段，当向BP 神经网络输入训练时未曾见过的数据时，BP 神经网络也能够完成由输入模式到输出模式的正确映射。
提高BP 神经网络泛化能力的方法包括： 1) 增加训练集中的样本数； 2) 适当减少隐藏节点个数；3) 增加网络结构中的因子数（考虑更多可能影响结果的因子作为额外的输入项）； 4) 对于选取的数据样本，要尽量保证包含拐点处的数据样本，同时尽可能保证相邻样本的变化率小于误差精度要求。
《人工神经网络：模型、算法及应用》习题参考答案
习题2.1什么是感知机？感知机的基本结构是什么样的？解答：感知机是Frank Rosenblatt在1957年就职于Cornell航空实验室时发明的一种人工神经网络。
它可以被视为一种最简单形式的前馈人工神经网络，是一种二元线性分类器。
感知机结构：2.2单层感知机与多层感知机之间的差异是什么？请举例说明。
解答：单层感知机与多层感知机的区别：1. 单层感知机只有输入层和输出层，多层感知机在输入与输出层之间还有若干隐藏层；2. 单层感知机只能解决线性可分问题，多层感知机还可以解决非线性可分问题。
2.3证明定理：样本集线性可分的充分必要条件是正实例点集所构成的凸壳与负实例点集构成的凸壳互不相交.解答：首先给出凸壳与线性可分的定义凸壳定义1：设集合S⊂R n，是由R n中的k个点所组成的集合，即S={x1,x2,⋯,x k}。
定义S的凸壳为conv(S)为：conv(S)={x=∑λi x iki=1|∑λi=1,λi≥0,i=1,2,⋯,k ki=1}线性可分定义2：给定一个数据集T={(x1,y1),(x2,y2),⋯,(x n,y n)}其中x i∈X=R n , y i∈Y={+1,−1} , i=1,2,⋯,n ,如果存在在某个超平面S：w∙x+b=0能够将数据集的正实例点和负实例点完全正确地划分到超平面的两侧，即对所有的正例点即y i=+1的实例i，有w∙x+b>0，对所有负实例点即y i=−1的实例i，有w∙x+b<0，则称数据集T为线性可分数据集；否则，称数据集T线性不可分。
必要性：线性可分→凸壳不相交设数据集T中的正例点集为S+，S+的凸壳为conv(S+)，负实例点集为S−，S−的凸壳为conv(S−)，若T是线性可分的，则存在一个超平面：w ∙x +b =0能够将S +和S −完全分离。
假设对于所有的正例点x i ，有：w ∙x i +b =εi易知εi >0，i =1，2，⋯，|S +|。
人工神经网络原理第7章习题参考答案
1.试述自组织神经网络中“自组织”的含义。
自组织神经网络采用类似于人类大脑生物神经网络的无指导学习方式，能够对外界未知环境进行学习或模拟，并对自身的网络结构进行调整，实现对输入模式的自动分类。
在调整网络结构时，网络按照预定的规则和输入模式，不断调整网络连接权值直至形成一种全局有序的结构，而这种全局有序的结构是通过网络中许多相邻神经元的局部相互作用形成的，这些相邻神经元之间的相互作用最终会使网络在空间模式或时间节奏上达成一致，这也是自组织的本质。
2. 若某一基本竞争神经网络的输入层有5个节点，竞争层有3个节点。
网络的6个学习模式为X 1=(1,0,0,0,0)T ，X 2=(1,0,0,0,1)T ，X 3=(1,1,0,1,0)T ，X 4=(1,1,0,1,1)T ，X 5=(0,0,1,1,0)T ，X 6=(0,0,1,1,1)T ，试计算这6个学习模式的汉明距离。
6个学习模式的汉明距离X 1 X 2 X 3 X 4 X 5 X 6 X 1 0 1 2 3 3 4 X 2 1 0 3 2 4 3 X 3 2 3 0 1 3 4 X 4 3 2 1 0 4 3 X 5 3 4 3 4 0 1 X 6434313. 采用竞争学习规则，通过训练将第2题中的6个学习模式进行分类，试比较训练后的分类结果和通过汉明距离得到分类结果。
按照前面描述的竞争学习规则对第2题的6个学习模式进行记忆训练，假定学习速率为0.5，网络的初始连接权值如下：⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛=2.03.02.02.02.03.01.02.02.02.01.02.03.02.01.0W网络的学习过程如下：t =1 X 1=(1,0,0,0,0)T 竞争层各个神经元的净输入为 s 1=w 11x 1+w 21x 2+w 31x 3+w 41x 4+w 51x 5=0.1*1+0.2*0+0.2*0+0.3*0+0.2*0=0.1 s 2=w 12x 1+w 22x 2+w 32x 3+w 42x 4+w 52x 5=0.2*1+0.1*0+0.2*0+0.2*0+0.3*0=0.2 s 3=w 13x 1+w 23x 2+w 33x 3+w 43x 4+w 53x 5=0.3*1+0.2*0+0.1*0+0.2*0+0.2*0=0.3因此，竞争层各个神经元的输出为 y 1=0 y 2=0 y 3=1调整后的连接权如下 w 13=0.3+0.5*(1/1-0.3)=0.65 w 23=0.2+0.5*(0/1-0.2)=0.1 w 33=0.1+0.5*(0/1-0.1)=0.05 w 43=0.2+0.5*(0/1-0.2)=0.1 w 53=0.2+0.5*(0/1-0.2)=0.1t =2 X 2=(1,0,0,0,1)T 竞争层各个神经元的净输入为 s 1=w 11x 1+w 21x 2+w 31x 3+w 41x 4+w 51x 5=0.1*1+0.2*0+0.2*0+0.3*0+0.2*1=0.3 s 2=w 12x 1+w 22x 2+w 32x 3+w 42x 4+w 52x 5=0.2*1+0.1*0+0.2*0+0.2*0+0.3*1=0.5 s 3=w 13x 1+w 23x 2+w 33x 3+w 43x 4+w 53x 5=0.65*1+0.1*0+0.05*0+0.1*0+0.1*1=0.75因此，竞争层各个神经元的输出为 y 1=0 y 2=0 y 3=1 调整后的连接权如下w 13=0.65+0.5*(1/2-0.65)=0.575 w 23=0.1+0.5*(0/2-0.1)=0.05 w 33=0.05+0.5*(0/2-0.05)=0.025 w 43=0.1+0.5*(0/2-0.1)=0.05 w 53=0.1+0.5*(1/2-0.1)=0.3 t =3 X 3=(1,1,0,1,0)T 竞争层各个神经元的输入为 s 1=w 11x 1+w 21x 2+w 31x 3+w 41x 4+w 51x 5=0.1*1+0.2*1+0.2*0+0.3*1+0.2*0=0.6 s 2=w 12x 1+w 22x 2+w 32x 3+w 42x 4+w 52x 5=0.2*1+0.1*1+0.2*0+0.2*1+0.3*0=0.5 s 3=w 13x 1+w 23x 2+w 33x 3+w 43x 4+w 53x 5=0.575*1+0.05*1+0.025*0+0.05*1+0.3*0=0.675 因此，竞争层各个神经元的输出为y 1=0 y 2=0 y 3=1 调整后的连接权如下w 13=0.575+0.5*(1/3-0.575)=0.4542 w 23=0.05+0.5*(1/3-0.05)=0.1917 w 33=0.025+0.5*(0/3-0.025)=0.0125 w 43=0.05+0.5*(1/3-0.05)=0.1917 w 53=0.3+0.5*(0/3-0.3)=0.15 ……按照上述过程经过多次学习后，网络会得到如下分类结果，与通过汉明距离分析的结果完全一致。
(完整版)神经网络试卷(A卷)(含答案)
20 08 –20 09 学年第 一 学期 考试方式： 开卷[ ] 闭卷[√]课程名称： 神经网络使用班级： 计算机科学与技术（医学智能方向）06 班级： 学号： 姓名： 一、单项选择题（每空2分，共30分）1. 人工神经网络的激活函数主要有三种形式，下面(A )对应的是非线性转移函数， ( B )对应的是对应的是域值函数，( C )分段线性函数。
()()101)f())f )01e 1, 1f , 11)f 01, 1v A v B v C v v v v v v D v v ≥⎧==⎨-<+⎩≥⎧⎪=-<<=⎨⎪-≤-⎩（）2. 根据神经元的不同连接方式，可将神经网络分为两大类：分层网络和相互连接型网络。
分层网络将一个神经网络模型中的所有神经元按照功能分成若干层。
一般有输入层、隐含层(中间层)和输出层，各层顺次连接。
下面图形(D )对应的是相互连接型网络，图形(C )对应的是层内互联的前向网络，图形( B)对应的是具有反馈的前向网络，图形( A)对应的是单纯的前向网络。
······x 1x 2x n12m······x 1x 2x n12m······x 1x 2x n12m······x 1x 2x n12ma)b)c)d)3. 在MATLAB中，下面的（○3）命令可以使用得下次绘制的图和已经绘制的图将不在同一张图上。
A) hold on（设置在同一张图绘制多条曲线）B) figure （下次的图和已绘制的不在同一张图上）C) plot D) hold off（取消在同一张图绘制多条曲线）3.下面是一段有关向量运算的MATLAB代码:>>y= [3 7 11 5];>>y(3) = 2运算后的输出结果是（○8）A) 3 2 11 5 B) 3 7 2 5C) 2 7 11 5 D) 3 7 11 24. 下面是一段有关矩阵运算的MATLAB代码:>>A = [1 2 3 4; 5 6 7 8; 9 10 11 12]；>>B = A(2,1:3)取出矩阵A中第二行第一个到第三个构成矩阵B若A(2,3)=5将矩阵第二行第三列的元素置为5A=[A B’]将B转置后，再以列向量并入AA(：，2)=[]删除第二列：代表删除列A([1,4],:)=[]删除第一和第四行：代表删除行A=[A;4,3,2,1]加入第四行那么运算后的输出结果是（○9）A) 5 7 8 B) 5 6 8 C) 5 6 7D) 6 7 85.下面对MATLAB中的plot(x,y,s)函数叙说正确的是（○10）A) 绘制以x、y为横纵坐标的连线图(plot(x,y)) B绘制多条不同色彩的连线图(plot(x,y))C) 默认的绘图颜色为蓝色D) 如果s=’r+’，则表示由红色的+号绘制图形6. 如果现在要对一组数据进行分类，我们不知道这些数据最终能分成几类，那么应该选择（○11）来处理这些数据最适合。
人工神经网络原理第6章习题参考答案
1.随机型神经网络的特点是什么？(1) 神经元的净输入不能决定其输出状态为0或1，决定神经元输出状态的是值为1或0的概率；(2) 在网络学习阶段，随机型神经网络并不基于某种确定性算法调整网络连接权值，而是按照某种概率分布进行处理；(3) 在网络运行阶段，随机型神经网络不是按照某种确定性的网络方程进行状态演变，而是按照某种概率分布决定网络状态的转移。
2.试述Boltzmann机的特点，并比较其与离散型Hopfield网络的异同。
从网络结构看，与离散型Hopfield神经网络相同的是，Boltzmann机网络为单层全互连结构，各个神经元之间采用双向对称连接方式，并且每个神经元到自身都无反馈；但与离散型Hopfield神经网络不同的是，Boltzmann机同时又考虑到了多层网络的特点，将神经元按照功能分为可视层与隐含层两大部分，其中的可视层又可以继续分为输入部分和输出部分，但是这些层次在Boltzmann机中并没有明显的划分界限。
从处理单元模型看，Boltzmann机网络的每个神经元的输出均为0、1二值离散输出，n 个神经元的状态集合构成了Boltzmann机网络的状态，即在给定时刻t，Boltzmann机网络的状态为X(t)=(x1, x2, …, x n)，但与离散型Hopfield神经网络不同的是，Boltzmann机中的神经元不能通过其输入状态获得确定的输出状态，它的输出状态要由神经元净输入状态的概率决定，不同的净输入状态对应不同的输出状态概率。
从能量函数看，随着Boltzmann机的运行，从概率意义上说，网络的能量呈下降趋势。
这意味着在网络状态的演化过程中，尽管网络能量总的变化趋势是下降的，但不能排除在某一时刻某个神经元按照小概率事件进行状态变化，从而使网络的能量暂时上升；而随着离散型Hopfield神经网络的运行，王的能量是单调递减的。
3.为什么Boltzmann机可以避免陷入局部极小点？Boltzmann机的网络能量在概率意义上呈单调下降趋势，即在网络状态变化过程中，网络能量总的趋势是下降的，但也存在能量暂时上升的可能性，这种可能性使得Boltzmann机具有了跳出局部极小点的能力。
人工神经网络复习资料
training examples
input vector
Target output
desired response
supervised learning
Unsupervised Learning
learning tasks
rate of learning
生物神经元
人工神经元神经元
输出神经元
互联加权
偏见水平
激活功能
前馈神经网络
隐藏的图层
输出层
输入输出映射
关联记忆
模式识别
系统识别
感知器模型
学习过程
学习算法
训练实例
输入矢量
目标输出
期望的响应
监督学习
无监督学习
学习任务
学习的速度
2.
3.
3.
3.
3.
4．
算法实现步骤：
第一步:初始化
第二步：输入一个样本，计算连接权值的调整量
feedforward neural network
hidden layers
output layer
input-output mapping
Association memory
Pattern Recognition
system identification
perceptron model
Learning Processes
10,。Apபைடு நூலகம்lications of RBF network
4.
5.
6.When no node节点output is an input to a node in the same layer or preceding layer前层, the network is a feedforward network(前向网络).
人工神经网络原理第3章习题参考答案
1. 单层感知机模型与多层感知机模型的区别是什么？单层感知机模型由输入层（感知层）和输出层（反应层或处理层）构成，只有输出层的神经元具有信息处理功能；单层感知机模型只能解决线性可分的分类问题。
多层感知机模型由感知层S 、连接层A 、反应层R 构成，其中隐含层和输出层的神经元均具有信息处理功能；多层感知机模型能够解决线性不可分的分类问题，但只能调节一层连接权值，一般情况下由感知层至连接层的连接权值固定，而连接层至反应层的连接权值可调。
2. 感知机学习算法中是如何调整连接权值的？在感知机学习算法中，学习信号等于神经元的期望输出与实际响应（f (⋅)函数通常为阈值型函数）之差，调整神经元i 到神经元j 之间的输入连接权值w ij 的方法是)]()[()()1()(X f n n n n W d x w w w Tj j i ij ij ij -=-+=∆η其中η为学习速率，x i 为节点i 的输出，它是提供给节点j 的输入之一。
详见3.1.3节。
3. 试使用符号函数作为感知机模型的转移函数完成例3.1。
采用符号函数时，逻辑“与”的真值表如下：x 1x 2 T -1-1 -1 -11 -1 1-1 -1 1 1 1设输出层单元的阈值θ=0.042，输入层至输出层连接的初始权值分别为w 1=0.038，w 2=0.044，学习训练速率α=0.015，β=0.006。
若以X 表示输入，Y 表示输出，D 表示期望输出，e 表示误差，符号函数作为转移函数，则该感知机模型的学习训练过程如下：t =0 W (0) = (0,038,0.044)T θ(0) = 0.042t =1 X 1 = (-1,-1)T ，y 1 = f (w 1x 11+w 2x 21-θ) =f (-0.124) =-1， d 1=-1，e 1= 0∴ W (1)=(0.038,0.044)T +0.015•1•(0,0)T =(0.038,0.044)Tθ(1) = 0.042+0.006•0=0.042t =2 X 2 = (-1,1)T ，y 2 = f (w 1x 12+w 2x 22-θ)=f (-0.036) =-1， d 2=-1，e 2= 0∴ W (2)=(0.038,0.044)T +0.015•0•(0,1)T =(0.038,0.044)Tθ(2) = 0.042+0.006•0=0.042t =3 X 3 = (1,-1)T ，y 3 = f (w 1x 13+w 2x 23-θ)=f (-0.048)=-1， d 3=-1，e 3= 0∴ W (3)=(0.038,0.044)，θ(3) = 0.042t =4 X 4 = (1,1)T ，y 4 = f (w 1x 14+w 2x 24-θ)=f (0.040)=1， d 4=1，e 4=0∴ W (4)=(0.038,0.044)，θ(4) = 0.042经过4次迭代后，输出层处理单元的实际输出与期望输出之间的误差达到最小值0，连接权值也保持不变，因此学习训练过程结束，4. 感知机模型的局限性有哪些？应如何解决？局限性一：单层感知机模型仅对线性可分问题具有分类能力。
_人工神经网络习题解答
第九章 人工神经网络9.1答：（1）误差纠正学习；∆wkj = ηek(n)xj(n)；yk (n )为输入xk (n )时，神经元k 在n 时刻的实际输出，dk (n )表示应有的输出（可由训练样本给出）；其中η为学习步长，这就是通常所说的误差纠正学习规则（或称delta 学习规则）。
（2）Hebb 学习；∆wkj(n) = F(yk(n),xj(n))；当某一突触（连接）两端的神经元同步激活（同为激活或同为抑制）时，该连接的强度应为增强，反之应减弱；由于Δwkj 与yk (n )，xj (n )的相关成比例，有时称为相关学习规则。
（3）竞争（Competitive ）学习；若神经元j 竞争获胜 若神经元j 竞争失败；在竞争学习时，网络各输出单元互相竞争，最后达到只有一个最强者激活，最常见的一种情况是输出神经元之间有侧向抑制性连接，这样原来输出单元中如有某一单元较强，则它将获胜并抑制其它单元，最后只有此强者处于激活状态。
9.2答：略9.3答：B-P 算法的学习过程如下：（1）选择一组训练样例，每一个样例由输入信息和期望的输出结果两部分组成。
（2）从训练样例集中取一样例，把输入信息输入到网络中。
（3）分别计算经神经元处理后的各层节点的输出。
（4）计算网络的实际输出和期望输出的误差。
（5）从输出层反向计算到第一个隐层，并按照某种能使误差向减小方向发展的原则，调整网络中各神经元的连接权值。
（6）对训练样例集中的每一个样例重复（3）—（5）的步骤，直到对整个训练样例集的误差达到要求时为止。
()⎩⎨⎧-=∆,0,ji i ji w x w η文件头:#include <stdio.h>#include <stdlib.h>#include <math.h>#include "UTLab.h"//BP神经网络#define n1 7 //输入节点数#define n2 11 //中间层节点个数#define n3 5 //输出节点数#define m 400 //学习次数void initialization(){}float bpnet(float tension, float inthick,float outthick, float meng, float tan,float ping,float tu) {float in1[n1];float out1[n2];float out2[n3];float w1[n2][n1];float w2[n3][n2];float a1[n2];float a2[n3];float t[n3];float df1[n2];float df2[n3];float s2[n3];float s1[n2];float w[n2][n3];float z[n2][n3];float a=0.5;int i=0;int j=0;int k=0;int n=0;in1[1]=tension;in1[2]=inthick;in1[3]=outthick;in1[4]=meng;in1[5]=tan;in1[6]=ping;in1[7]=tu;initialization();for(n=1;n<=m;k++){for(i=1;i<=n2;i++){for(j=1;j<=n1;j++){a1[j]=a1[j]+w1[i][j]*in1[j];out1[j]=sigmoid(a1[j]);}}for(i=1;i<=n3;i++){for(j=1;j<=n2;j++){a2[j]=a2[j]+w2[i][j]文件尾:*in1[j];out2[j]=a2[j];}}for(i=1;i<=n3;i++){ //计算敏感度,更新权值df2[i]=1;s2[i]=-2*(t[i]-out2[i]);for(j=1;j<=n2;j++){w2[i][j]=w2[i][j]+a*out1[j];}}for(i=1;i<=n3;i++){for(j=1;j<=n2;j++){w[j][i]=w2[i][j];}}for(j=1;j<=n2;j++){df1[j]=(1-out1[j])*out1[j];s1[j]=0;for(i=1;i<=n3;i++){z[j][i]=df1[j]*w[j][i];s1[j]=s1[j]+z[j][i]*s2[i];}}for(j=1;j<=n2;j++){for(k=1;k<=n1;k++){w1[j][k]=w1[j][k]+a*s1[j]*in1[k];}}}return out2[n3];}void main(){}9.4答：略9.5答：Hopfield网络是一个单层回归自联想记忆网络。
神经网络考试重点全解
神经网络考试重点1、熵和信息的关系、性质，什么叫熵，条件熵、联合熵、互信息之间的关系，K-L 散度的定义（K-L 极小等于极大似然估计）。
第十章答：熵H(X)：表示每一个消息所携带的信息的平均量。
在H(X)中X 不是H(X)的变量，而是一个随机变量的标记。
条件熵：给定Y 时X 的条件熵为H(X|Y)=H(X,Y)—H(Y) 具有性质：0<=H(X|Y)<=H(X)条件熵H(X|Y)表示在观测到系统输出Y 后，对X 保留的不确定性度量。
H(X,Y)是X 和Y 的联合熵，由∑∑∈∈=X Yy ),(log ),(-Y H(X,x y x p y x p ）定义，其中，p(x,y)是离散随机变量X 和Y 的联合概率质量函数，而x 和y 表示它们各自的字母表。
互信息：I(X;Y)=H(X)—H(X|Y)=∑∑∈∈⎪⎪⎭⎫ ⎝⎛X Yy )()(),(log ),(x y p x p y x p y x p 熵是互信息的一个特例。
熵H(X)表示在没有观测系统输出前我们对系统输入的不确定性，条件熵H(X|Y)表示在观测到系统输出后对系统的不确定性，差H(X)—H(X|Y)表示观察到系统输出之后我们对系统输入的不确定性的减少。
信息的属性：（1）X 和Y 的互信息具有对称性：I(X;Y)=I(Y;X) （2）X 和Y 的互信息总是非负的：0Y)I(X;≥（3）X 和Y 的互信息也可以用Y 的熵表示为：I(X;Y)=H(Y)—H(Y|X) 定义)(X f x 和)(X g x 的K-L 散度为：dx X g X f X f g D x x x x f x ⎰∞∞-⎪⎪⎭⎫ ⎝⎛=)()(log )(I(X;Y)=Y X f f |D Y X,f总的来说，X 和Y 之间的互信息等于联合概率密度函数),(,y x f Y X 以及概率密度函数)(X f x 和)(Y f y 的乘积的K-L 散度。
2、ICA 原理，推导过程、数学模型、降维。
人工神经网络算法(基础精讲)
*
1.6激活函数
神经元的描述有多种，其区别在于采用了不同的激活函数，不同的激活函数决定神经元的不同输出特性，常用的激活函数有如下几种类型：
*
1.6激活函数
当f（x）取0或1时，
阈值型激活函数 阈值型激活函数是最简单的，前面提到的M-P模型就属于这一类。其输出状态取二值（1、0或+1、-1），分别代表神经元的兴奋和抑制。
突触结构示意图
1
2
1.3生物神经元的信息处理机理
神经元的兴奋与抑制 当传入神经元冲动，经整和使细胞膜电位升高，超过动作电位的阈值时，为兴奋状态，产生神经冲动，由轴突经神经末稍传出。当传入神经元的冲动，经整和，使细胞膜电位降低，低于阈值时，为抑制状态，不产生神经冲动。
*
1.4生物神经元的特点
*
2.2学习方法
无导师学习也称无监督学习。在学习过程中，需要不断地给网络提供动态输入信息（学习样本），而不提供理想的输出，网络根据特有的学习规则，在输入信息流中发现任何可能存在的模式和规律，同时能根据网络的功能和输入调整权值。
②无导师学习
灌输式学习是指将网络设计成记忆特别的例子，以后当给定有关该例子的输入信息时，例子便被回忆起来。灌输式学习中网络的权值不是通过训练逐渐形成的，而是通过某种设计方法得到的。权值一旦设计好，即一次性“灌输给神经网络不再变动，因此网络对权值的”“学习”是“死记硬背”式的，而不是训练式的。
*
1.6激活函数
概率型激活函数 概率型激活函数的神经元模型输入和输出的关系是不确定的，需要一种随机函数来描述输出状态为1或为0的概率，设神经元输出（状态）为1的概率为：
人工神经网络复习题解读
人工神经网络复习题解读《神经网络原理》一、填空题1、从系统的观点讲，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应、非线性、动力学系统。
2、神经网络的基本特性有拓扑性、学习性和稳定收敛性。
3、神经网络按结构可分为前馈网络和反馈网络，按性能可分为离散型和连续型，按学习方式可分为有导师和无导师。
4、神经网络研究的发展大致经过了四个阶段。
5、网络稳定性指从t=0时刻初态开始，到t时刻后v(t+△t)=v(t)，(t>0)，称网络稳定。
6、联想的形式有两种，它们分是自联想和异联想。
7、存储容量指网络稳定点的个数，提高存储容量的途径一是改进网络的拓扑结构，二是改进学习方法。
8、非稳定吸引子有两种状态，一是有限环状态，二是混沌状态。
9、神经元分兴奋性神经元和抑制性神经元。
10、汉明距离指两个向量中对应元素不同的个数。
二、简答题1、人工神经元网络的特点？答：（1）、信息分布存储和容错性。
（2）、大规模并行协同处理。
（3）、自学习、自组织和自适应。
（4）、人工神经元网络是大量的神经元的集体行为，表现为复杂的非线性动力学特性。
（5）人式神经元网络具有不适合高精度计算、学习算法和网络设计没有统一标准等局限性。
2、单个神经元的动作特征有哪些？答：单个神经元的动作特征有：（1）、空间相加性；（2）、时间相加性；（3）、阈值作用；（4）、不应期；（5）、可塑性；（6）疲劳。
3、怎样描述动力学系统？答：对于离散时间系统，用一组一阶差分方程来描述：X(t+1)=F[X(t)]；对于连续时间系统，用一阶微分方程来描述：dU(t)/dt=F[U(t)]。
4、F(x)与x 的关系如下图，试述它们分别有几个平衡状态，是否为稳定的平衡状态？答：在图（1）中，有两个平衡状态a 、b ，其中，在a 点曲线斜率|F ’(X)|>1，为非稳定平稳状态；在b 点曲线斜率|F ’(X)|<1，为稳定平稳状态。
人工神经网络算法基础精讲 不看后悔!!!共69页文档
谢谢你的阅读
❖ 知识就是财富 ❖ 丰富你的人生
71、既然我已经踏上这条道路，那么，任何东西都不应妨碍我沿着这条路走下去。——康德 72、家庭成为快乐的种子在外也不致成为障碍物但在旅行之际却是夜间的伴侣。——西塞罗 73、坚持意志伟大的事业需要始终不渝的精神。——伏尔泰 74、路漫漫其修道远，吾将上下而求索。——屈原 75、内外相应，言行相称。——韩非
人工神经网络算法基础精讲 不看后悔!!!
56、极端的法规，就是极端的不公。 ——西 塞罗 57、法律一旦成为人们的需要，人们 就不再 配享受 自由了 。—— 毕达哥 拉斯 58、法律规定的惩罚不是为了私人的 利益， 而是为 了公共 的利益 ；一部 分靠有 害的强 制，一 部分靠 榜样的 效力。 ——格 老秀斯 59、假如没有法律他们会更快乐的话 ，那么 法律作 为一件 无用之 物自己 就会消 灭。— —洛克
Байду номын сангаас
2020信息技术会考模拟真题内容人工神经网络
人工神经网络（Artificial Neural Network，即ANN ），是20世纪80 年代以来人工智能领域兴起的研究热点。
它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。
在工程与学术界也常直接简称为神经网络或类神经网络。
神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。
每个节点代表一种特定的输出函数，称为激励函数（activation function）。
每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。
网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。
而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。
人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。
它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。
人工神经网络具有四个基本特征：（1）非线性非线性关系是自然界的普遍特性。
大脑的智慧就是一种非线性现象。
人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性人工神经网络关系。
具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。
（2）非局限性一个神经网络通常由多个神经元广泛连接而成。
一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。
通过单元之间的大量连接模拟大脑的非局限性。
联想记忆是非局限性的典型例子。
（3）非常定性人工神经网络具有自适应、自组织、自学习能力。
神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。
经常采用迭代过程描写动力系统的演化过程。
（4）非凸性一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。
例如能量函数，它的极值相应于系统比较稳定的状态。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《神经网络原理》一、填空题1、从系统的观点讲，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应、非线性、动力学系统。
2、神经网络的基本特性有拓扑性、学习性和稳定收敛性。
3、神经网络按结构可分为前馈网络和反馈网络，按性能可分为离散型和连续型，按学习方式可分为有导师和无导师。
4、神经网络研究的发展大致经过了四个阶段。
5、网络稳定性指从t=0时刻初态开始，到t时刻后v(t+△t)=v(t)，(t>0)，称网络稳定。
6、联想的形式有两种，它们分是自联想和异联想。
7、存储容量指网络稳定点的个数，提高存储容量的途径一是改进网络的拓扑结构，二是改进学习方法。
8、非稳定吸引子有两种状态，一是有限环状态，二是混沌状态。
9、神经元分兴奋性神经元和抑制性神经元。
10、汉明距离指两个向量中对应元素不同的个数。
二、简答题1、人工神经元网络的特点？答：（1）、信息分布存储和容错性。
（2）、大规模并行协同处理。
（3）、自学习、自组织和自适应。
（4）、人工神经元网络是大量的神经元的集体行为，表现为复杂的非线性动力学特性。
（5）人式神经元网络具有不适合高精度计算、学习算法和网络设计没有统一标准等局限性。
2、单个神经元的动作特征有哪些？答：单个神经元的动作特征有：（1）、空间相加性；（2）、时间相加性；（3）、阈值作用；（4）、不应期；（5）、可塑性；（6）疲劳。
3、怎样描述动力学系统？答：对于离散时间系统，用一组一阶差分方程来描述：X(t+1)=F[X(t)]；对于连续时间系统，用一阶微分方程来描述：dU(t)/dt=F[U(t)]。
4、F(x)与x 的关系如下图，试述它们分别有几个平衡状态，是否为稳定的平衡状态？答：在图（1）中，有两个平衡状态a 、b ，其中，在a 点曲线斜率|F ’(X)|>1，为非稳定平稳状态；在b 点曲线斜率|F ’(X)|<1，为稳定平稳状态。
在图（2）中，有一个平稳状态a ，且在该点曲线斜率|F ’(X)|>1，为非稳定平稳状态。
X F(X)0 a b (1) X F(X) 0 a (2)5、对于单个神经元的离散模型，Hebb 学习假设是什么，基本学习方程是什么？答：对于单个神经元的离散模型，Hebb 学习假设是：只有当神经元兴奋时，与其连接的突触结合权才被强化而增大；当两个神经元同时处于兴奋状态时，它们之间的连接权应该加强。
基本学习方程是：j i ij ij ij x y n w n w w η=-+=∆)()1(6、联想形式中的自联想和异联想有何区别？答：自联想指的是由某种代表事物（或该事物的主要特征或可能是部分主在特征）联想到其所表示的实际事物。
其数学模型为：当输入X ＝X0+V 时，输出Y=X0。
异联想指的是由某一事物（或该事物的主要特征或可能是部分主在特征）联想到与其相关的另一事物。
其数学模型为：在映射X0→Y0下，当输入X ＝X0+V 时，输出Y=Y0。
7、网络的稳定吸引子和吸引子的吸引域分别指什么？答：当t=0时，对网络输入模式x ，网络处于状态v(0)，到时刻t 网络达到状态v(t)，若v(t)稳定，则称v(t)为网络的稳定吸引子。
吸引子的吸引域是指所有经过一定时间能够稳定在吸引子v(t)上的所有初始状态的集合。
三、论述题1、 前馈式神经元网络与反馈式神经元网络有何不同？答：（1）、前馈型神经元网络取连续或离散变量，一般不考虑输出与输入在时间上的滞后效应，只表达输出与输入的映射关系。
反馈式神经元网络可以用离散变量也可以用连续取值，考虑输出与输入之间在时间上和延迟，需要用动态方程来描述系统的模型。
（2）、前馈型网络的学习主要采用误差修正法（如BP 算法），计算过程一般比较慢，收敛速度也比较慢。
而反馈型网络主要采用Hebb 学习规则，一般情况下计算的收敛速度很快。
反馈网络也有类似于前馈网络的应用，例如用作联想记忆或分类，而在优化计算方面的应用更能显出反馈网络的特点。
2、 试述离散型Hopfield 神经元网络的结构及工作原理。
（1） Hopfield 神经元网络的结构如下：① 这种网络是一种单层网络，由n 个单元组成。
②每个神精元既是输入单元，又是输出单元；各节点一般选用相同的转移函数，且为符号函数，即： ③ 为网络的输入； 为网络的输出； 为网络在时刻t 的状态，其中t ∈{0，1，2，···} 为离散时间变量。
④Wij 为从Ni 到Nj 的连接权值，Hopfield 网络为对称的即有Wij = Wji 。
)sgn()()()(21x x f x f x f n==== {}nny y y y y 1,1),,,,(21+-∈= {}nn t v t v t v t v t v 1,1)()),(,),(),(()(21+-∈= {}nnx x x x x 1,1),,,,(21+-∈=（2）、工作原理：①、网络经过训练后，可以认为网络处于等待工作状态，对网络给定初始输入x 时，网络就处于特定的初始状态，由此初始状态开始运行，可以得到网络的下一个输出状态。
②、这个输出状态通过反馈回送到网络的输入端，作为网络下一个阶段的输入信号，这个输入信号可能与初始输入信号不同，由这个新的输入又可得到下一步的输出,如此重复。
③、如果网络是稳定的，经过若干次反馈运行后网络将会达到稳态。
④、Hopfield 网络的工作过程可用下式表示：N 1N 2 N n-1 N nx 1 x 2 x n-1 x ny 1 y 2 Y n-1 y n…V 1(t) V 2(t) V n-1(t) V n (t) w 21W n-1 2))(()1()0(1jn i i ij j j j j t v w f t v x v θ-∑=+==研究生神经网络试题A 卷参考答案 一、名词解释(共5题，每题5分，共计25分)1、泛化能力答：泛化能力又称推广能力，是机器学习中衡量学习机性能好坏的一个重要指标。
泛化能力主要是指经过训练得到的学习机对未来新加入的样本（即测试样本）数据进行正确预测的能力。
2、有监督学习答：有监督学习又被称为有导师学习，这种学习方式需要外界存在一个“教师”，她可以对一组给定输入提供应有的输出结果，学习系统可根据已知输出与实际输出之间的差值来调节系统参数。
3、过学习答：过学习（over-fitting ），也叫过拟和。
在机器学习中，由于学习机器过于复杂，尽管保证了分类精度很高（经验风险很小），但由于VC 维太大，所以期望风险仍然很高。
也就是说在某些情况下，训练误差最小反而可能导致对测试样本的学习性能不佳，发生了这种情况我们称学习机（比如神经网络）发生了过学习问题。
典型的过学习是多层前向网络的BP 算法4、Hebb 学习规则答：如果两个神经元同时兴奋(即同时被激活)，则它们之间的突触连接加强。
如果用i v 、j v 表示神经元i 和j 的激活值(输出)，ij ϖ表示两个神经元之间的连接权，则Hebb 学习规则可以表示为： ij i j w v v α∆= ，这里α表示学习速率。
Hebb 学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作Hebb 学习规则的变形。
5、自学习、自组织与自适应性答：神经网络结构上的特征是处理单元的高度并行性与分布性，这种特征使神经网络在信息处理方面具有信息的分布存储与并行计算而且存储与处理一体化的特点。
而这些特点必然给神经网络带来较快的处理速度和较强的容错能力。
能力方面的特征是神经网络的自学习、自组织与自性适应性。
自适应性是指一个系统能改变自身的性能以适应环境变化的能力，它包含自学习与自组织两层含义。
自学习是指当外界环境发生变化时，经过一段时间的训练或感知，神经网络能通过自动调整网络结构参数，使得对于给定输入能产生期望的输出。
自组织是指神经系统能在外部刺激下按一定规则调整神经元之间的突触连接，逐渐构建起神经网络。
也就是说自组织神经元的学习过程，完全是一种自我学习的过程，不存在外部教师的示教。
二、问答题（共7题，每题8分，共计56分）3、人工神经网络是模拟生物神经网络的产物，除相同点外，它们还存在哪些主要区别？答; 1．单元上的差别对于生物神经元而言，影响突触传递信息强度的因素很多、很复杂。
如突触前微细胞的大小与多少、神经传递化学物质含量的多少、神经传递化学物质释放的速度、突触间隙的变化、树突的位置与大小等诸多因素都会对突触电位产生影响，从而影响神经元的输出脉冲响应。
而人工神经元则忽略了这些影响，输入、输出关系十分简单。
2．信息上的差别生物神经元传递的信息是脉冲，而人工神经元传递的信息是模拟电压。
3．规模与智能上的差别目前，人工神经网络的规模还远小于生物神经网络，网络中神经元的数量一般在104个以下，显然，其智能也无法与生物神经网络相比。
4、感知器神经网络存在的主要缺陷是什么？答: 1)由于感知器的激活函数采用的是阀值函数，输出矢量只能取0或1，所以只能用它来解决简单的分类问题；2)感知器仅能够线性地将输入矢量进行分类。
理论上已经证明，只要输人矢量是线性可分的，感知器在有限的时间内总能达到目标矢量；3)感知器还有另外一个问题，当输入矢量中有一个数比其他数都大或小得很多时，可能导致较慢的收敛速度。
5、请比较前馈型神经网络与反馈型神经网络的异同点。
（8分）答：前馈型神经网络只表达输入输出之间的映射关系，实现非线性映射；反馈型神经网络考虑输入输出之间在时间上的延迟，需要用动态方程来描述，反馈型神经网络是一个非线性动力学系统。
(1)前馈型神经网络的学习训练主要采用BP算法，计算过程和收敛速度比较慢；反馈型神经网络的学习主要采用Hebb规则，一般情况下计算的收敛速度很快，并且它与电子电路有明显的对应关系，使得网络易于用硬件实现。
(2)前馈型神经网络学习训练的目的是快速收敛，一般用误差函数来判定其收敛程度；反馈型神经网络的学习目的是快速寻找到稳定点，一般用能量函数来判别是否趋于稳定点。
(3)两者都有局部极小问题。
6、BP算法的基本思想是什么，它存在哪些不足之处？（9分）答：BP算法（即反向传播法）的基本思想是：学习过程由信号的正向传播与误差的反向传播两个过程组成。
1）正向传播：输入样本－>输入层－>各隐层（处理）－>输出层注1：若输出层实际输出与期望输出（教师信号）不符，则转入2）（误差反向传播过程）2）误差反向传播：输出误差（某种形式）－>隐层（逐层）－>输入层其主要目的是通过将输出误差反传，将误差分摊给各层所有单元，从而获得各层单元的误差信号，进而修正各单元的权值（其过程，是一个权值调整的过程）。
注2：权值调整的过程，也就是网络的学习训练过程（学习也就是这么的由来，权值调整）。