人工神经网络学习总结笔记

人工神经网络学习总结笔记

主要侧重点：

1.概念清晰

2.进行必要的查询时能从书本上找到答案

第一章：绪论

1.1人工神经网络的概述

“认识脑”和“仿脑”：人工智能科学家在了解人脑的工作机理和思维的本质的基础上，探索具有人类智慧的人工智能系统，以模拟延伸和扩展脑功能。我认为这是人工神经网络研究的前身。

形象思维：不易被模拟

人脑思维抽象推理

逻辑思维：过程：信息概念最终结果

特点：按串行模式

人脑与计算机信息处理能力的不同点：

方面类型人脑计算机

记忆与联想能力可存储大量信息，对信息有

筛选、回忆、巩固的联想记

忆能力无回忆与联想能力，只可存取信息

学习与认知能力具备该能力无该能力

信息加工能力具有信息加工能力可认识

事物的本质与规律仅限于二值逻辑，有形式逻辑能力，缺乏辩证逻辑能力

信息综合能力可以对知识进行归纳类比

和概括，是一种对信息进行

逻辑加工和非逻辑加工相

结合的过程

缺乏该能力

信息处理速度数值处理等只需串行算法就能解决的应用问题方便，计算

机比人脑快，但计算机在处理文字图像、声音等类信息的

能力远不如人脑

1.1.2人脑与计算机信息处理机制的比较

人脑与计算机处理能力的差异最根本的原因就是信息处理机制的不同，主要有四个方面

方面类型人脑计算机

系统结构有数百亿神经元组成的神经

网络由二值逻辑门电路构成的按串行方式工作的逻辑机器

信号形式模拟量（特点：具有模糊性。离散的二进制数和二值逻辑容易被机器模拟的思维方式

难以被机器模拟）和脉冲两种

形式

形式

信息储存人脑中的信息分布存储于整个系统，所存储的信息是联想式

的

有限集中的串行处理机制信息处理机制高度并行的非线性信息处理系统

（体现在结构上、信息存储上、信

息处理的运行过程中）

1.1.3

人工神经网络的概念：在对人脑神经网络的基本认识的基础上，用数理方法从信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，称之为人工神经网络，是对人脑的简化、抽象以及模拟，是一种旨在模仿人脑结构及其功能的信息处理系统。

其他定义：由非常多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，外部输入信息之后，系统产生动态响应从而处理信息。

它是由许多简单的并行工作的处理单元组成的系统，其功能会因网络结构、连接强度以及各单元的处理方式的不同而不同

1.3神经网络的基本特点与功能

基本特点：1、结构特点：信息处理的并行性、信息存储的分布性、信息处理单元的互联性、结构的可塑性。神经网络内在的并行性与分布性表现在其信息的存储于处理都是空间上分布、时间上并行的。

2、性能特点：高度的非线性、良好的容错性和计算的非精确性。

3、能力特征：自学习、自组织（重构）与自适应性。

神经网络的基本功能：1、联想记忆：自联想记忆与异联想记忆

2、非线性映射

3、分类与识别

4、优化计算

5、知识处理

第二章人工神经网络建模基础

2.1～2.2 讲述了生物神经系统以及生物神经网络的建模基础

神经元所产生的信息是具有电脉冲形式的神经冲动，脉冲的宽度和幅度相同，但是间隔是随机变化的。

人脑中，外界的刺激不同可以改变神经元之间的突触关系，即突触厚膜电位的方向以及大小，从突触信息传递的角度来看，表现为放大倍数和极性的变化。

空间整合的概念（BP29）信息整合这一段中

阀值特性：我认为阀值特性即静息电位必须上升到一定数值范围即超过阀值电位之后，神经元才会产生兴奋，信息才能以脉冲的形式得到传递。

所谓的时间整合，如果由一个脉冲所引起的突触膜后电位很小，只有在持续时间内当另一脉冲到达的时候，总的突触膜后电位增大。

2.3 人工神经元模型

人工神经网络是在现代神经生物学研究基础上提出的模拟生物的过程，反映人脑某些特性的一种计算结构，是人脑神经系统的一种抽象、简化和模拟而不是对它的真实描写。神经网络的基本器件是神经元和突触。人工神经网络当中的神经元是处理单元，也称之为节点。人工神经元是对生物神经元的信息处理过程的抽象模拟，通过数学语言对其进行描述，对其结构和功能进行模拟，用模型图予以表达。

2.3.1 神经元的建模

其建模的六点假设（BP30）

加权系数的概念：又称之为权重值，其正负模拟了神经元当中的兴奋和抑制，大小呢模拟了突触之间的不同连接强度。

整合之后的信息相当于生物神经网络当中的膜电位，整合之后的信息通过变换函数可以得出输出以后的信息大小，这个变换函数通常是非线性的。所谓的变换函数我认为它是表征了不同的信息处理特性，反映神经元输入与激活状态之间的关系。

2.3.2神经元的数学模型（BP31）

神经元的状态表达式（BP31式2.1 2.2 为最基本的表达方式），这个表达式清晰地反映了神经元建模的6种假设。其中，输出o j下标体现了多输入，单输出。权重w ij的正负体现了突触的兴奋与抑制，T j代表了阀值特性，输入的总和为信息的净输入，常用net j或是net j’来表示，只有净输入大于阀值的时候，神经元才能被激活，输出值与输入值之间的单位时差则体现了假定当中的突触延搁，而权重值（也就是代表突触之间的连接强度）与时间无关体现了假定当中的第六点神经元本来是非时变的。用向量的关系来表示净输入：net j=w j T X 下表是从0开始的。神经元的模型表达式为o j=f(net j)=f(w j T X)

2.3.3神经元的变换函数

本节讲述了四种不同的变换函数，分别是阀值型变换函数，非线性变换函数（单极以及双极的Sigmoid函数，即s型函数），分段线性变换函数，概率型变换函数。（其公式在BP32 ～BP33）

2.4人工神经网络模型

人工神经网络模型可以按照网络连接的拓扑结构（神经元间的联系方式）分类，还有内部信息流向。

单纯型层次网络结构，定义见BP35（就是说每一层的神经元只

接受来自上一层的信息，并且只负责把信息传递到下一层，神经元内部

以及各个神经元之间没有信息交流)也可称为前馈层次型

层次型结构输入层与输出层之间有连接的层次网络结构，与上一种结构不同的是，输

入层神经单元具有信息处理功能，也可称为输入输出有反馈的前馈层次型

层内有互联的层次网络结构，与第一种结构不同的是这一种结构的同一层

神经元之间有互联，也可称为前馈层内互联型

拓扑结构

（1）全互联型，网络中每个节点都与所有其他节点相连接，

也可称为反馈前互联型

互连型结构（2）局部互联型，网络中每个节点只与其邻近节点相连接，

也可称为反馈局部互联型

（3）稀疏连接性，网络节点只与少数相距较远的节点相连接

前馈型网络：单纯前馈型与单纯型层次网络结构完全相同网络信息流向型

反馈型网络：单纯反馈型网络与输入层与输出层之间有连接的层次网络结

构完全相同

（按功能分成若

干层，包括输入

层，隐层，输出

层）

网络中任意两个

节点之间都可能

存在连接路径，

根据互联程度对

这种结构进行划