神经网络期末报告

学习报告——

基于信息论的神经网络模型

专业：计算数学

班级：数学二班

学号：*********

姓名：***

本报告主要分为两个部分，第一部分主要是对神经网络做一个整体的论述，阐述神经元的模型基理和特点，第二部分则是利用信息论的知识来研究神经元信号传递过程中，在有外界噪声的干扰下，如何保证信息最终能够达到最大输出。第三部分列举了一个拟合图像的算例，用于对比不同算法对噪声的敏感程度。

1 神经网络概述

1.1人工神经网络的概念

人工神经网络（Artificial Neural Networks，ANNs），是人脑或自然神经网络对信息感知与处理等智能行为的抽象和模拟，是一种分布式并行处理系统，它具有自组织、自学习、自适应和非线性动态处理的特性。可以实现人脑的概括、类比和推广能力，因而可以从大量数据中提取所需要的信息，通过联想记忆和推理等能力来获取所需要的数据。目前，已经开发和应用的神经网络有30多种，比较典型的有以下几种：感知器（Perceptron），多层感知器（MLP），BP前向网络，Hopfield网络和竞争型（Kohonen）神经网络。可以说人工神经网络就是模拟人思维的第二种方式。

1.2 人工神经网络的工作原理及特点

人工神经网络是由大量的简单基本元件——神经元相互联接而成的自适应非线性动态系统。每个神经元的结构和功能比较简单，但大量神经元组合产生的系统行为却非常复杂。人工神经网络首先要以一定的学习准则进行学习，然后才能工作,它反映了人脑功能的若干基本特性，但并非生物系统的逼真描述，只是某种模仿、简化和抽象。与数字计算机比较，人工神经网络在构成原理和功能特点等方面更加接近人脑，它不是按给定的程序一步一步地执行运算，而是能够自身适应环境、总结规律、完成某种运算、识别和过程控制。人工神经网络吸取了生物神经网络的许多优点，因而有其固有的特点：

（1）高度的并行性

人工神经网络由许多相同的简单处理单元并列组合而成，虽然每个单元的结构和功能比较简单，但大量简单处理单元的并行行动，使其对信息的处理能力与效果惊人。

（2）高度的非线性全局作用

当对系统对于设计人员来说，很透彻或者很清楚时，则一般利用数值分析，偏微分方程等数学工具建立精确的数学模型，但当对系统很复杂，或者系统未知，系统信息量很少时，建立精确的数学模型很困难时，神经网络的非线性映射能力则表现出优势，因为它不需要对系统进行透彻的了解，但是同时能达到输入与输出的映射关系，这就大大简化设计的难度。

（3）良好的容错性与联想记忆能力

人工神经网络通过自身的网络结构能够实现对信息的记忆，所记忆的信息存储在神经元之间的权值中。从单个权值中看不出所存储的信息内容，因而是分布式的存储方式。这使得网络具有良好的容错性，并能进行聚类分析、特征提取、等模式信息处理工作：又宜于做模式分类、模式联想等模式识别工作。

（4）十分强的自适应、自学习功能

人工神经网络可以通过训练和学习来获得网络的权值和结构，呈现出很强的自学习能力和对环境的自适应能力。

1.3人工神经元模型

作为NN的基本单元的神经元模型，它有三个基本要素：

（1）一组连接（对应于生物神经元的突触），连接强度由各连接上的权值来表示，权值为正表示激活，为负表示抑制。

（2）一个求和单元，用于求取各输入信号的加权和（线性组合）。

（3）一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一定范围内（一般限制在（0,1）或（-1,1）之间）。

，如图1所示

此外还有一个阈值

k

输入信号

连接权

阈值

1

x 2

x p

x k

y 图1 基本神经元模型

图形中的各个作用可用数学式子表示：

1,,()

p

k kj j k k k k k k j u w x v net u y v θϕ====-=∑

式中12,,,p x x x 为输入信号，12,,

,k k kp

w w w 为神经元的权值，

k u 为线性组合结

果，k θ为阈值，()ϕ⋅为激活函数，k y 为神经元的输出。

2 基于信息论的神经网络模型

2.1信息论简介

信息论是通信的数学基础，它是随着通信技术的发展而形成和发展起来的一门新兴横断学科。信息论创立标志是1948年Claude Shannon(香农)发表论文“A Mathematical Theory of Communication ”。在这篇文章中香农创造性的采用概率论的方法来研究通信中的问题，并且对信息给予了科学的定量描述，第一次提出了信息熵的概念。

1928年，哈特莱(Hartley)首先提出了用对数度量信息的概念。一个消息所含有的信息量用它的可能值的个数的对数来表示。 信息的度量方式主要有以下几种：

1.自信息：一个事件(消息)本身所包含的信息量，它是由事件的不确定性决定的。随机事件的自信息量

()

i I x 是该事件发生概率

()

i p x 的函数，并且应该满

足以下公理化条件：

（1）()i I x 是()i p x 的严格递减函数。即概率越小，事件发生的不确定性越大，

事件发生后所包含的自信息量越大。 （2）极限情况下当

()0

i p x =时，

()i I x →∞

；当

()1

i p x =时，

()0

i I x =。

（3）另外，从直观概念上讲，由两个相对独立的不同的消息所提供的 信息量应等于它们分别提供的信息量之和。

可以证明，满足以上公理化条件的函数形式是对数形式。 2.平均自信息（信息熵）：随机变量X 的每一个可能取值的自信息()

i I x 的统计平

均值定义为随机变量X 的平均自信息量：

()[()]log K

i k k

k K H x E I x P P =-==-∑

这里考虑离散随机变量X 从-K 取到+K 间2K+1个可能值，k

x x =出现的概率为

(),01,

1

K

k k k k

k K

P P x x P P

=-==≤≤=∑

()

H x 是一个系统的不确定性的度量

（1）当对某一k ，1

k P =时，则取其他值的概率均为0，这时完全确定，即为0，

（2）当取任何一个值得概率均相等时，不确定性最大，事实上，由柯西不等式

()log K

k k k K P P =--≤∑等式成立的条件为，当且仅当

1

21

2log log log log K

K

K

K

P P P P P P P P ------=

=

===

时，等式成立，所以对于2K+1个可能值得随机变量来说

0()log(21)H x K ≤≤+