矩阵论在神经网络中的应用详解

矩阵论论文论文题目：矩阵微分在BP神经网络中的应用姓名: 崔义新学号: 20140830院（系、部）: 数学与信息技术学院专业: 数学班级: 2014级数学研究生导师: 花强完成时间: 2015 年 6 月摘要矩阵微分是矩阵论中的一部分，是实数微分的扩展和推广.因此，矩阵微分具有与实数微分的相类似定义与性质.矩阵微分作为矩阵论中的基础部分，在许多领域都有应用，如矩阵函数求解，神经网络等等.BP网络，即反向传播网络(Back-Propagation Network）是一种多层前向反馈神经网络，它是将W-H学习规则一般化，对非线性可微分函数进行权值训练的多层网络. 它使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小.在其向前传播的过程中利用了矩阵的乘法原理，反传的过程中则是利用最速下降法，即沿着误差性能函数的负梯度方向进行，因此利用了矩阵微分.关键词:矩阵微分;BP神经网络;前 言矩阵微分(Matrix Differential)也称矩阵求导(Matrix Derivative)，在机器学习、图像处理、最优化等领域的公式推导过程中经常用到.本文将对各种形式下的矩阵微分进行详细的推导.BP （Back Propagation ）神经网络是1986年由Rumelhart 和McCelland 为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一.BP 网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程.它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小.BP 神经网络模型拓扑结构包括输入层（input ）、隐层(hiddenlayer)和输出层(outputlayer).BP (Back Propagation)神经网络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成.输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果.当实际输出与期望输出不符时，进入 误差的反向传播阶段. 误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传.周而复始的信息正向传播和 误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止.1 矩阵的微分1.1 相对于向量的微分的定义定义1 对于n 维向量函数，设函数 12 ()(,,,)n f f x x x =X 是以向量X 为自变量的数量函数，即以n 个变量 x i 为自变量的数量函数.我们将列向量 1n f x f x ∂⎡⎤⎢⎥∂⎢⎥⎢⎥⎢⎥∂⎢⎥⎢⎥∂⎣⎦叫做数量函数f 对列向量X 的导数，记作1n f x dff f d f x ∂⎡⎤⎢⎥∂⎢⎥= = =∇⎢⎥⎢⎥∂⎢⎥⎢⎥∂⎣⎦grad X12T n df f f f d x x x ⎡⎤∂∂∂=⎢⎥∂∂∂⎣⎦X （1.1）例1．求函数22212 ()T nf x x x =+++X X X = 对X 的导数 解：根据定义1112222n n n f x x x df d f x x x ∂⎡⎤⎢⎥∂⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥= = = =⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥∂⎣⎦⎣⎦⎢⎥⎢⎥∂⎣⎦X X 即 ()2T d d =X X X X 1.2相对于矩阵的微分的定义定义2设函数()f f =A 是以P×m 矩阵A 的P×m 元素i j a 为自变量的数量函数，简称以矩阵A 为自变量的数量函数.例如()()[]()32111211212223112122111211112122111Tf a a a a a a a a a a a a a f a a =+++++++⎛⎫⎛⎫= ==⎪⎪ ⎝⎭⎝⎭a A a A 11122122a a a a ⎛⎫ ⎪⎝⎭A =定义：P×m 矩阵1111()m i j p mp p m f f a a f d f a d f f a a ⎛⎫∂∂⎪∂∂ ⎪⎡⎤∂ ⎪==⎢⎥∂ ⎪⎢⎥⎣⎦∂∂ ⎪ ⎪∂∂⎝⎭A A （1.2） 称为数量函数f 对矩阵A 的导数，记作()d f d A A.例2：求()T f A =X AX 对矩阵A 的导数，其中向量X 是定常的，A 是对称的.解：[]1111222121111212122122221222()x a a f x x x a x x a x x a x a a a x ⎡⎤⎛⎫ =+++ ⎪⎢⎥⎝⎭⎣⎦A =根据定义有[]21112112112221222122()T f f a a x x x x df x x f f x d x x x a a ∂∂⎛⎫⎪⎡⎤∂∂ ⎡⎤ ⎪== =⎢⎥⎢⎥ ⎪∂∂ ⎢⎥⎣⎦⎣⎦ ⎪∂∂⎝⎭A =XX A即()=T dd T X A X X X A定义3如果矩阵()()()ij A t a t Cm n =∈⨯的每个元素()ij a t 都是t 的可微函数，则A(t )关于t 的导数(微商)定义为：()'()(())ij m n dA t dA t a t dt dt⨯== （1.3） 1.3复合函数的微分公式1 设()f f =Y ，()=Y Y X ，则T TT T d f d d fd d d d f d f d d d d ⎧=⎪⎪⎨⎪=⎪⎩Y XX Y Y X Y X （1.4） 证明：由给定条件有 T df df d d =⋅Y Y 和Td d d d =⋅Y Y X X 将上式结合起来T T T T T df d df df d df d d d d d d =⋅⋅=⋅Y Y X =>Y X X Y X公式2 设()f f =X,Y ，()=Y Y X ，则T T T T Td f f d fd d df df f d d d d ⎧∂∂=+⎪⎪∂∂⎨∂⎪=+⎪∂⎩Y X X X YY X X Y X （1.5）2 人工神经网络2.1 人工神经网络的定义定义4 人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统.它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理.人工神经网络（Artificial Neural Networks, ANN ）是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型.这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的.人工神经网络具有自学习和自适应的能力，可以通过预先提供的一批相互对应的输入－输出数据，分析掌握两者之间潜在的规律，最终根据这些规律，用新的输入数据来推算输出结果，这种学习分析的过程被称为“训练”.2.2 人工神经网络的模型由于人工神经网络是受生物神经网络的启发构造而成的，所以在开始讨论人工神经网络之前，有必要首先考虑人脑皮层神经系统的组成.科学研究发现，人的大脑中大约有100亿个生物神经元，它们通过60万亿个联接联成一个系统.每个神经元具有独立的接受、处理和传递电化学信号的能力.这种传递经由构成大脑通信系统的神经通路所完成.单个神经元处理一个事件需要310-s，而在硅芯片中处理一事件只需-910s.但人脑是一个非常高效的结构，大脑中每秒每个动作的能量约为1610-J.图1所示是生物神经元及其10-J，而当今性能最好的计算机进行相应的操作需要6相互联接的典型结构.图1：生物神经元及其相互联接的典型结构（1）生物神经元主要由树突、轴突、突触和细胞体组成.其中树突是由细胞体向外伸出的，有不规则的表面和许多较短的分支.树突相当于信号的输入端，用于接受神经冲动.（2）轴突是由细胞体向外伸出的最长的一条分支，即神经纤维，相当于信号的输出电缆.（3）突触是神经元之间通过轴突（输出）和树突（输入）相互联结点.（4）细胞体完成电化学信号整合与处理，当胞体中接受的累加刺激超过一个阈值时，胞体就被激发，此时它沿轴突通过树突向其它神经元发出信号.我们要构造一个人工神经网络系统，要从以下三个方面对生物神经网络进行模拟：（1）人工神经元（也简称为节点）本身的处理能力；（2）节点与节点之间连接（人工神经网络拓扑结构）；（3）节点与节点之间连接的强度（通过学习算法来调整）. 因此，首要任务是构造人工神经元模型.对于每一个人工神经元来说，它可以接受一组来自系统中其它神经元的输入信号，每 个输入对应一个权，所有输入的加权和决定该神经元的激活状态.这里，每个权就相当于突触的“联接强度”.基本模型如下图2.图中i y 是第i 个神经元的输出，它可与其他多个神经元通过权连接：1,...,,...,j n u u u 分别指与第i 个神经元连接的其他神经元输出；1,...,,...,i ji ni w w w 分别是指其他神经元与第i 个神经元连接的权值；i 是指第i 个神经元的阈值；i x 是第i 个神经元的净输入；()i f x 是非线性函数，称为输出函数或激活函数.激活函数常有以下几种行放大处理或限制在一个适当的范围内.典型的激活函数有符号函数、阶跃函数、S 型函数等.目前，已有的人工神经网络模型至少有几十种，其分类方法也有多种.例如，若按网络拓扑结构，可分为无反馈网络与有反馈网络；若按网络的学习方法，可分为有导师的学习网络和无导师的学习网络；若按网络的性能，可分为连续型网络与离散型网络，或分为确定性网络与随机型网络；若按突触连接的性质，可分为一阶线性关联网络与高阶非线性关联网络.2.3 BP 人工神经网络模型1986年Rumelhart ，Hinton 和Williams 完整而简明地提出一种ANN 的误差反向传播训练算法（简称BP 算法），系统地解决了多层网络中隐含单元连接权的学习问题，由此算法构成的网络我们称为BP 网络.BP 网络是前向反馈网络的一种，也是当前应用最为广泛的一种网络.误差反传算法的主要思想是把学习过程分为两个阶段：第一阶段（正向传播过程），给出输入信息通过输入层经隐含层处理并计算每个单元的实际输出值；第二阶段（反向过程），若在输出层未能得到期望的输出值，则逐层递归地计算实际输出与期望输出之差值（即误差），以便根据此差值调节权值，具体来说，就是可对每一权重计算出接收单元的图2：人工神经网络基本模型误差值与发送单元的激活值的积.基于BP 算法的多层前馈型网络的结构如图3所示.2.4 BP 人工神经网络基本算法公式推导为了方便理解，不妨设含有共L 层和n 个节点的任意一个三层BP 神经网络，每层单位元只接受前一层的输出信息并输出给下一层各单元，各单位元的特性为Sigmoid 型（它是连续可微的，且值域在0-1之间）.设给定N 个样本(,)(1,2,...,)k k x y k N =,任一节点i 的输出为i O ，对某一个输入为k x ，网络的输出为k y ，节点i 的输出为ik O 。