实神经网络的代数算法研究和分析

0 引言 多层前馈人工神经网络在众多领域中得到了广泛应用。然而，由于这种算法 采用的是误差函数的梯度下降优化方法，因而不可避免的存在局部极小问题、收 敛对初值敏感问题及收敛速度慢问题。 一些学者围绕 BP 算法的这些缺点展开了一系列研究，如改变学习率、加惯 性项等，虽在一定程度上使 BP 算法改善了，但不能从本质上克服这些缺点，因 而其应用受到了限制。 本文认真研究了有的学者提出的实神经网络的代数算法[1]，这是一种基于三 层神经网络的新算法，采用与 BP 算法完全不同的新思想，该种算法比 BP 算法 更容易求得全局最优点，可以证明代数算法比 BP 算法要优越得多，应用更广。 1 BP 算法的主要缺点 BP 算法缺点除了收敛问题和局部极小外最突出的就是规模受限问题。 一个算法的渐进时间复杂性函数是衡量算法时间效率高低的重要标准。 算法 改进的一个重要目标就是要降低渐进时间复杂性， 这能大大提高计算机处理问题 的规模。而对于空间复杂性也有类似的结论。 一个问题的渐进时间复杂性的下确界与这个问题本身有关，通常难以确定。 达到下确界的算法称为最佳算法。一个问题的最佳算法通常是很难确定的。 BP 算法的渐进时间复杂性是何种表达式目前尚未见到理论上的报道。由于 BP 算法是以梯度下降法为核心思想，有的学者也提出过梯度下降法是否存在以 多项式函数为界的算法的疑问。 由于 BP 算法的以上问题， 严重阻碍了前馈网络训练理论的发展和工程应用。 而本文要研究的代数算法， 将复杂的非线性优化问题转化为一组线性代数方程来 求解，可以直接得到全局最优点，不存在陷入局部极小的问题。 2 代数算法基本原理和理论 该算法以三层前馈网络为例， 之所以如此是因为三层神经网络可以实现代价 函数为 0 的精确映射。并且假设输入、输出层的神经元个数分别等于输入、输出 样本向量的维数，且神经元的变换关系为恒等变换。隐层神经元的变换函数为非
实神经网络的代数算法研究和分析
Researches about Algebra Algorithm of Real Neural Net 摘 要：人工神经网络中的 BP 算法虽应用广泛，但其缺点很多。本文认真研究 了有的学者提出的针对 BP 算法缺点提出的代数算法，该算法有比 BP 算法精度 高、时间复杂性小等优点。最后通过两种算法的对比说明代数算法的优越性。 关键字：BP 算法；代数算法；时间复杂性 Abstract: BP algorithm of the artificial neural net is used widely, but it has many disadvantages. The article introduced the algebra algorithm which brought out by some scholars, the algebra algorithm is better than BP algorithm in many aspects, just like higher precision and lower time-complexity. Finally, the article compared the two algorithms to prove the advantages of the algebra algorithm. Key words: BP algorithm; algebra algorithm ; time-complexity
x0 p 、 z 2 p p 1,2 , N 的维数分别为 m 、 n ， x 0 p x0 q （当 p q ， p 1,2 , N ，
q 1,2 , N ） ，如果神经网络的输入输出层的神经元个数分别等于输入输出样本
向量的维数，且神经元的变换关系为恒等变换 f x x ，隐层神经元个数等于样 本总数 N ，隐层神经元的变换关系 f x 为类支集函数，则存在三层前馈网络使 J min
p 1,2,,100 。结果如下表（采用 Sigmoid 函数为隐层神经元） ：
方法 代数算法
BP 算法
表 1 代数算法和 BP 算法的对比 隐层神经元个数 20 60 47.02 993.3 精度 J 10 30 0.6 13.6 耗时秒 精度 J 0.12 1.35 耗时秒 112.3 365.0
100 3233.5 45.5 2.45 848.5
4 结论 可从上面表中看出，代数算法计算精度比 BP 高很多，而所用时间少很多， 时间复杂性方面的优势就显现出来了。总起来，代数算法具有很高的精度，较快 的运算速度，能在网络训练之前就可根据给定的问题确定隐层神经元的个数，都 是比 BP 算法优越的地方。 参考文献: [1]张代远.神经网络新理论与方法[M].北京:清华大学出版社,2006 [2]何勇, 李晓丽, 绍咏妮. 基于主成分分析和神经网络的近红外光谱苹果品种鉴别 方法研究[J].光谱学与光谱分析,2006(5),26:850-853 [3]黄华,罗四维,刘蕴辉,李爱军.人工神经网络知识增值性分析[J].计算机研究与发 展,2005,42(2):224-229 [4] 韩彦峰 , 段向前 . 人工神经网络在数据挖掘中的应用 [J]. 西安建筑科技大学学 报,2005,37(1):121-124
有 f x 。 训练后的网络应使如下代价函数取极小值： J min 式中
2 F
Y Z2
Y Z2
F
是Y
Z 2 的 Frobenius 范数。
~
定理 1 如果三层神经网络隐层变换函数 f x 是 x c 类支集函数，并假设输 入样本中的任意两个都彼此不相等，则必存在自由权值 W 0 （输入层和隐层之间 的权值） ，使隐层输入矩阵 Y1 严格对角占优[1]。 应该指出的是，严格对角占优的线性方程组有很多优越性，它可以用很多方 法，如直接法或迭代法求解。当用迭代法求解时，它对任何初值都是收敛的，而 且这样方程组是良态的。可提高网络的抗噪声能力。 定理 2 对任意给定的样本对 X 0 x 01 , x 02 , , x0 N ， Z 2 z 21 , z 22 , , z 2 N ，
Y Z2
2 F
0 ，或者说，映射 M : X 2 Z 2 对于训练过的样本来说，是
无误差的精确映射。 3 与 BP 算法的比较 输入样本按以下公式计算：
x n1
百度文库
xn a
0 xn a a xn 1
T
1 xn 1 a
其中： a 0.2 ，取初值 x1 0.3 。样本为： x p x p , x p 1 , x p 2 ， z p x p 3 ，
线性函数。 为了神经网络训练的稳定性， 选择隐层神经元的变换函数为类支集的非线性 函数。所谓类支集变换函数就是一个函数 f x 在 , 有定义且 f c 0 ，称
f x 为 x c 类支集函数，如果对任意给定的 0 ，存在 0 使当 x c 时