回归分析的人工神经网络算法模型研究

∑p
j=
1
2 kj
=
1,
{f
k} 是未知“光滑”函数。
·46 ·
3. 单层神经网络模型 单层神经网络模型是一类较简单的模型, 其在医学中的应用有人曾进行探讨。 单层神经网络模型为: o= ( W X ) ( 2. 8) 这里 的定义如前, 网络结构见图 4。
图 4 单层网络示意图
这里 W 连接输入层到输出层的权重向量, X 是输入向量。
人工神经网络理论的崛起, 首先在信息学 科得到了广泛的应用, 而在统计理论及应用方 面的成果还尚少。本文就此方面的研究情况进 行了初步探讨, 对单层神经网络、BP L 神经网 络和 P PL 神经网络在回归分析中的应用情况 进行了比较分析。
神经网络模型的概念及基本组成
神经网络是一种模拟人类大脑思维方式的 数学模型, 它具有学习、记忆、纠错的功能。人的 大脑是由多达 1011 个不同的种类的神经元及神
8. J . H . Friedman. Classif icat ion and mul ti ple reg res sion t hr ou gh project ion pur suit , Depart ment of St ati st ics , St anf ord U niver sit y. 1992
在神经网络的研究历程中, Hopf iel d 将能 量函数引入对称、反馈的网络结构, 研究联想记 忆 和 最 优 化 计 算: Rumelhar t 、H int on 和 Williams 提出的反向传播算法训练多层前传网 络以逼近期望的连续函数, 是永远值得记载的 重大事件。正是这两项研究唤起了人们对神经 网络的研究热情, 促进了神经网络迅猛发展。虽 然自此以后很难评价神经网络的那一项研究标 志着新的重大突破, 但我们可以越来越清楚地 看到, 神经网络理论的研究正越来越深化, 其框 架体系日趋完善; 神经网络硬件的快速发展以 及在各个领域中应用的成功经验, 正促使它向 实用化转变; 同时, 神经网络软件和专用处理器 的出现, 也使得神经计算机不再是神话〔2〕。
2. 虽然人工神经网络技术可用于很多回 归问题, 但由于该模型在建立时其计算复杂度 比较高, 因而对于较简单的回归模型不宜采用 此方法, 如有人采 用神经 网络模 型与 log ist ic 回归模型进行对比研究; 用神经网络对多变量 自由回归模型进行探讨等等。
3. 对于非线性回归问题, 采用传统的方法 往往存在最优模型的选择问题。这时, 可考虑采 用 BPL 模型或 PPL 模型, 因为神 经网络模型 对非线性问题具有很强的逼近作用。
2. 徐 铮, 等. 神 经网络 理论与 应用. 华 南理工 大学出 版社, 1994
3. R . Hecht -N ielsen. T heory of b ack-propagat ion neural net w orks . Proc. Int ′l Joint Conf . on N eural N et w orks 1989; 2 ( 1) : 593
式中 i 为 0 或 1, 是 单 位 阶 梯 函 数 式, 即
H eaverside 函数:
(x) = 1 x 0 0 x< 0
( 1. 2)
权 w ij 代表从神经元 j 连接到神经元 i 的 突触强度, 它可以是正的, 也可以是负的, 分别 相应于兴奋性突触和抑制性突触。 i 是单元 i 的阈值。
能量函数为:
q
∑ E =
W iE( yi - y i ) 2
i= 1
q
∑ =
W iE 〔y i - E〔y i〕 -
i= 1
m
∑ ik f k(
T k
x
)
〕2
k= 1
( 3. 2)
这里 W i = 1/ V ar( y i)
以上网络的学 习算法其过程 是非常复杂
的, 目前在理论上还不太完善。即使都采用最速
算法。
1. BPL 网络算法模型〔5, 6〕
BP L 网络模型的几何结构见图 2。
这里, 网络的学习模型为两层感知器, 其数
学模型为:
m
p
∑ ∑ y i =
ikf k〔 w kj x j - w k0 〕
k= 1
j= 1
m
p
∑ ∑ =
ik 〔 w kj x j - w k0〕 ( 2. 4)
k= 1
经纤维等组成的树状网络结构。人们思考的过 程是信号从一个神经元沿着神经纤维向一个突 触上的另一神经元传输的过程, 它是一个复杂 的化学反应过程。1943 年 M cCulloch 和 Pit t s 提出将神经元看成一个二进制阈值元件的简单 模型, 简称 M -P 模型( 图 1) 〔3〕。
图 1 M -P 神经元模型 示意图
·44 ·
中国卫生统计 1998 年第 15 卷第 5 期
回归分析的人工神经网络算法模型研究
第三军医大学( 400038) 易 东 王文昌 张 蔚 许汝福
人工神经网络或神经计算机计算是近十几 年来发展极为迅速的一门边缘学科。它在信号 处理、模式识别、智能控制等领域中越来越多的 成功应用是令人鼓舞的, 即使是最初持观望态 度的人也不得不逐渐放弃对它的怀疑。神经网 络对众多学科的包容性、应用范围的广泛性以 及理论分析方法的多样性是前所未有的〔1〕。
j= 1
k = 1, 2, …m i = 1, 2…q
w k0 是 第 k 个隐含层的 神经元的偏 移项,
w kj 是连接输入层的 第j 个神经元 与隐含层的
·45 ·
图 2 BPL 神经网络算法结构示意图
第 k 个神经元的权重, ik 是连接输出层的第 i 个神经元与隐含层的第 k 个神经元的权重, f k 是非线性激励函数, 通常情况下 f k 取单调递增 的归一化函数 ( z )
5. G . Cybenko. A pproxi mat ion by superposit ion of a s igmoid f unct ion . U nivers it y of Illi nois, D ept . of Elect and Comput er E ngr. , Tech nical Report 1989: 856
(z) =
1 1 + e- z
( 2. 5)
这时, 得到{ gi( x ) , i = 1, 2, …q} 的逼近为:
m
p
∑ ∑ gi ( x ) =
ik 〔 w kj x j - w k0〕 ( 2. 6)
k= 1
j= 1
2. PP L 神经网络算法模型〔7, 8〕
图 3 P PL 神经网络算法结构示意图
回归关系的神经网络算法模型
迄今为止, 神经网络在回归分析中的应用 研究还不太深入, 其有效的方法尚少。为了从广 泛的意义上讨论神经网络算法模型, 这里, 我们 仅就一种广义的回归模型进行讨论: 即多变量 自由回归模型〔4〕。
( y l, x l) = ( y l1, yl2 , …y lq, x l1, x l2 , …x lp )
6. K . Hornik . M ult ilayer f eedf or ward net w orks are U niversal approxim at ions. N eural N et w orks , 1989; 2( 5) : 359
7. J . H. Friedman and W. S tu et zle. Projection purs uit regress ion . Journal of t he A merican St atis t ical A ssociat ion, 1981; 76( 376) : 817
l = 1, 2, …n
( 2. 1)
其中{ y l} 是所谓的 多元反应向量, { x l} 为
独立变量或“载体”
y li = gi( x l) + li
l = 1, 2, …n; i = 1, 2…q ( 2. 2)
{ gi } 为未知光滑的非参函数, li 是独立同
分布的随机变量, E〔li 〕= 0
M -P 模型推动了人们对大脑 中神经网络 建模的研究。从神经生理学的观点来看, 这些模
型过于简单, 不过他们对于认识生物“计算”的 原则仍是很有价值的。
具体地说, M -P 模型神经元计算来自其他 单元输出的加权和, 然后视该加权和是低于还
是高于一阈值而输出 0 或 1:
∑ S ( t + 1) = 〔 w ij Sj ( t) - i〕( 1. 1) j
4. J . N . Hw ang, Li D , M art in an d J. S chimert . Project ion purs uit l earning net w ork f or regression . E ngineering A ppl ic. A rt if . Int ell, N ew York : Pergamon Press Lt d 1992; 5( 3) : 193
M -P 模型神经元虽然很简单, 但却是一种
很强的计算模型。M cCulloch 和 P it t s 证明, 由 这种神经元组成的同步系统, 原则上讲能够进
行普通的计算, 只要适当地选择权 w ij , 也就是
说一般普通数字计算机能做的, M -P 模型系统 也能做到。
在实际应用中常用的神经网络模型通常包 含一个输入层、一个或几个隐含层和一个输出 层, 各层中对数据的处理单位称为处理单元, 其 信息传递过程为由一个输入层到输出层的单向 传递。
下降法, 但各种变形方法迄今仍是研究的热门,
且没有绝对好的方法。
讨 论
1. 从本质上讲, 回归分析是一种追溯历史 资料, 建立变量在数量上依赖关系的方法论。而