基函数神经网络及应用_第五章Hermite神经网络

2
切比雪夫（Chebyshev）多项式，它也可以表示成为 U n ( x) 也 值 得 注 意 的 是 , 雅 可 比 （ Jacobi ） 多 项 式 J n
sin(n 1) arccos x 1 x2
, ( x 1) 。
( , )
( x) 还 是 二 阶 线 性 齐 次 微 分 方 程
c H ( x)
i 0 i i
n
(5.3)
可以是 f ( x) 的最佳均方逼近（其中，理论上，ci



f ( x) Hi ( x)dx



Hi2 ( x)dx , i 0,1, 2,, n ） 。
由上述定理 5.1 可知，对于未知目标函数 f ( x) ，若采用 Hermite 多项式 H n ( x), n 0,1,2, 对 其做最佳均方逼近，则可用 H n ( x), n 0,1,2, 的加权和函数
y
HCNN
sort ( )
y
sort ( y )
HCNN
Chaotic initial value 图 5.5 HCNN 异步加密原理框图
一、 加密算法 在图 5.5 中，发送方进行如下操作： Step1 用已知的混沌序列样本做为 Hermite 神经网络（HNN）的训练模式，确定网络权值 c j ， 当 J 时，Hermite 混沌神经网络（HCNN）辨识模型因此构造成功（需保密） ，并通过秘密信道 传送给接收方； Step2 对于给定的明文序列 M m1m2 mq ; q M 为明文序列长度； 任选混沌初值 y0（可公 开） ，代入 HCNN 辨识模型，计算即可得到非线性序列 y [ y (1), y (2), , y ( q )] （保密） ； Step3 计算 sort ( y ) ， 为将序列 y 从小到大排序后的下标向量（保密） ；则明文根据 进 行置换可得密文，即 C M ( ) （可公开） 。 Step4 通过公开信道将混沌初值 y0 和密文 C 传送给接收方。 二、异步解密算法 在图 5.5 中，接收方进行如下操作： Step1 从公开信道接收密文 C 和混沌初值， 易得 q C ， 将 y0 代入经秘密信道传送来的 HCNN 辨识模型即可得到与发送方相同的非线性序列 y ； Step2 计算 sort ( y ) ， sort ( ) ，则密文根据 置换可得明文，即 M C ( ) 。
d n e x 定义 5.1 H n ( x) ( 1) e ， x dx n
n x2
2
(5.1)
可以证明，上述 Hermite 多项式是定义在 ( , ) 上关于权函数 ( x) e 式，且满足如下递推关系公式：
x2
的 n 次正交多项
H n ( x) 2 xH n 1 ( x) 2(n 1)H n 2 ( x); n 2,3, 4,...
其前数个显性表达式可如下写出：
(5.2)
H0 ( x) 1 H1 ( x) 2 x H2 ( x) 4 x2 2 H3 ( x) 8x3 12 x H4 ( x) 16 x4 48x2 12
另外，对于 Hermite 正交基函数，我们有如下定理：
定理 5.1 设连续目标函数 f ( x) C ( , ) ， 则 y ( x)
j 0,1,2, n 1 ，可由（5.2）式递
神经网络输出 y
c
j 0
n 1
j
H j (net j ) ；
神经网络输出误差 et f t yt ,
t 1, 2, , s ；
训练指标 J
1 s 2 et ； 2 t 1
权值修正公式 cj
J et H j (net j ), j 0,1,2,n 1 cj

Hn-1
图 5.4 用于混沌异步加密之 Hermite 神经网络模型
§5.4.2 基于 HCNN 的“一次一密”加密算法设计
HCNN“一次一密”异步加密算法原理如图 5.5 所示。
5
Sender
M
+ Public Channel
C M ( )
+
M C ( )
Receiver
sort ( y )
1
c H ( x) 去近似代替 f ( x) 。
i 0 i i
n 1
§5.2 Hermite 神经网络建模及权值学习算法
在 1 n 1 的神经网络中，令输入层至隐层神经元的权值恒为 1，所有神经元的阀值恒为 0，隐 神经元的激励函数分别为（5.2）式定义的 Hermite 正交基函数，隐层至输出层神经元的权值记为 ci ， 则 Hermite 神经网络（HNN）输入输出关系为 y
2 ( x) mite 神经网络异步加密
正如上一章指出，1996 年 Milanovic 和 Crounse 等人分别提出了基于神经网络混沌同步的对称 加密算法[12,13]，这种加密算法简单且易于软硬件实现；其后许多学者将混沌同步和神经网络应用于 保密通讯之中[14-18]，但混沌同步通讯系统要求必须收发两端严格同步，不可避免地存在参数匹配、 信道噪音和收发两端的时间同步等问题。为了克服这一缺限，我们也可以构造 Hermite 神经网络[1,2] 来训练已知的 Logistic 混沌序列，并因此提出一种新的基于 Hermite 混沌神经网络（HCNN）的“一 次一密”异步加密算法。
当 2 / 3 时，由上述公式可写出其前 n 项表达式：
4
0 ( x) 1 1 ( x) x
2 4 3 9 4 32 3 ( x ) x x 3 9 81 1 16 2 112 4 4 ( x) x x 9 27 243 5 10 nn ( x) 2(n ) xn 1 ( x) (n )n 2 ( x) 3 3 4 3

3
值得指出的是，当 时，情况比较简单，称作超球多项式；更具体而言， 1） 当 0 ， 也即是关于权函数 ( x) 1, ( x 1) 时， 相应的正交多项式称作勒让德 （Legendre） 多项式，它也可以表示成为 Ln ( x)

1

0
( x i x x 2 cos ) n d , ( x 1) ； 1 1 x2 , ( x 1) 时，相应的正交多项式称作第一
§5.3.3 Gegenbauer 多项式
由下式所定义的多项式称为 Gegenbauer 多项式：
定义 5.3
j ( x, )
(2 ) j (2 j ) k x 1 k 1 ( ) , j 0,1, 2, ( 1/ 2) k 2 k 0 k !( j k )!
第五章 Hermite 神经网络
本章主要介绍 Hermite 正交基函数及其它几种相关的常用正交基函数（为了读者对相关内容 的全面了解和理解）的定义和性质、Hermite 神经网络模型、构建方法、学习算法及其在混沌加密中 的应用等内容。
§5.1 Hermite 正交基函数及逼近定理[1,2]
由下式所定义的多项式称为 Hermite 正交基函数：
§5.3.2 Jacobi 多项式
由下式所定义的多项式称为 Jacobi 多项式：
定义 5.3 J n
( , )
( x)
dn [( x 2 1) n ( x)]; x [1,1] n n n !2 ( x) dx 1

其中， ( x) (1 x) (1 x) 为权函数， 1, 1 是给定的实数。
(5.4)
c j (k 1) c j (k ) c j (k ), k 0,1, 2,
其中 0 为学习率， k 为学习次数（或称为迭代次数） 。
§5.3 其它正交多项式基函数神经网络
前面已经分别介绍了 Chebyshev 神经网络 （于第三章） 、 Legendre 神经网络 （于第四章） 和 Hermite 神经网络（于本章） ，从本质上可以看出，上述这些神经网络有相似共通之处：
(1 x 2 ) y [ ( 2) x] y n( n 1) y 0 的解。
另外，如果讨论的是无限区间 [0, ) ，则关于权函数 ( x) e
x
或 ( x) e
x2
的正交多项式
系 Ln ( x)n 0 与 H n ( x)n 0 ，分别被称为拉盖尔（Laguerre）多项式与埃尔米特（Hermite）多项式， 它们还依次满足微分方程 xy (1 x) y ny 0 和 y 2 xy 2ny 0 。
L0 ( x) 1, L1 ( x) 1 x 2 Lk 1 ( x) (1 2k x) Lk ( x) k Lk 1 ( x), k 1, 2,
由上述定义的多项式函数也即 Laguerre 正交基函数，可以如下写出其前 n 项：
L0 ( x) 1, L1 ( x) 1 x, L2 ( x) x2 4 x 2, L3 ( x) x3 9 x2 18x 6, L4 ( x) x4 16 x3 72 x2 96 x 24, Ln1 ( x) (2n 3 x) Ln2 ( x) (n 2)2 Ln3 ( x).
2
1）网络结构相近（拓扑结构均为三层前向网络，且隐神经元个数为基函数个数） ； 2）学习算法相近（均可采用基于梯度下降的 BP 迭代学习算法） 。 在这些神经网络模型中， 唯一不同的仅仅在于其隐层神经元是由各种不同的正交多项式基函数构成； 正是基于以上事实，对于其它正交多项式基函数神经网络的建模，我们因此不再专门介绍。下面仅 列出其基本定义和递推公式[3-11]。
c H
j 0 j
n 1
j
( x) 。
设未知目标函数/系统 f ( x ) ，其中 x 为输入。通常可测量得到其在某个区间 [ a, b] R 上的一 系列数据点 xt 及其对应的函数值 f x t f t ，即构成训练样本集 ( xt , f t ), t 1, 2, , s ，其中 s 为 样本点个数；而后可采用 BP 学习算法修正上述 Hermite 神经网络权值，有如下算法。 隐层神经元输入 net j x j ; j 0,1,2,, n 1； 隐层神经元输出为一组 Hermite 正交多式项值 H j ( net j ) , 推求得；
§5.4.1 Hermite 混沌神经网络设计
对于 Logistic 混沌序列 yt 1 yt (1 yt ), (t 0,1, 2,) ，可构造图 5.4 所示的 Hermite 神经网 络辨识模型并由迭代学习公式（5.4）调整和确定其权值。
z 1
H0
yt
H1
yt 1 cj
j
其中符号 ( ) k ( 1) ( k 1) 。 Gegenbauer 多项式递推公式可如下给出：
j j ( x, ) 2( j 1) x j 1 ( x, ) ( j 2 2) j 2 ( x, ), j 2,3,
2）当 1/ 2 ，也即是关于权函数 ( x)
类切比雪夫（Chebyshev）多项式，它也可以表示成为 Tn ( x) cos( n arccos x), ( x 1) ； 3）当 1/ 2 ，也即是关于权函数 ( x) 1 x , ( x 1) 时，相应的正交多项式称作第二类
§5.3.1 Laguerre 多项式
由下式所定义的多项式称为 Laguerre 多项式：
定义 5.2 Ln ( x) e
x
d n ( x n e x ) ;0 x ， dx n
x
可以证明， 上述 Laguerre 多项式是定义在开区间 [0, ) 上的关于权函数 ( x) e 的 n 次正交 多项式，且有如下三项递推关系公式：