基函数神经网络及应用_第二章数学基础

( x) 的 n 次正交多项式基函数，简称 n 次正交多项式。
对于 n 次正交多项式，有如下定理： 定理 2.1 由（2.2）式定义的次数相邻的三个正交多项式，存在如下递推关系： （2.3）
g k 1 ( x) ( x k ) g k ( x) k g k 1 ( x), k 2,3,
f ( Pi ) g ( Pi ) , i 1, 2 。
s
(2.20)
推论 2.8.1 设 f ( x1 , x2 , , xs ) 是定义于 R 上的连续目标函数，则 f ( x1 , x2 , , xs ) 在 上能用 x1 , x2 , xs 的多项式逼近。 定义 2.7 设 D 是 R 中的有界闭区间， p1 ( x), p2 ( x), , pk ( x) 是定义于 D 上的线性无 关的 s 元连续实函数，它们所支成的线性空间记为 。又设 f ( x) C ( D ) ，其范数定义为
T T T
（2.28）
T
（2） A ( A A) A
T
（2.29） （2.30） （2.31）
（3）( A A) A ( A )
T
定义 2.10 考虑非齐次线性方程组 Ax b 其中 A C
mn
，bC ；
m
（1） 若 rank ([ A, b]) rank ( A) ，则方程组（2.31）有解，称方程组相容。 （2） 若 rank ([ A, b]) rank ( A) ，则方程组（2.31）无解，称方程组不相容（或矛盾） 。 定理 2.10 矛盾方程组 Ax b 的最小二乘解为 x A b 。 定理 2.11 相容方程组 Ax b 的极小范数解为 x A b （其通解为 x A b ( I A A) z ， z 为与 x 同维的任意向量） 。
n a x b n
(2.6)
1921 年 Bernstein 引入了一个多项式 Bn ( f , x) 下结论：
f x n k
k 0
k n
k
(1 x) n k ， 并证明了如
定理 2.5 设目标函数 f ( x) 在 [0,1] 是有界， 则 lim Bn ( f , x) f ( x)
T mn 1
，若存在 n m 阶实矩阵 X ，同时满足： （2.24） （2.25） （2.26） （2.27）
T 1 T
（4）( XA) XA
T
源自文库
则称 X 为 A 的加号逆（或称伪逆、Moore-Penrose 逆） ，记为 X A ( A A) A 。 另外，矩阵伪逆 A 具有以下性质： （1）( A ) ( A )
n
(2.7)
在任何 f ( x) 的连续点 x (0,1) 成立；若 f ( x) C[0,1] ，则极限在 [0,1] 上一致成立。 伯恩斯坦多项式在整个区间上具有良好的一致逼近性质， 但存在严重的缺点， 就是收敛 太慢，于是要想提高逼近精度，只有提高多项式的次数 n ，这在实际应用中可能是很不经济 的。为了解决这一问题，切彼雪夫（Chebyshev）从另一观点进行考虑，他先让多项式的次 数 n 固定，然后对于任意给定的目标函数 f ( x) C[ a, b] ，在多项式集 Pn 中，寻找一个多项 式 pn ( x) 在 [ a, b] 上最佳地逼近 f ( x) 。 定义 2.3 设目标函数 f ( x) C[ a, b] ， 用广义多项式 pn ( x)
f ( x) F ，由 ek ( x) 生成的在赋范空间 F 中的 f ( x) 之最佳逼近多项式（2.17）是唯一
的，则称 ek ( x) 是 F 中的广义切彼雪夫系（或称广义基函数系） 。 定理 2.7 设 f ( x) C[ a, b] ，用（2.8）式定义的最佳均方逼近多项式能一致逼近目标函 数 f ( x) ， 即 f ( x) lim pn ( x) 。
n
关系：( gl ( x), g k ( x))

b
a
( x) gl ( x) g k ( x)dx
0, l k b ( x) g k2 ( x)dx 0, l k a
（2.2）
则称多项式序列 g n ( x), n 0,1,2, 在 [ a, b] 上带权 ( x) 正交， 并称 g n ( x) 为 [ a, b] 上带权
f ( x) ~
a0 ak cos(kx) bk sin(kx) 2 k 1
式中 p ( x) 称为目标函数 f ( x) 在 中的最佳逼近多项式， E 称为最佳逼近误差。 由此可得如下多元最佳逼近之存在性定理。 定理 2.9（Borel） 满足(2.22)式的最佳逼近多项式 p ( x) 总是存在的。
§2.4 矩阵的伪逆及线性方程组求解[6-9,12]
在求解线性方程组 Ax b 时，若 A 为 n 阶方阵，且 det A 0 ，则方程组的解存在且唯 一，并可写成 x A b 。若 A 为长方矩阵或奇异的正方矩阵，我们将需要在最小二乘意义 下探讨和得到矩阵伪逆（也称为加号逆或 Moore-Penrose 逆）的概念和定义。 定义 2.9 设实矩阵 A R （1）AXA A （2） XAX X （3）( AX ) AX
x 称为 x 的范数。
定义 2.5 设 ek ( x) 是线性赋范空间 F 中的函数系， 称 ek ( x) 的前 n 1 项的线性组合
pn ( x) wk ek ( x)
k 0
n
(2.17)
为 ek ( x) 的 n 次多项式。 定理 2.6 设 F 是一个线性赋范空间，f ( x) F ， 函数系 ek ( x); k 0,1, 2, , n 是 F 中 的线性无关系，则 f ( x) 关于 ek ( x) 的最佳逼近多项式是存在的。 定 义 2.6 设 ek ( x); k 0,1, 2, , n 是 线 性 赋 范 空 间 F 中 的 一 组 线 性 无 关 系 。 若
w g ( x)
i 0 i i
n
（2.8）
作最佳均方逼近， 就是要寻找合适的多项式系数 wi (i 0,1, 2, , n) 使如下误差平方的积分：
E ( x)[ f ( x) pn ( x)]2 dx min
a
b
(2.9)
（即最小） 。其中， ( x) 为定义 2.1 给出的权函数， gi ( x) 为正交多项式。 将(2.9)式展开并引用(2.2)式，可得
(2.11)
因为 g k ( x) 是正交多项式，由(2.2)式有
0, j k ( g j , gk ) ( gk , gk ) , j k
故 wk
(2.12)
( f , gk ) ; k 0,1, 2, , n ( gk , gk )
(2.13)
但在工程实际应用中，上述目标函数 f ( x) 往往是未知的；一般而言仅知 ( xi , f ( xi )) 的一组 观测值（也称样本值，样本对等） ，因此直接套用(2.13)式求 wk 通常是困难甚至是不可能的， 我们因此在后文开发和利用神经网络学习算法来解决这类问题。 定义 2.4 设 F 是实数数域 R 上的线性空间。x, y F ， 定义一个非负实数 x ，满足： （1） x 0 ， 且 x 0 x0 （2） x y x y （3） x x ， R 则称 F 为 R 上的线性赋范空间, (2.14) (2.15) (2.16)
n
(2.18)
其中 pn ( x)
w g ( x) 。
i 0 i i
n
(2.19)
§2.3 多元多项式逼近理论[10-11]
设 R 是有界闭集， C () 表示定义在 上的所有实值连续函数支成的空间，则有
s
如下 Stone-Weierstrass 定理。 定理 2.8 设 C () 是一个代数， f ( P ) C () 。则为使目标函数 f 可用 中元素 一致逼近，必须且只须 P 1, P 2 和 0 均能找到一个函数 g ，使得
E ( f , f ) 2 ( f , g k ) wk ( g j , g k )w j wk
k 0 j 0 k 0
n
n
n
(2.10)
为了确定参数 wk ，只要解关于 wk 的线性方程组
n 1 E ( g j , g k ) wk ( f , g k ) 0; k 0,1, 2, , n 2 wk j 0
s
f max f ( x) 。
xD
(2,21)
定义 2.8 求 p ( x) w1 p1 ( x) w2 p2 ( x) wk pk ( x) 使 p f inf p ' f E
p '
w p ( x)
i 1 i i
k
(2.22) (2.23)
(a, x1 ), ( x1 , x2 ), ( xn 1 , xn ), ( xn , b) 存在正交多项式 g n 1 ( x) 的一个根。
§2.2 最佳逼近理论[1-9]
历史上，人们早就注意到一个问题：在任意给定的精度下，能否用多项式去逼近任意给 定的连续函数？1885 年 Weierstrass 做出了肯定的回答： 定理 2.4 设目标函数 f ( x) C[ a, b] ，则存在多项式 pn ( x) Pn （所有 n 次多项式的集 合） ， 使得 lim max f ( x) pn ( x) 0 。
其中 k

a
b
x ( x) g k2 ( x)dx
b
a
( x) g ( x)dx
2 k
, k
( x) g ( x) g
a b a
b
2 k
( x)dx ( x)dx
2 k 1
（2.4）
推论 2.1.1 对于形如（2.2）式所定义的正交多项式 g n ( x) ，恒有递推关系式：
g k 1 ( x)
ak 1 a a ( x k ) g k ( x) k 1 2 k 1 k g k 1 ( x), k 2,3, ak ak
（2.5）
其中 k , k 形同(2.4)式。
定理 2.2 n 次正交多项式 g n ( x) 有 n 个互异的实根，且全部位于区间 ( a, b) 内。 定 理 2.3 设 a x1 x2 xn b 是 正 交 多 项 式 g n ( x) 的 根 ， 则 在 每 个 区 间

（2.32） （2.33）
§2.5 傅立叶级数及逼近定理[1,12-14]
在工程实际中，各种复杂的振动现象是由不同频率、不同振幅的简谐振动迭加而成的, 即一个复杂的波形可以分解为一系列谐波的线性组合；从函数逼近角度考虑，一般而言， 任
意逐段可微和/或平方可积连续函数可以展开成傅立叶级数。 定义 2.11 周期为 2π的函数 f ( x) ，若能展开成三角级数：
第二章 数学基础
本章介绍基函数神经网络的相关数学理论知识， 其主要内容为函数逼近论及各种正交基 函数的概念、性质、定理等。
§2.1 正交多项式基函数及性质[1-8]
定义 2.1 定义在 [ a, b] 上的函数 ( x) ，若满足：
1 ( x) 0, x [a, b] 2 ( x)dx 0
a b
（2.1）
3 x n ( x)dx 0存在, n 0,1, 2,
a
b
则称 ( x) 为 [ a, b] 上的权函数。
定义 2.2
对于 a n 0 的 n 次多项式 g n ( x)
a x , (n 0,1,2,) ；若满足如下内积
i i 0 i