多输入Laguerre正交多项式前向神经网络权值与结构确定法

合集下载

权值直接确定的三角型模糊前向神经网络

ｍａｎｙａｄｖａｎｔａｇｅｓｓｕｃｈａｓｈｉｇｈａｐｐｒｏｘｉｍａｔｉｏｎｐｒｅｃｉｓｉｏｎ，ａｎｄｔｈｅｓｔｒｕｃｔｕｒｅｃａｎｂｅａｄｊｕｓｔｅｄｗｉｔｈｇｏｏｄｐｒｅ —
Ｍａｒ．２０１３
权值直接确定的三角型模糊前向神经网，北京１０１６０１）
摘要：为了确定前向神经网络的网络结构，提出了一种基于采样数据的含单隐层神经元的模糊前向神经网
络，反映了构造数据所蕴含的系统信息，其隐层神经元激励函数选择为三角型隶属函数和构造数据相应输出的乘积。该网络模型可以随采样数据的多少自主选择构造数据，自主设定隐层神经元，利用权值直接确定法得到网
ｄｉｃｔｉｏｎａｎｄｈｉ【ｇｈｒｅａｌ — ｔｉｍｅ．Ｉｔｉｓｂｅｔｔｅｒｔｈａｎｔｈｅｏｔｈｅｒｆｅｅｄ－ｏｒｆｗａｒｄｎｅｕｒａｌｎｅｔｗｏｒｋｓ．Ｋｅｙｗｏｒｄｓ：ｆｕｚｚｙｆｅｅｄ－ｆｏｗａｒｒｄｎｅｕｒｌａｎｅｔｗｏｒｋ；ｗｅｉｇｈｔｓ－ｄｉｒｅｃｔ－ｄｅｔｅｍｉｒｎａｔｉｏｎ；ｔｉｒａｎｕｌｇａｒｍｅｍｂｅｒｓｈｉｐｆｕｎｃｔｉｏｎ；ｒｅｌ— ａｔｉｍｅ
Ａｂｓｔｒａｃｔ：Ｉｎｏｒｄｅｒｔｏｄｅｔｅｒｍｉｎｅｔｈｅｆｅｅｄ— ｆｏｒｗａｒｄｎｅｕｒａｌｎｅｔｗｏｒｋ ’ Ｓｓｔｒｕｃｔｕｒｅ，ｆｕｚｚｙｆｅｅｄ－ｆｏｒｗａｒｄｎｅｕｒａｌ

基函数神经网络及应用_第五章Hermite神经网络

2
切比雪夫（Chebyshev）多项式，它也可以表示成为 U n ( x) 也值得注意的是 , 雅可比（ Jacobi ）多项式 J n
sin(n 1) arccos x 1 x2
, ( x 1) 。
( , )
( x) 还是二阶线性齐次微分方程
c H ( x)
i 0 i i
n
(5.3)
可以是 f ( x) 的最佳均方逼近（其中，理论上，ci

f ( x) Hi ( x)dx

Hi2 ( x)dx , i 0,1, 2,, n ）。
由上述定理 5.1 可知，对于未知目标函数 f ( x) ，若采用 Hermite 多项式 H n ( x), n 0,1,2, 对其做最佳均方逼近，则可用 H n ( x), n 0,1,2, 的加权和函数
y
HCNN
sort ( )
y
sort ( y )
HCNN
Chaotic initial value 图 5.5 HCNN 异步加密原理框图
一、加密算法在图 5.5 中，发送方进行如下操作： Step1 用已知的混沌序列样本做为 Hermite 神经网络（HNN）的训练模式，确定网络权值 c j ，当 J 时，Hermite 混沌神经网络（HCNN）辨识模型因此构造成功（需保密），并通过秘密信道传送给接收方； Step2 对于给定的明文序列 M m1m2 mq ; q M 为明文序列长度；任选混沌初值 y0（可公开），代入 HCNN 辨识模型，计算即可得到非线性序列 y [ y (1), y (2), , y ( q )] （保密）； Step3 计算 sort ( y ) ，为将序列 y 从小到大排序后的下标向量（保密）；则明文根据进行置换可得密文，即 C M ( ) （可公开）。 Step4 通过公开信道将混沌初值 y0 和密文 C 传送给接收方。二、异步解密算法在图 5.5 中，接收方进行如下操作： Step1 从公开信道接收密文 C 和混沌初值，易得 q C ，将 y0 代入经秘密信道传送来的 HCNN 辨识模型即可得到与发送方相同的非线性序列 y ； Step2 计算 sort ( y ) ， sort ( ) ，则密文根据置换可得明文，即 M C ( ) 。

Laguerre正交基前向神经网络及其权值直接确定法

ｉｒｔｅｔｉｉｇａｇｒｍ；ｗｉｔ・ｒｃ・ｔｒｉａｏｅｈｄｔａｖ－ａｎｏｔｅｇｓｄｅｔｅｍｎｔｎｍｔｏｅｉ・ｎｌｉｒｈｈ－ｉ－ｅｄｉ
１精
践中应用最为广泛的是由Ｒｍ￣ｒ于２ｕｅａｔ０世纪８０年代提出的ＢＰ网络（ａｋｐｐｇｔｎｎｔｏ）引，ｂｃｒａａｏｅｒｏｉｗｋ
根据标准ＢＰ算法，导出了权值修正的迭代公式（包括标量形式和矩阵形式）区别于这种需要迭代训，进一步提出了一种基于伪逆的直接计算权值的方法．该权值直接确定法避免了以往的权值反复迭代训练的冗长过程．真结果显示其具有比传统的Ｂ迭代法更快的计算速度，仿Ｐ并且能够能达到更高的
ｔａｔｅｗｉｔ・ｒｃｙｄｔｉｅｅｏｏｅｅｃｎｎｆｃｖａｏｖｎｉａＢｅｔｅｈｔｈｅｇｓｄｅｔ－ｅｒｎｄｍｔｄｉｍｒｆｉｔｄｅｅｔｅｔｎｃｎｅｔｎｌＰｉｒｉ－ｈ－ｉｌ・ｅｍｈｓｉｅａｉｈｏｔａｖ・
工作精度．
［关键词］Ｌｇｅｒ正交多项式；激励函数；前向神经网络；ＢａｕｒｅＰ迭代法；权值直接确定法
［中图分类号］Ｔ１Ｐ８［文献标识码］Ａ［文章编号］１０９６【０８０ —０４０００— ９５２０）３２９— ５
Ｌｇｅｒ正交基前向神经网络及其权值直接确定法ａｕｒｅ
张雨浓，钟童科，李巍，易称福

Lagrange优化前馈神经网络盲多用户检测算法

Lagrange优化前馈神经网络盲多用户检测算法
孙云山;李艳琴;张立毅;刘婷
【期刊名称】《计算机工程与设计》
【年(卷),期】2008(029)008
【摘要】提出了一种前馈神经网络盲多用户检测算法.该算法利用恒模准则构造了一个代价函数,给出了该算法的约束条件.利用增广Lagrange函数方法对带约束的代价函数进行优化求解,获得前馈神经网络网络权值和参数的迭代公式,从而实现了盲多用户检测.利用计算机对增广Lagrange函数优化的前馈神经网络盲多用户检测算法进行仿真.仿真结果表明,新算法具有较好的误码率及收敛特性等性能.
【总页数】3页(P2052-2054)
【作者】孙云山;李艳琴;张立毅;刘婷
【作者单位】天津商业大学,信息工程学院,天津,300134;防灾科技学院,自动化技术系,北京,101601;天津商业大学,信息工程学院,天津,300134;天津商业大学,信息工程学院,天津,300134
【正文语种】中文
【中图分类】TN911.4
【相关文献】
1.新型Lagrange神经网络盲多用户检测 [J], 李沅;李福平
2.惩罚函数优化的前馈神经网络盲多用户检测 [J], 孙云山;张立毅;刘婷;李艳琴
grange优化的LMK神经网络盲多用户检测 [J], 李艳琴;张立毅;郭纯生;储琳
琳
4.基于Lagrange优化神经网络的盲多用户检测 [J], 王鸿斌;张立毅;王华奎;李福平
5.基于LMK准则的前馈神经网络盲多用户检测算法 [J], 孙云山;李昌华;马学伟;杨淼;方英杰;谢蓓雷;杨艺
因版权原因，仅展示原文概要，查看原文内容请购买。

神经网络-- Hopfield网络

Hopfield 神经网络前馈（前向）网络和反馈网络是当前人工神经网络研究中最基本的两种网络模型。

1982年到1986年，美国物理学家Hopfield 陆续发表文章报导了对反馈神经网络理论与应用的研究成果，引起了人们广泛的兴趣，并且将这种单层反馈网络称为Hopfield 网络。

在单层全反馈网络中（基本Hopfield 网络中），节点之间相互连接，每个节点接收来自其它节点的输入，同时又输出给其它节点，每个神经元没有到自身的连接。

由于引入反馈，所以它是一个非线性动力学系统。

其结构如下所示：n1n32y y（a ）（b ）图1 Hopfield 网络基本结构前馈网络大多表达的是输出与输入间的映射关系，一般不考虑输出与输入间在时间上的滞后效应；反馈网络需要考虑输出与输入间在时间上的延时，需要利用动态方程（差分方程或微分方程）描述神经元和系统的数学模型。

前馈网络的学习（训练）主要采用误差修正法，计算时间较长，收敛速度较慢；反馈网络（如Hopfield 网络）的学习主要采用Hebb 规则，收敛速度较快。

Hopfield 网络在应用上除可作为联想记忆与分类外，还可用于优化计算。

可以认为，Hopfield 网络的联想记忆和优化计算这两种功能是对偶的：当用于联想记忆时，通过样本模式的输入给定网络的稳定状态，经学习求得联接权值W ；当用于优化计算时，以目标函数和约束条件建立系统的能量函数来确定联接权值，当网络演变至稳定状态时即可得出优化计算问题的解。

Hopfield 网络神经元模型可以是离散变量，也可以连续取值。

一．离散Hopfield 网络 1．网络结构及性能描述：离散Hopfield 网络模型如图1所示。

设共有N 个神经元，ij 表示从神经元j 到神经元i 的联接权，j s 表示神经元j 的状态（取＋1或－1），j v 表示神经元j 的净输入，有：⎪⎩⎪⎨⎧=+-⋅=∑=)](sgn[)1()()(1t v t s t s t v j j jNi i ji j θω，即：⎩⎨⎧<->+=+0)(,10)(,1)1(t v t v t s j j j （1）或：⎪⎩⎪⎨⎧<-=>+=+0)(,10)(),(0)(,1)1(t v t v t s t v t s j j j j j当0)(=t v j 时可认为神经元的状态保持不变。

正交多项式模型

正交多项式模型正交多项式模型一、引言正交多项式模型是统计学中一个重要的概念，主要用于回归分析和时间序列分析等。

它利用正交性，将高维问题转化为低维问题，从而简化计算和建模过程。

本文将介绍正交多项式模型的基本概念、应用和实现方法。

二、正交多项式模型的基本概念正交多项式是一种特殊的多项式，它的各个项之间是正交的，即各项的系数互为相反数。

这种特性使得正交多项式在统计学中有广泛的应用。

正交多项式模型是指利用正交多项式来拟合数据的一类模型，具有简洁、高效和易于解释等特点。

三、正交多项式模型的应用时间序列分析：在时间序列分析中，很多数据的趋势和季节性因素可以用正交多项式来描述。

例如，使用正交多项式模型可以有效地提取时间序列中的长期趋势、季节性和周期性变化。

回归分析：在回归分析中，正交多项式模型可以用来处理自变量和因变量之间的关系，特别是当自变量之间存在多重共线性时，使用正交多项式模型可以有效地消除这种影响。

数据降维：由于正交多项式具有将高维问题转化为低维问题的特性，因此可以用于数据降维。

通过选择合适的正交多项式，可以将高维数据投影到低维空间，从而降低计算复杂度和提高可视化效果。

四、正交多项式模型的实现方法选择合适的正交多项式：根据数据的特性和问题要求，选择合适的正交多项式类型，如Legendre多项式、Chebyshev多项式等。

拟合模型：利用选定的正交多项式对数据进行拟合，通过最小二乘法或其他优化算法求解系数，得到最佳拟合模型。

预测与评估：利用拟合得到的模型进行预测，并对预测结果进行评估和比较，选择最优的模型。

五、结论正交多项式模型是一种高效、简洁和易于解释的统计模型，在回归分析、时间序列分析和数据降维等方面有广泛的应用。

通过选择合适的正交多项式类型，可以有效地提取数据中的特征和规律，为实际问题的解决提供有力支持。

未来的研究可以进一步探讨正交多项式模型的优化算法和应用领域，为更多领域的数据分析和处理提供新的思路和方法。

【计算机科学】_计算学习理论_期刊发文热词逐年推荐_20140724

2011年科研热词训练算法规划器统计学习理论粒度支持向量机相容粗糙集模糊支持向量机样例选择最优分类超平面智能规划支持向量机(svm) 支持向量机基于学习的规划技术推荐指数 1 1 1 1 1 1 1 1 1 1 1 1
2012年序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14
科研热词高斯混合模型谱聚类聚类分析统计学习神经网络核聚类权值与结构确定法最优结构强化学习多输入多agent系统 nashq meta平衡 laguerre正交多项式
推荐指数 1 1 1 1 1 1 1 1 1 1 1 1 1 1
2013年序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26
2014年序号 1 2 3
2014年科研热词高维数据维数灾难度量集中推荐指数 1 1 1
科研热词近邻算法自律计算系统自律计算统计学习理论粒计算策略部署稀疏相似度差猴群算法测试函数核心集机器学习最小包含球支持向量机(svm) 支持向量机异构网络商空间受体编辑受体修正反向学习单纯法协同中继免疫抑制伪梯度人工免疫系统上下文感知
推荐指数 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
推荐指数 3 2 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
2010年序号 1 2 3 4 5
科研热词认知评价情感缺失情感建模动态贝叶斯网络 occ模型
推荐指数 1 1 1 1 1

双向gru与attention集合原理

双向GRU（Bidirectional Gated Recurrent Unit）和注意力机制（Attention Mechanism）是深度学习中的两种重要技术，它们在许多自然语言处理任务中发挥着关键作用。

下面将分别介绍这两种技术的原理，并结合在一起进行阐述。

1. 双向GRU原理GRU（Gated Recurrent Unit）是一种用于处理序列数据的循环神经网络（RNN）结构。

它通过门机制（gating mechanism）来控制信息的流动，从而在处理长序列时能够有效地避免梯度消失（gradient disappearance）和梯度爆炸（gradient explosion）等问题。

双向GRU进一步将GRU扩展为两个方向：前向和后向，从而能够更好地捕捉序列的长期依赖关系。

在双向GRU中，每个神经元节点包含三个权重矩阵：W_h、W_c和W_z。

其中，W_h和W_c分别表示上下文和当前输入节点的权重矩阵，而W_z则表示控制信息流动的权重矩阵。

在每个时间步，输入信息首先通过上下文权重矩阵得到上下文表示，然后通过当前输入节点的权重矩阵得到当前输入表示。

这两个表示通过W_z进行相加和缩放，得到一个控制信息表示。

最后，这个控制信息表示与隐藏状态进行逻辑与运算，得到新的隐藏状态。

通过这种方式，双向GRU能够捕捉到序列的长期依赖关系，并提高了模型的表达能力和泛化能力。

2. 注意力机制原理注意力机制是一种通过赋予不同输入元素不同的权重，以实现对输入信息的聚焦和提取的技术。

在自然语言处理任务中，注意力机制被广泛应用于词向量表示、解码器和序列生成任务中。

它通过计算每个输入元素与输出元素之间的相关性得分，并选择得分最高的元素作为输出，从而实现高效的特征提取和信息传递。

注意力机制的核心思想是通过一种自适应的权重分配方式，使得模型更加关注与输出相关的输入元素，并忽略不相关的元素。

具体而言，模型首先会计算输入序列中每个元素与输出元素之间的相关性得分，然后根据这些得分对输入序列进行加权平均，得到最终的输出表示。

神经网络中的正交化方法

神经网络中的正交化方法神经网络是一种强大的人工智能工具，其已经被广泛应用于机器学习、自然语言处理、计算机视觉等领域中。

而神经网络中的正交化方法在最近的研究中被认为是一种非常有用的技术。

本文将着重探讨神经网络中的正交化方法及其应用。

一、什么是正交化方法？在数学中，正交化是一种常见的操作，在向量空间中，可以将一个向量集合投影到相互垂直的向量上，这样的操作可以使得投影后的向量空间更加稳定和可控。

正交化方法已经被广泛应用于信号处理、图像处理和计算机视觉等领域中。

在神经网络中，使用正交化方法可以帮助神经网络更好地学习复杂的特征，提高神经网络的性能和稳定性。

二、如何正交化神经网络？正交化方法可以应用于神经网络的不同层级，包括输入层、隐藏层和输出层。

下面将重点介绍两种常见的神经网络正交化方法，一种是SVD正交方法，另一种是Gram-Schmidt正交方法。

1.SVD正交方法SVD正交方法是一种基于矩阵分解的方法，它可以将一个矩阵分解为三个子矩阵的乘积，其中包括一个正交矩阵。

通过对神经网络的权重矩阵进行SVD分解后，可以得到一组新的正交矩阵，这些正交矩阵可以代替原来的权重矩阵，使得神经网络的性能有所提升。

2.Gram-Schmidt正交方法Gram-Schmidt正交方法基于向量组的正交化，每次选择一个新的向量，然后将其投影到之前的所有向量上，去除与之前向量的重合部分，得到一个新的正交向量。

重复此过程，直到向量组的所有成员都通过正交化的处理得到。

这种方法可以应用于神经网络的权重矩阵中，通过对权重矩阵的列向量进行Gram-Schmidt正交化后，得到一组新的正交矩阵，这些正交矩阵可以代替原来的权重矩阵，使得神经网络更具有稳定性和较好的性能。

三、正交化方法在神经网络中的应用正交化方法在神经网络中的应用非常广泛，特别是在深度学习中更是如此。

正交化方法可以帮助神经网络更好地学习抽象的特征，提高分类和识别的准确性。

正交化方法还可以帮助解决神经网络中出现的梯度消失、梯度爆炸等问题，提高模型的鲁棒性和鲁棒性。

基于GJB5000A的软件测试过程的管理

Science &Technology Vision科技视界0引言随着我所软件多样化、逻辑复杂化的发展,软件的质量已经称为一个非常重要的问题,软件测试是解决软件质量问题的有效手段,如何提高我所软件测试质量与效率是测试中心研究的重要课题,由中国人民解放军总装备部提出的GJB5000A 军用软件研制能力成熟度模型为高可靠、复杂的软件开发过程管理提供了有效地方法与途径。

1软件测试过程概述整个软件测试过程可以划分为需求分析与测试策划、测试设计、测试执行、测试总结四个阶段,下面对这四个阶段的主要活动和步骤进行详细描述。

1.1测试需求分析与测试策划测试中心根据被测软件的需求规格说明或设计说明文档(根据测试级别确定)测试要求或合同等,对被测软件进行测试需求分析与测试策划。

测试需求分析与测试策划阶段的步骤包括:1)进行测试需求分析:如果有自动化测试管理工具,可将需求规格说明或设计说明中的需求同步到测试需求管理中;如果没有自动话测试管理工具,需要编写测试需求规格说明;2)制定测试计划:包含被测对象、测试环境和测试的时间、资源安排。

1.2测试设计测试中心应根据测试需求分析和测试策划的结果进行测试设计,步骤应包括:1)设计测试用例,编写测试说明;2)确定测试用例的执行顺序;3)准备和验证所有的测试用数据,针对测试输入要求,设计测试用的数据,如数据类型、输入方法等;4)准备并获取测试资源,如测试环境所必须的软、硬件资源等;5)必要时,编写测试执行需要的程序,如测试的驱动模块、桩模块等;6)建立和验证测试环境,记录验证结果,说明测试环境的偏差对测试结果的影响。

1.3测试执行测试人员应按照测试计划和测试说明的内容和要求执行测试,根据每个测试用例期望的测试结果、实际测试结果和评估准则,判定测试用例是否通过。

当测试用例不通过时,应根据不同的缺陷类型,采取相应的措施:1)对测试工作中的缺陷,如测试说明的缺陷、测试数据的缺陷、执行测试步骤时的缺陷、测试环境中的缺陷等,记录到不符合项跟踪表表中,并实施相应的变更;2)对被测软件的缺陷应记录到缺陷跟踪表中。

前馈神经网络中的正则化技巧(六)

在深度学习领域中，前馈神经网络是一种常见的神经网络结构，它通常用于解决分类和回归问题。

然而，前馈神经网络往往会面临过拟合的问题，因此需要采取一些正则化技巧来提高模型的泛化能力。

本文将介绍几种常见的正则化技巧，包括权重衰减、Dropout和批标准化。

首先，权重衰减是一种常见的正则化技巧，它通过向损失函数中添加一个惩罚项来限制模型的复杂度。

具体来说，权重衰减通过在损失函数中添加L2正则化项，使得模型的权重不能太大，从而避免过拟合。

在训练过程中，权重衰减可以通过调整正则化系数来控制正则化的强度，较大的正则化系数可以使得模型的权重更加稀疏，从而进一步减少过拟合的风险。

另一种常见的正则化技巧是Dropout，它通过在训练过程中随机地将一部分神经元的输出置为0来减少模型的复杂度。

具体来说，Dropout可以通过设置一个丢弃概率来控制每个神经元被丢弃的概率，较高的丢弃概率可以使得模型更加稀疏，从而减少过拟合的风险。

此外，Dropout还可以有效地提高模型的泛化能力，因为它可以使得模型在测试阶段对于输入的噪声更加鲁棒。

最后，批标准化是一种常见的正则化技巧，它通过在每个神经元的输入上进行标准化来减少内部协变量转移。

具体来说，批标准化可以通过计算每个神经元的均值和方差来对输入进行标准化，从而减少模型对于输入分布的敏感度。

此外，批标准化还可以有效地提高模型的训练速度，并且可以使得模型对于学习率的选择更加稳定。

总的来说，正则化技巧在前馈神经网络中起着至关重要的作用，它可以有效地提高模型的泛化能力，并且可以减少模型的过拟合风险。

在实际应用中，通常会采用多种正则化技巧的组合来提高模型的性能。

因此，对于深度学习领域的研究者和从业者来说，掌握正则化技巧是非常重要的。

希望本文对于读者能够有所帮助，也希望大家能够在实践中不断地尝试和探索，以找到最适合自己应用场景的正则化技巧。

多层前馈神经网络算法

神经网络节点结构
权重和偏倚的初始值为（-1,1）随机值。输入节点将输入值输出。隐藏层节点和输出层节点结构如下图所示：
关于挤压函数（激活函数）
挤压函数是将一个较大的数（净输入）映射到0到1区间，常用的挤压函数主要为logistic函数。对于不同的神经网络应用，还有其他的挤压函数。
该函数的自变量是净输入。
神经网络的误差
因为权重和偏倚的初始值是随机得到的，所以初始状态的神经网络是无法满足我们的要求的。这时候我们就需要比较计算结果和训练数据的“正确答案”，得到误差，从而调整神经网络内的权重和偏倚，来得到较满意的神经网络。
神经网络误差的计算
输出层节点误差的计算：
Tj 是训练数据的“答案”。其中 O j 是输出节点的输出，
为步长，为梯度方向
神经网络算法总结
到这里神经网络算法的计算部分就结束了，我们进行一下总结：输入节点将值输入到隐藏层，隐藏层和输出层的每一个节点进行计算，并输出。计算过程为加权和+偏倚得到净输入，净输入作为挤压函数的参数进行计算，得到的结果就是每一个节点的输出值。这样从前到后按层计算就会得到神经网络的结果。更新操作的方向与计算方向相反。通过输出节点的输出和训练数据的“正确答案”求出误差，使用梯度下降法对权重和偏倚进行更新。这样后向前按层更新，从而实现对整个神经网络的更新操作。
从而求得节点6的输出：
例题
到此我们就完成了神经网络算法的一次计算，下面对该网络进行更新操作。
例题
因为更新操作的顺序是从后往前的，首先对输出节点进行更新。先求输出节点的误差Err6：因为训练数据的 “正确答案”为1，所以T6等于1。权重进行更新操作：
偏倚进行更新操作：

三输入伯努利神经网络权值与结构双确定

三输入伯努利神经网络权值与结构双确定
张雨浓;罗飞恒;陈锦浩;黎卫兵
【期刊名称】《计算机工程与科学》
【年(卷),期】2013(35)5
【摘要】根据函数逼近理论以及Weierstrass逼近定理,构造出一类以伯努利多项式的乘积为隐层神经元激励函数的三输入神经网络模型,即三输入伯努利神经网络.针对该网络模型,根据权值直接确定法以及隐层神经元数目与逼近误差的关系,提出了三个网络权值与结构双确定算法.数值实验显示,由这三个算法分别确定的神经网络在学习与校验方面都拥有优越的性能,同时也具有较佳的预测能力.
【总页数】7页(P142-148)
【作者】张雨浓;罗飞恒;陈锦浩;黎卫兵
【作者单位】中山大学信息科学与技术学院,广东广州510006;中山大学信息科学与技术学院,广东广州510006;中山大学信息科学与技术学院,广东广州510006;中山大学信息科学与技术学院,广东广州510006
【正文语种】中文
【中图分类】TP183
【相关文献】
1.两输入幂激励前向神经网络权值与结构确定 [J], 张雨浓;劳稳超;余晓填;李钧
2.多输入Laguerre正交多项式前向神经网络权值与结构确定法 [J], 张雨浓;刘锦荣;殷勇华;肖林
3.多输入Sigmoid激励函数神经网络权值与结构确定法 [J], 张雨浓;曲璐;陈俊维;刘锦荣;郭东生
4.双输入样条神经网络权值与结构确定算法 [J], 杨文光;钟云香;李强丽;张军
5.伯努利双纽线右半有界区域内广义解析函数类的三阶Hankel行列式 [J], 汤获;张海燕;牛潇萌
因版权原因，仅展示原文概要，查看原文内容请购买。

切比雪夫正交基神经网络的权值直接确定法

1 引言
人工神经网络因其高度的并行性、分布式存储、自适应自学习能力等显著的特点 , 在人工智能、模式识别、信号处理和机器人及其非线性控制等领域有着广泛的应用 [ 1- 3] 。我们也曾利用神经网络开展过科学计算工作如矩阵方程求解和矩阵实时求逆等 [ 4- 5] 。在实际应用中 , 很多人工神经网络模型是采用基于误差回传 ( Back P ropagation, 即 BP ) 的神经网络及其变形体 , 它们可以说是应用最广泛也最重要的网络
[ 8- 9 ]
U0 ( x ) = 1 ; Uj ( x ) = j 2
f loo r(j / 2 )
E
( - 1) i
i= 0
( j - i - 1 )! ( 2x ) j- 2i , j \ 1 ! ( j - 2 i)! i
并且对于 Uj ( x ), 有递推关系式 : Uj+ 1 ( x ) = 2x Uj ( x ) - Uj- 1 ( x ), j = 1 , 2, 3, ,。在图 1, 给出了切比雪夫正交基神经网络的模型。它由输入层、隐层和输出层组成 , 其中输入层和输出层有一个神经元使用线性激励函数 f ( x ) = x (并固定其权值为 1、阀值为 0 ), 而隐层有 n 个神经元并使用一组阶次逐渐增高的切比雪夫正交多项式函数 Uj ( x ) 作为激励函数 , j = 0, 1, 2, ,, n - 1; 换言之 , 隐层第 j + 1 个神经元的激励函数是 Uj ( x )。其中 , U0 ( x ) = 1 U1 ( x ) = x U2 ( x ) = 2x2 - 1 U3 ( x ) = 4x3 - 3x U4 ( x ) = 8x4 - 8x2 + 1 , (x I , , [ - 1, 1] , j = 0, 1, 2, ,, n - 1 )

MISO多元广义多项式神经网络及其权值直接求解

MISO多元广义多项式神经网络及其权值直接求解肖秀春;张雨浓;姜孝华【摘要】基于多元函数逼近理论,构建一种MISO(Multiple-Input,Single-Output)多元广义多项式神经网络.依据最小二乘原理,推导出基于伪逆的最优权值一步计算公式--简称为权值直接确定法;在此基础上,提出基于指数增长和折半删减搜索策略的隐神经元数自适应增删搜索算法.该新型神经网络具有结构简单的优点,其权值直接确定法、隐神经元增删算法可以避免冗长的迭代计算、局部极小点和学习率难选取等问题,同时解决了传统BP神经网络难以确定隐神经元数这一难题.仿真实验显示其具有训练速度快、逼近精度高和良好的去噪特性等特点.【期刊名称】《中山大学学报（自然科学版）》【年(卷),期】2009(048)004【总页数】6页(P42-46,56)【关键词】多元广义多项式;权值直接确定;结构自适应确定;指数增长;折半删减【作者】肖秀春;张雨浓;姜孝华【作者单位】中山大学信息科学与技术学院,广东广州510275;广东海洋大学信息学院,广东湛江524025;中山大学信息科学与技术学院,广东广州510275;中山大学信息科学与技术学院,广东广州510275【正文语种】中文【中图分类】TP183人工神经网络(Artificial Neural Network，以下简称神经网络)是模拟人的神经系统之结构、原理及功能的一种仿生数学模型，由于其并行计算、分布式存储、高度容错、自组织自学习等特性而受到人们的广泛关注[1-4]。

BP(Back Propagation)神经网络是由Rumelhart和McClelland等人于1986年提出的一种前向神经网络，是目前应用最为广泛的神经网络模型及算法之一[1,5]，由于采用基于梯度下降思想的误差回传(即BP)学习算法而得名。

然而，传统BP神经网络及其学习算法却存在一些局限[6]，如：迭代过程冗长，学习过程易发生震荡；难以确保搜索到全局最优点；网络隐神经元数过多时，算法时间及空间代价高；不容易确定网络最优结构等。

正交多项式拟合

正交多项式拟合
正交多项式拟合是一种常用的数据拟合方法，它利用正交多项式的特性来拟合数据。

所谓正交多项式，指的是在一定范围内相互正交的多项式函数。

正交多项式拟合的基本思想是通过选择合适的正交多项式作为基函数，并利用最小二乘法来确定拟合参数。

常用的正交多项式包括勒让德多项式、拉盖尔多项式和埃尔米特多项式等。

在进行正交多项式拟合时，我们通常需要先选择适当的正交多项式作为基函数，并确定拟合的阶数。

然后，利用最小二乘法求解拟合系数，使得拟合函数与实际数据最接近。

正交多项式拟合的优点是可以较好地拟合非线性、非平凡的数据，且可以减小拟合过程中的误差。

它在数据拟合、函数逼近和信号处理等领域有着广泛的应用。

总之，正交多项式拟合是一种有效的数据拟合方法，可以通过选择合适的正交多项式来拟合数据，并通过最小二乘法确定拟合参数。

它的优点是可以较好地拟合非线性、非平凡的数据，并广泛应用于不同领域。