基于最小均方误差的Tikhonov正则化参数优化研究

合集下载

线性不适定问题中选取Tikhonov正则化参数的线性模型函数方法

线性不适定问题中选取Tikhonov正则化参数的线性模型函数方法

线性不适定问题中选取Tikhonov正则化参数的线性模型函
数方法
王泽文;徐定华
【期刊名称】《工程数学学报》
【年(卷),期】2013(000)003
【摘要】如何选取正则化参数是不适定问题Tikhonov正则化的一个重要问题。

基于吸收的Morozov偏差原理,研究了正则化参数选取的线性模型函数方法。

在从Hermite插值角度导出线性模型函数后,讨论了选取正则化参数的两种线性模型函数算法(基本算法与改进算法)及其收敛性。

为克服基本算法的局部收敛性,提出了一种新的线性模型函数松弛算法。

并且,提出了两种具有全局收敛性的组合算法,即线性与线性模型函数算法、双曲型与线性模型函数算法。

数值实验说明了所提算法的有效性。

【总页数】16页(P451-466)
【作者】王泽文;徐定华
【作者单位】东华理工大学理学院,南昌 330013;浙江理工大学理学院,杭州310018
【正文语种】中文
【中图分类】O241
【相关文献】
1.求解大规模线性离散不适定问题的Arnoldi-Fractional Tikhonov正则化算法[J], 张慧
2.基于混沌粒子群算法的Tikhonov正则化参数选取 [J], 余瑞艳
3.非线性不适定问题的Tikhonov正则化的参数选取和收敛率(英文) [J], 金其年
4.一种选取线性不适定问题正则化参数的迭代算法 [J], 徐会林
5.非线性不适定问题的Tikhonov正则化的参数选取方法 [J], 金其年; 侯宗义因版权原因,仅展示原文概要,查看原文内容请购买。

基于Tikhonov_正则化改进的IHB法求解Mathieu-Duffing_系统多重解

基于Tikhonov_正则化改进的IHB法求解Mathieu-Duffing_系统多重解

第 62 卷第 5 期2023 年9 月Vol.62 No.5Sept.2023中山大学学报(自然科学版)(中英文)ACTA SCIENTIARUM NATURALIUM UNIVERSITATIS SUNYATSENI基于Tikhonov正则化改进的IHB法求解Mathieu-Duffing系统多重解*王德亮1,2,刘济科1,刘广1,21. 中山大学航空航天学院,广东深圳 5181072. 深圳市智能微小卫星星座技术与应用重点实验室,广东深圳 518107摘要:增量谐波平衡法(IHB法)是研究强非线性振动系统的一种半数值半解析方法,然而已有研究表明,在求解含多重解的系统时该方法的收敛性强烈地依赖于初值的选择。

Tikhonov正则化常被用于优化问题中来解决可能出现的病态问题。

文章通过在原始的IHB法中引入Tikhonov正则化,提出一种改进的IHB法(TIHB法)来求解具有多重解的Mathieu-Duffing系统。

结果表明,改进的TIHB法可以快速、高效地获得系统的多个稳定或不稳定解,且算法的收敛性能要远远优于原始的IHB法。

关键词:非线性振动;IHB法;Tikhonov正则化;多重解中图分类号:V21 文献标志码:A 文章编号:2097 - 0137(2023)05 - 0078 - 07Multiple solutions of the Mathieu-Duffing system obtainedby the improved IHB method based on Tikhonov regularizationWANG Deliang1,2, LIU Jike1, LIU Guang1,21. School of Aeronautics and Astronautics,Sun Yat-sen University, Shenzhen 518107, China2. Shenzhen Key Laboratory of Intelligent Microsatellite Constellation, Shenzhen 518107, ChinaAbstract:The incremental harmonic balance method (IHB method) is a semi-numerical and semi-ana‐lytical method for strongly nonlinear dynamic systems. However, previous studies have shown that the convergence performance of the original IHB method in solving systems with multiple solutions strong‐ly depends on the selection of initial values. The Tikhonov regularization is often used in optimization problems to solve potential ill-posed problems. In this paper, by incorporating the Tikhonov regulariza‐tion into the original IHB method, an improved IHB method (TIHB method) is proposed to obtain the multiple solutions of the Mathieu-Duffing system. The results show that the improved TIHB method can obtain the stable and unstable solutions of the Mathieu-Duffing system quickly and efficiently, and the convergence performance of the TIHB method is much better than the original IHB method.Key words:nonlinear vibration; IHB method; Tikhonov regularization; multiple solution现实中的各种振动系统都含有非线性因素(陈予恕,1992;陈树辉,2007;Amabili,2008)。

基于核的最小均方误差改进算法及其应用

基于核的最小均方误差改进算法及其应用
( 1 a . Ne t wo r k Mo n i t o i r n g Ce n t e r o f J i a n g s u P r o v i n c e ; l b . Co l l e g e o fCo mp u t e r a n d S o twa f r e ,
[ Ab s t r a c t ]T h e o i r g i n a l Ke r n e l — b a s e d mi n i mu m Me a n S q u a r e E r r o r ( K MS E ) a l g o i r t h m, d e p e n d s o n a n u m b e r o f e q u a t i o n s t o
2 . 吉首大学物理科学与信息工程学院 ,湖南 吉首 4 1 6 0 0 0 )
摘 要: 传统基于核的最小均方误差( K MS E ) 算法在进行人脸识别时, 需要求解多个方程,计算量较大。 为此,提出一种用
于 多类识别 的基于核 的多元最小均方误差( K MS E MC ) 算法 ,该算法只需一个方程 即可 。在 A R 人脸库上的实验及数据分析 表 明,该算法在 时间复杂 度和识别率等方面计算量较小 ,在识男 0 性能和计算 时间上都优于 同类传统算法 。 关健诃 : 模 式识 别 ;人脸识 别 ;最小均方误差算法 ;基于 核的最小均方误差算法 ;时 间复杂度
a d d r e s s t h e mu l t i - c l a s s c l a s s i i f c a t i o n p r o b l e m, wh i c h c a u s e s a l a r g e c o mp u t a t i o n a l a fo r d . A n e w KM S E a l g o r i t h m f o r Mu l t i — c l a s s

Tikhonov 方法在不适定模型修正中的应用

Tikhonov 方法在不适定模型修正中的应用

Tikhonov 方法在不适定模型修正中的应用邱飞力;张立民;张卫华【摘要】Along with the wide application of numerical analysis and modeling,getting a correct simulation model becomes an urgent requirement and consequently the parameter-sensitivity updating method has been developed rapidly. The direct least square method can't always get the steady physical solution in the cases of ill-posed target function equations and ill-conditioned sensitivity matrixes.The ill characteristics of the sensitivity matrixes and target function equations were investigated.A six-DOF discrete vehicle and a frame finite element model were updated with the Tikhonov regulation method by using the over determined and under determined simulation model respectively.The defect of the direct least square method was solved.The updated models reflect exactly the real mass and the size difference.of the structure.It's proved that the method is applicable in engineering practice.%数值建模和分析在结构动态设计中应用广泛,为获取准确的计算模型,基于参数灵敏度有限元修正技术得到迅速发展。

Tikhonov正则化参数的选取及两类反问题的研究的开题报告

Tikhonov正则化参数的选取及两类反问题的研究的开题报告

Tikhonov正则化参数的选取及两类反问题的研究的开题报告题目:Tikhonov正则化参数的选取及两类反问题的研究一、研究背景和意义:随着科学技术的进步,反问题研究成为了最热门的研究领域之一。

反问题的研究涉及到的学科领域非常广泛,其中数学、物理和工程等领域是最为重要的。

反问题包括了许多子领域,如参数反问题、区域反问题、混合反问题等等。

其中参数反问题是最为基础和重要的子领域之一。

Tikhonov正则化方法在参数反问题中得到了广泛应用,因为它可以通过降低噪声波动和提高解的光滑性来改进问题的稳定性。

然而,在应用Tikhonov正则化方法时,如何选取正则化参数是一个非常重要的问题,因为不同的正则化参数会影响到结果的精度和稳定性。

此外,不同类型的反问题需要对正则化参数作出不同的选择,这也是一个需要进一步探究的问题。

因此,我们需要对Tikhonov正则化参数的选取以及在不同类型的反问题中的应用进行深入的研究。

二、研究内容和目标:本文将主要研究Tikhonov正则化参数的选取方法,探讨其在参数反问题和区域反问题中的应用。

具体研究内容包括以下几个方面:1. 对Tikhonov正则化方法的优化算法进行研究,包括最小二乘方法、正交匹配迭代算法等。

2. 针对参数反问题,研究不同类型的Tikhonov正则化方法与对应的正则化参数的选取方法,并比较其性能和精度。

3. 针对区域反问题,研究不同类型的Tikhonov正则化方法与对应的正则化参数的选取方法,并比较其性能和精度。

4. 开发相应的计算程序,实现研究结果的数值验证和实际应用。

通过以上研究,本文旨在实现以下目标:1. 系统性地总结不同类型的Tikhonov正则化方法与对应的正则化参数的选取方法,并探讨其适用范围和局限性。

2. 比较不同类型的Tikhonov正则化方法及其选取的正则化参数在参数反问题和区域反问题中的应用效果,提出相应改进措施,提高解的稳定性和精度。

3. 开发相应的计算程序,实现研究结果的数值验证和实际应用,为相关领域的研究提供参考。

基于核的最小均方误差改进算法及其应用

基于核的最小均方误差改进算法及其应用

基于核的最小均方误差改进算法及其应用基于核的最小均方误差改进算法(KMSE)是核学习方法中的一种有效算法,有助于优化复杂和非凸问题。

近年来,KMSE算法已被用于许多领域,包括机器学习,模式识别,计算机视觉,信号处理和信息检索。

本文的目的是介绍KMSE算法的基本原理和其应用。

首先,我们讨论了KMSE算法在数学上表示的形式,并讨论了理论上的最优化步骤。

其次,文章探讨了KMSE算法在实际应用中的优势,例如抗噪性和收敛性。

最后,本文介绍了KMSE算法在几个重要领域的应用,这些领域包括机器学习,模式识别,计算机视觉,信号处理和信息检索。

第二部分:简介基于核的最小均方误差改进算法(KMSE)是一种有效的优化算法,用于求解复杂和非凸的优化问题。

它采用有效的平衡率来改善最小均方误差(MSE)算法。

该算法采用半正则化和全正则化方法来优化模型。

KMSE算法在实际应用中具有许多优势,这些优势包括抗噪性,收敛性,快速计算和自适应性。

第三部分:KMSE算法的基本原理KMSE算法是基于核函数的优化算法,它可以将非凸的优化问题转换为凸的优化问题。

它的基本原理是通过计算非线性核函数来实现。

KMSE算法的主要步骤是:(1)构造非线性核函数;(2)计算改进的最小均方误差;(3)设定正则化和反正则化系数;(4)选择最佳参数;(5)更新模型;(6)重复以上步骤,直到收敛为止。

第四部分:KMSE算法的实际应用KMSE算法在机器学习,模式识别,计算机视觉,信号处理和信息检索等领域都得到了广泛的应用。

例如,KMSE算法用于进行人脸识别,语音识别等任务。

另一方面,KMSE算法也可以用于信号处理,图像处理和机器学习等领域。

在信号处理领域,KMSE算法可以帮助优化信号参数,从而提高信号处理的性能。

此外,KMSE算法也可用于信息检索,以实现更快更准确的搜索速度。

第五部分:结论KMSE算法是一种高性能的优化算法,它可以解决复杂和非凸的优化问题,并且比传统的MSE算法更有效地为给定问题求解最优解。

改进的果蝇优化与Tikhonov正则化相结合的病态问题稳健解法_范千

改进的果蝇优化与Tikhonov正则化相结合的病态问题稳健解法_范千

第45卷 第6期测 绘 学 报Vol.45,No.6 2016年6月Acta Geodaetica et Cartographica Sinica June,2016引文格式:范千,张宁.改进的果蝇优化与Tikhonov正则化相结合的病态问题稳健解法[J].测绘学报,2016,45(6):670-676.DOI:10.11947/j.AGCS.2016.20150606.FAN Qian,Zhang Ning.Ill-conditioned Problems Robust Solution of Improved Fruit Fly Optimization Algorithm Combiningwith Tikhonov Regularization Method[J].Acta Geodaetica et Cartographica Sinica,2016,45(6):670-676.DOI:10.11947/j.AGCS.2016.20150606.改进的果蝇优化与Tikhonov正则化相结合的病态问题稳健解法范 千1,2,3,张 宁41.福州大学土木工程学院,福建福州350108;2.桂林理工大学广西空间信息与测绘重点实验室,广西桂林541004;3.精密工程与工业测量国家测绘地理信息局重点实验室,湖北武汉430079;4.闽江学院物理学与电子信息工程系,福建福州350108Ill-conditioned Problems Robust Solution of Improved Fruit Fly OptimizationAlgorithm Combining with Tikhonov Regularization MethodFAN Qian1,2,3,ZHANG Ning41.College of Civil Engineering,Fuzhou University,Fuzhou 350108,China;2.Guangxi Key Laboratory of SpatialInformation and Geomatic,Guilin Uninversity of Technology,Guilin 541004,China;3.Key Laboratory of PreciseEngineering and Industry Surveying of National Administration of Surveying,Mapping and Geoinformation,Wuhan430079,China;4.Department of Physics &Electronic Information,Minjiang University,Fuzhou 350108,ChinaAbstract:Based on deeply analysis for optimization process of basic fruit fly optimization algorithm,animproved fruit fly optimization(IFOA)algorithm is proposed via changing random search direction andadding to a tuning coefficient of search radius.Moreover,through introducing the regularization term ofobjective function in IFOA algorithm,a new method that IFOA algorithm is combined with Tikhonovregularization method is put forward in order to resolving ill-conditioned problems.Analysis results ofpractical example show that solution accuracy of new method is superior to genetic algorithm and singleTikhonov regularization method.When observation contains gross errors,the deviation between the resultsand the true value will increase rapidly using least square method to solve ill-conditioned problems.At thistime,the new method has strong robustness.Compared with intelligent search method represented bygenetic algorithm,new method has the characteristics of less parameter,fast calculation speed,simpleoptimization process.It is more practical in ill-conditioned problems solution.Key words:fruit fly optimization;random search direction;Tikhonov regularization method;ill-conditionedproblems solution;gross errorFoundation support:National Natural Science Foundation of China(No.41404008);Open Foundation ofGuangxi Key Laboratory of Spatial Information and Geomatics(No.1103108-21);Open Foundation of KeyLaboratory of Precise Engineering and Industry Surveying of National Administration of Surveying,Mappingand Geoinformation(No.PF2015-12);Open Foundation of Jiangxi Province Key Lab for Digital Land(DLLJ201408);Science and Technology Development Foundation of Fuzhou University(No.2014-XQ-33)摘 要:在对基本果蝇优化算法的优化流程进行深入分析的基础上,通过改变其随机搜索方向与增加搜索半径调整系数,给出了一种改进的果蝇优化算法(IFOA)。

不适定问题的tikhnonov正则化方法

不适定问题的tikhnonov正则化方法

不适定问题的tikhnonov正则化方法《不适定问题的tikhnonov正则化方法》一、Tikhonov正则化方法简介Tikhonov正则化方法是一种在不确定性情况下,以满足已获知条件来确定未知参数的数学方法,也称为受限最小二乘法(RLS)或Tikhonov惩罚。

它是拟合未知数据,裁剪异常数据或选择特征的常用技术。

它结合了线性代数的误差拟合和函数的模型,通过比较数据和模型来实现,并且可以消除装配数据较大的噪声。

它广泛应用于各种领域,如机器学习,图像处理,测量信号处理,医学成像,数据拟合等。

二、不适定问题不适定问题指的是拟合数据时,没有明确地标定未知数据范围或转换规则,需要解决大量不完全未知因素时,所面临的问题。

在大量实际问题中,存在着许多模型参数或者说未知量,通常我们是模糊不清的,不知道未知量到底应该取多少值,这些未知量和现实世界紧密相连,因此,很难准确的给出未知量的取值范围,这样的问题就称之为不适定问题。

三、Tikhonov正则化解决不适定问题的方法Tikhonov正则化是极其重要的方法,可以有效地解决不适定问题。

它主要基于几何形式的最小二乘拟合方法,考虑多个参数逐步克服受限性,增加惩罚力度,以抑制不具可解释性,存在明显异常点的资料变化,有效影响拟合数据偏离未知数带来的影响,使数据拟合的更加准确,能够比较准确的拟合复杂的函数。

四、Tikhonov解不适定问题优势所在Tikhonov正则化的主要优点有两个:一是克服参数之间的相关性,从而减少误差拟合;二是增加惩罚力度,从而抑制异常点。

此外,他还可以从数据中提取出更多有用的信息,增强无关事实的辨认能力,减少参数数量,从而确保拟合信息具有更强的准确性和可靠性。

因此,Tikhonov正则化有助于更好地解决不适定问题,能够提高模型的分类概率,以达到解决不适定问题的最佳效果。

五、总结Tikhonov正则化方法是一种有效地解决不适定问题的方法,它可以通过比较有约束的正则误差与受限的最小二乘拟合的误差之间的差异来拟合数据,克服参数之间的相关性,准确作出拟合结果,提高模型的分类概率,减少参数数量,以达到解决不适定问题的最佳效果。

确定Tikhonov参数的改进函数法

确定Tikhonov参数的改进函数法
khonov 正则化,其基本思想为求泛函:


Jα(
x)= ‖Kx -yδ ‖Y
+α‖x‖X
收稿日期:2020

02

13
(
3)
基金项目:国家自然科学基金资助项目(
11671082);江苏省高校自然科学基金 面 上 项 目 (
18kJD110002);金 陵 科 技 学 院 博 士 科 研 启 动
基金项目(
i
t

b

201524);金陵科技学院校级科研孵化基金项目(
J
i
t

f
hxmG
201809)
j
通讯作者:胡宇清(
1984- ),女,江苏扬州人,讲师,博士,研究方向为数学物理反问题 .EGma
i
l:yqhu@j
i
t.
edu.
cn
第2期
胡宇清,等:确定 Ti
khonov 参数的改进函数法

6876(
2020)
02

0100

06
0 引言
偏微分方程反问题一直是应用数学和计算数学领域的研究热点,它 广 泛 存 在 于 自 然 科 学 和 社 会 科
学中,是地球物理勘探、油气油田开发、材料的无损伤检测、人体癌症 肿 瘤 的 检 测、雷 达 和 声 纳 的 探 测 与
跟踪等应用科学的基础 [1G8].当我们把具体的物理现象用微分方程定解问题来描 述 时,反 问 题 一 般 是 重
x)存在唯一的极小元xαδ δ ,
且 xα(δ),δ 为方程
( ),
( ),
(
α
xαδ δ + K ∗ Kxαδ δ = K ∗yδ

基于核的最小均方误差改进算法及其应用

基于核的最小均方误差改进算法及其应用

基于核的最小均方误差改进算法及其应用方误差(MeanSquareError,MSE)是一种用来衡量估计量与实际值之间差异程度的指标。

MSE在回归分析中非常常用,但由于其公式中数据严重影响拟合效果,很容易引发过拟合现象。

为了改善MSE,人们提出了核心的最小平方误差优化(Kernel Based Minimum Square Error Optimization,KBMSEO)算法,以解决过拟合问题。

KBMSEO是基于核技术实现的一种机器学习算法,在传统MSE的基础上,通过将训练数据映射到更高维的空间,然后使用更高维的核方法进行模型拟合,以避免数据维度过多的问题,并有效解决过拟合问题。

它有助于提高拟合函数的泛化能力,改善拟合函数的拟合效果。

KBMSEO算法主要由四个步骤组成:1.处理:将原始训练数据映射到更高维的空间,以提高拟合函数的复杂度和泛化能力。

2.算核函数:根据映射后的训练数据,计算拟合模型的核函数。

3. 优化最小均方误差:设定一个模型,然后迭代优化最小均方误差直至收敛。

4.测:将优化后的模型应用到测试数据集,进行预测。

KBMSEO在机器学习领域有多种应用,如自然语言处理、图像识别、计算机视觉、自动驾驶等。

在自然语言处理中,KBMSEO可以从大量文本中提取有用特征,并将这些特征转化为机器可读的形式,以实现自然语言理解。

在图像识别和计算机视觉中,KBMSEO可以检测图像中的物体,识别这些物体,并分析它们之间的相关性。

此外,KBMSEO还可以用于自动驾驶,能够给出机器驾驶员的安全可行的行驶路线,以实现可操纵的机器自动行驶。

KBMSEO是一种有效的改进算法,能够有效解决MSE的过拟合问题,并大大提高拟合函数的泛化性能。

它已经被广泛应用于机器学习领域,如自然语言处理、图像识别、自动驾驶汽车等。

如今,KBMSEO 仍处于不断发展阶段,未来尚有更多的潜力等待开发和挖掘。

迭代Tikhonov正则化位场向下延拓方法及其在尕林格铁矿的应用

迭代Tikhonov正则化位场向下延拓方法及其在尕林格铁矿的应用

迭代Tikhonov正则化位场向下延拓方法及其在尕林格铁矿的应用赵亚博;刘天佑【摘要】解析延拓是一种广泛应用的位场处理方法,向下延拓可以压制深部地质体的影响,突出浅部异常。

但是,向下延拓滤波因子是一个高通滤波器,会造成下延结果震荡,从而限制了该方法在实际资料中的应用。

文中详细介绍并实现了迭代Tikhonov正则化向下延拓方法,在理论模型上将该方法与传统频率域延拓方法进行对比,表明迭代Tikhonov正则化向下延拓方法的有效性;并将该方法应用于青海尕林格铁矿区磁测资料的处理解释中,下延结果与钻探情况相符,说明在厚覆盖层的勘查区中,运用迭代Tikhonov正则化向下延拓方法能够有效地提高资料处理解释的效果。

%Analytic continuation for potential field is a widely used method for processing and interpretation, because downwardcon⁃tinuation can suppress the influence of deep geological bodies and protrude the shallow layer anomaly. However, the downward con⁃tinuation filter factor is a high⁃pass filter, leading to unstableness of the result, and therefore it can not be used to process the real data. The authors systematically studied and implemented the iterative Tikhonov regularization method for downward continuation of potential fields. In contrast to the continuation of potential field on the theoretical model, the iterative Tikhonov regularization method indicates better effectiveness than frequency domain. The authors also applied this method to Galingeiron deposit's magnetic data pro⁃cessing, and the results indicate that the iteration Tikhonov regularization method for downwardcontinuation of potential fields is wor⁃thy to use in heavy overburden exploration areas.【期刊名称】《物探与化探》【年(卷),期】2015(000)004【总页数】6页(P743-748)【关键词】重磁勘探;向下延拓;迭代Tikhonov正则化;尕林格铁矿【作者】赵亚博;刘天佑【作者单位】中国地质大学武汉地球物理与空间信息学院,湖北武汉 430074;中国地质大学武汉地球物理与空间信息学院,湖北武汉 430074【正文语种】中文【中图分类】P631上世纪70年代初,我国开始将计算机应用于地球物理勘探资料的处理解释。

Tikhonov正则法在解决不适定问题的应用的开题报告

Tikhonov正则法在解决不适定问题的应用的开题报告

Tikhonov正则法在解决不适定问题的应用的开题报告概述不适定问题是指在数学建模过程中,由于某些原因导致所得到的方程或模型无法准确求解或解不唯一的问题。

该问题在科学和工程领域中十分常见,例如反演问题、图像处理、信号处理等。

Tikhonov正则法是一种常见的解决不适定问题的方法,在不降低数据拟合程度的情况下,通过加入正则化项来对解进行约束和稳定化。

研究背景随着科技的发展,人们对于大量数据的获取和处理需求越来越高。

但是在实际应用中,往往会出现数据不完整、噪声干扰等问题,使得所得到的方程或模型无法准确求解。

此时需要采取一些特殊的方法解决这种不适定问题,以保证模型的准确性。

Tikhonov正则法是解决不适定问题的一种经典方法。

它最早是由俄罗斯数学家Andrey Tikhonov提出的,在20世纪50年代被广泛应用于科学、工程和经济学领域。

随着计算机技术的快速发展和数学方法的不断提高,Tikhonov正则法在实际应用中的地位越来越重要。

研究内容Tikhonov正则法的基本思想是通过对解的约束来解决不适定问题。

它在最小二乘框架下,通过引入一个正则化项来对解进行加权控制,从而避免了过拟合或不稳定的情况出现。

正则化项的数量可以通过交叉验证等方法来确定。

Tikhonov正则化问题的形式如下:min||Ax-b||^2+λ||x||^2其中,A是一个矩阵,b是一个向量,x是待求解向量,λ是一个正则化参数。

当λ为0时,这个问题退化为最小二乘问题。

λ的值越大,则正则化项的作用越大。

研究意义Tikhonov正则法在解决不适定问题的应用具有很大的意义。

它对于科学和工程领域的数据处理、反演问题的求解等方面都有很大的影响。

特别是在图像处理、信号处理等领域中,Tikhonov正则法已经成为一种非常有力的工具。

同时,Tikhonov正则法还有很多的变体和扩展。

例如,基于某些特殊结构的正则化方法、基于贝叶斯理论的正则化方法、基于字典学习的正则化方法等等。

广义迭代Tikhonov正则化方法的参数选取

广义迭代Tikhonov正则化方法的参数选取

第24卷 第1期 陕西师范大学学报(自然科学版) V o l.24 N o.1 1996年3月J o urnal o f Shaanxi No r ma l U niv er sity (N atural Science Editio n)M ar.1996 广义迭代Tikhonov 正则化方法的参数选取*陈 宏1 侯宗义2(1武汉大学数学系,武汉430072;2复旦大学数学系,上海200433;第一作者,男,35岁,博士后)摘 要 在模型具有误差的情况下,讨论了求第一类算子方程解的含闭算子的迭代Tikho nov 正则化方法.运用谱理论建立使正则化逼近解具有最优收敛阶的选取正则参数的方法,得到收敛性及收敛阶估计定理.关键词 算子方程;迭代Tikhonov 正则化;不适定问题;收敛阶估计分类号 O 174.5考虑线性算子方程 Tx =y ,(1)在这里,x ,y 是希尔伯特空间X ,Y 中的元素,T 是具有非闭值域的线性有界算子.T +表示Moo re-Penr ro se 广义逆.但方程(1)的极小平方解T+y 不连续地依赖于方程的右端项y .而且,仅当y ∈R (T ) R (T )⊥时,方程(1)才可解.在这里R (T )表示T 的值域.因此,求解方程(1)是一个不适定的问题.一个典型的例子是第一类Fredho lm 积分方程∫10K (t ,s )x (s )d s =y (t ),t ∈〔0,1〕的求解问题.在这里,x ,y ∈L 2〔0,1〕,K (t ,s )∈L 2(〔0,1〕2)是非蜕化核.求解这类不适定问题,广泛采用的处理方法是正则化方法.其中最著名的正则化方法是Tikho nov 正则化方法〔1〕.这种方法的核心思想是使用泛函F T (x )=‖Tx -y W ‖2+T ‖x ‖2(T >0)的唯一极小元x T ,W 逼近精确解T +y .此处,y W 是y 的近似值‖y -y W ‖≤W ,T 是待定参数.已知结果表明:如果选择正则参数T 为误差W 的函数T =T (W ),使得lim W →0W 2T (W )-1=0,lim W →0T (W )=0,那么有lim W →0x T ,W =T +y 〔2〕.一般而言,x T ,W 收敛于T +y 的速度可以任意慢〔3〕.通常,在精确解具有某种光滑性的假设条件下,譬如,假设T +y ∈R (T *T ),可以得到x T ,W 的收敛阶估计.C.W.Gro etsch 的一个饱和定理表明,x T ,W 的最优收敛阶是O (W 23)〔3〕.较高的收敛阶可以借助“迭代方法”获得.迭代正则化逼近解可按如下方式定义:x (0)T ,W =0,x (j )T ,W =(T I +T *T )-1〔T *y W +Tx (j -1)T ,W 〕,j =1,2,….它的最优收敛阶为O (W 2j2j +1)〔4〕.文〔5〕首次提出含微分算子的正则化方法.即用泛函F T (x )=‖Tx -y ‖2+T ‖x ″‖2的唯一极小元作为逼近解.J.Locker 和P.M.Prenter 将这一思想推广到闭算子的情形〔6〕.在正则化理论中,正则参数的选择是重要问题.具有代表性的参数选取方法有三种,它们分别是Mo rozov 方法、Arca ngeli 方法以及修正的Arcang eli 方法〔7,8〕.上述所有方法及结果都是在算子T 精确已知而y 近似已知的条件下给出的.专著〔9〕、〔10〕中讨论了T 近似已知时普收稿日期:1995—08—24 *博士后科学基金与国家自然科学基金资助项目通Tikhonov 正则化方法的收敛性,未涉及参数的选取与收敛阶的估计.有关这方面的工作,还可参考文〔11〕、〔12〕.在算子与右端都近似已知的条件下,本文运用谱分析的方法考查了含闭算子的迭代正则化方法.给出参数的选择方法,收敛性定理及收敛阶估计.我们的工作分为两个步骤.第一步建立同时依赖于T 及T h (‖T -T h ‖≤h )的正则化方法.利用第一步的结果,第二步建立仅依赖于T 的近似算子T h 的正则化方法.本文进行的是第一步的工作.1 记号与空间用(X ,‖ ‖x ,〈 , 〉x )表示一个范数为‖ ‖x ,内积为〈 , 〉x 的内积空间.假设(X ,‖ ‖x ,〈 , 〉x )与(Y ,‖ ‖y ,〈 , 〉y )都是希尔伯特空间.对任意实数h >0,设T ,T h :(X ,‖ ‖x ,〈 , 〉x ) (Y ,‖ ‖y ,〈 , 〉y )都是有界线性算子,满足 ‖T -T h ‖≤h .(2)令D ( ),R ( ),N ( )分别表示算子的定义域、值域、零空间,假设算子D :D (D ) (Y ,‖ ‖y ,〈 , 〉y )是闭的线性算子,满足(D 1)D (D )是(X ,‖ ‖x ,〈 , 〉x )中的稠密线性子空间,R (D )是(Y ,‖ ‖y ,〈 , 〉y )中的闭集.(D 2)存在常数k >0,使得当x ∈N (D )时,有‖Tx ‖y ≥k ‖x ‖x.满足上述条件的闭算子D 是存在的〔1〕.对任意给定的实数W >0,设y ∈R (T ),y W∈(Y ,‖‖y ,〈 , 〉y )满足不等式 ‖y -y W ‖≤W (3)及 T *y ≠0,T *y W ≠0.(4)在这里,T *表示T 的共轭.构造方程(1)的正则化逼近解u (j )T ,W ,h 如下(定义u (j )T ,W ,h 的合理性可参见后面内容中的注1):u (0)T ,W ,h =0,u (1)T ,W ,h =(T *h T h +T T *T +T D *D )-1T *h y W ,u (j )T ,W ,h =(T *h T h +T T *T +T D *D )-1〔T *h y W +T (T *T +D *D )u (j -1)T ,W ,h 〕,j =1,2, (5)本文的后面内容就是要证明:适当选取正则参数T j =T j (W ,h ),当偏差(W ,h )趋于零时,u (j )T j ,W ,h 必趋向于方程(1)的某个极小平方解.为此,在D (D )上引入两种运算〈x 1,x 2〉0=〈Tx 1,Tx 2〉y +〈Dx 1,Dx 2〉y ,‖x ‖20=〈x ,x 〉0.根据文〔6〕有引理1 运算〈 , 〉0及‖ ‖0分别是D (D )上的内积运算和范数.(D (D ),〈 , 〉0,‖ ‖0)是希尔伯特空间.对任意T >0,T *T +T D *D 有有界逆.注1 引理1与条件(2)式保证,当h 小于某个常数h 0后,(5)式中出现的逆算子存在且有界.令算子T ,T h :(D (D ),‖ ‖0,〈 , 〉0) (Y ,‖ ‖y ,〈 , 〉y )分别表示算子T ,T h 在D (D )上的限制,T=T |D (D ),Th=T h |D (D ).不难推算 u(j )T ,W ,h =∑ji =1T i -1(T *hTh+T I )-i T*hy W .(6)在这里,I 表示单位算子.5第1期陈 宏等:广义迭代Tikhonov 正则化方法的参数选取2 参数选取N 表示自然数构成的集合.且令d j (T )=‖T h u (j )T ,W ,h -y W ‖2y .为确定正则参数,需证明下面的引理.引理2 (1)对每个j ∈N ,有lim T →0+d j (T )=0,lim T →+∞d j (T )=‖y W ‖2;(2)对每个j ∈N,d j (T )是正半轴上的严格递增的非负连续函数.证明 令{E λ}表示算子ThT*h的谱系.根据(6)式及谱分解定理推知 d j (T )=∫∞0T T +λ2jd ‖E λy W ‖2y ,j ∈N.(7)根据(7)式不难证明引理 2.引理2证毕.对任意正实数p ,q ,s ,引理2保证了方程 T qd j (T )=W p+h s (j =1,2,…)(8)有唯一的正实根T -j ≡T -j (W ,h ).令r =W 2+h 2,m =min{p ,s }.下面讨论T —j (W ,h )的性质.引理3 对任意j ∈N,lim r →0T -j (W ,h )=0,且有T -j (W ,h )≥T -j -1(W ,h ).此处,记T -0=0.证明 根据(6)、(7)和(8)三式,不难证明T -j 具有下述两条性质:(i)当r 趋于零时,T -j 是有界的;(ii)如果存在数列r n =W 2n +h 2n →0(n →∞),使得极限lim n →∞T -j (W n ,h n )存在,那么,必有lim n →∞T -j (W n ,h n )=0.假设lim r →0T -j (W ,h )≠0,根据极限的定义及性质(i)可知,存在常数X 0>0及数列r n =W 2n+h 2n→0(n →∞),使得极限lim n →∞T -j (W n ,h n )存在且满足lim n →∞T -j (W n ,h n )≥X O >0.这个结果与T -j 的性质(ii)相矛盾.因此,反证法假设lim r →0T -j (W ,h )≠0不成立.所以必有lim r →0T -j (W ,h )=0.引理3中的第二条结论是引理2及方程(8)的直接推论.引理4 设p ,q ,s ,W ,h 都是正实数.(i)取2q >m -2,则有lim r →0r 〔T -j (W ,h )〕-12=0;(ii)假设T+y ∈R ((T*T)j -12),且取q >(m -2)j ,那么,存在正常数M 1,M 2,使得M 1≤r m〔T -j (W ,h )〕-g -2j≤M 2.证明 (i)根据y ∈R(T ),不妨设y =T (T +y ).于是对任意实数T >0都有d 1(T )≤O (r +T ),在这里,O ( )表示同阶.根据方程(8)便得 r 〔T -1(W ,h )〕-qm ≤Or +(T -1(W ,h ))122m.(9)如果q m ≥12,不妨设T -1<1,上述不等式与引理3一起蕴含lim r →0r 〔T -1(W ,h )〕-12=0.现在假设q m <12.令k 0=0,k n =q m ∑n -1i =02mi,n ∈N.数列{k n }是非负严格递增的数列.根据(9)式,并使用数学归纳法可以证明r 〔T -1(W ,h )〕-kn +1≤O ({r 〔T -1(W ,h )〕-kn+〔T -1(W ,h )〕12-k n }2m ),n =1,2,….据此,并应用引理3及归纳法,不难推算,当k n <12时,定有lim r →0r 〔T -1(W ,h )〕-k n +1=0,n =6陕西师大学报(自然科学版)第24卷0,1,2….这个关系式蕴含当q m <12时,也有lim r →0r 〔T -1(W ,h )〕-12=0.根据引理3便证得结论:(i)lim r →0r 〔T -j (W ,h )〕-12=0;(ii)设T+y =(T*T)j -12x 0.根据d j (T )的定义,可以推出,d j (T )≤O (r +T j).应用方程(8)又得 r 〔T -j (W ,h )〕-q m≤O ((r +〔T -j (W ,h )〕j )2m ),(10)根据这个不等式又可以证明 lim r →0r 〔T -j (W ,h )〕-j=0.(11)上述(10)、(11)两式蕴含:存在常数M 2>0,使得r m〔T -j (W ,h )〕-q -2j≤M 2.另一方面有(T j )-j d j (T )≥|‖(ThTh*+T I )-j (y -y W )+a j x 0‖y-‖(TT *+TI )-jT (T*T)j -12x 0‖y |,在这里,a j =〔(ThTh*+T I )-j -(T T*+T I )-j〕T (T *T )j -12,j =1,2,….所以,根据(11)式又得lim r →0〔T j (W ,h )〕-jd j (T -j )≥‖x 0‖0>0.这个下极限不等式与方程(8)一起蕴含:存在常数M 1>0,当r 充分小后有r m〔T -j (W ,h )〕-q -zj≥M 1>0.引理4证毕.3 收敛性及收敛阶的估计引理5 假设(2)、(3)及(4)式成立.那么,(i)有不等式‖u (j )T ,W ,h -u (j )T ,s ‖0≤O (r 2T -1+r T -12)及‖u (j )T ,W ,h -T+y ‖0≤O (r 2T -1+r T -12+‖u (j )T ,W -T+y ‖0)成立;(ii)当T+y ∈R ((T*T)j -1+ν),ν∈(0,1〕时,有不等式‖u (j )T ,W ,h -T+y ‖0≤O (r 2T -1+r T-12+T j -1+ν)成立.这里u (j )T ,W 是用T 代替(5)式中的T h 而得到的结果.证明 令b j =(T*hTh+T I )-j T*h-(T*T +T I )-j T*,j =1,2,…;Z j =u (j )T ,W ,h -u (j )T ,W ,j =1,2,….根据定义不难推出Z j =T j -1b j (y W -y )+T j -1b jT (T+y )+Z j -1.应用数学归纳法可以证明‖b j ‖≤O (r T -j),‖b j T ‖≤O (r T -j +12);从而有‖Z j ‖0≤O (r 2T12+r T -12),j =1,2,….使用这个递推关系式,并注意到文〔8〕中的(1.7)式‖u (j )T ,W -T+y ‖0≤O (r T -12+T j -1+ν),不难得到本引理中的结果(i)和(ii).最后,给出收敛性定理及阶的估计.定理 假设p ,q ,s ,W ,h 都是正实数;条件(2),(3)及(4)成立;u(j )T ,W ,h由(5)式定义;T -j (W ,h )是方程(8)的根.(i)取2q >m -2,那么有lim r →0‖u (j )T -j ,W ,h -T+y ‖0=0;(ii)设T+y ∈R ((T *T)j -1+ν),ν∈(12,1〕.取2q =(2j -1+2ν)m -4j ,那么有‖u (j )T -j ,W ,h -T +y ‖0≤O (r 2j +2ν-22j +2ν-1),r →0.证明 (i)根据引理3、引理4—(i)、引理5—(i)以及已知的结果lim r →0‖u (j )T -j ,W -T+y ‖0=0,立刻推出lim r →0‖u (i )T -j ,W ,h -T+y ‖0=0.(ii)根据引理4—(ii)及引理5—(ii),经简单计算推知,T -j (W ,h )=O (r mq +2j)及‖u (j )T -j ,W ,h -T+y ‖0≤O (r 2j +2ν-22j +2ν-1).定理证毕.7第1期陈 宏等:广义迭代Tikhonov 正则化方法的参数选取8陕西师大学报(自然科学版)第24卷上述定理—(ii)中的结果是最优的〔8〕.特别,当j=ν=1,D=I时,除相差一个常数因子外,u(j)T-,W,h就是通常的Tikho nov正则化逼近解.而它的收敛阶正是Groetsch所指出的最优阶jO(r23).参 考 文 献1 Gr oetsch C W.The theo ry of Tikh onov requla ri zatio n fo r Fredho lm equations of the first kind.Bo sto n: M A.Pitamn,19842 Eng l H W.N ecessa ry and sufficient co nditions fo r conv erg ence o f reg ula rization methods fo r solving lin-ea r opear ato r equa tions of the first kind.N umer.Funct.Anal.O ptim.,1981,3:201~2223 Scho ck E.O n the asy mpto tic order o f accur acy o f Tikhonov r egula riza tion.Jour n.O ptim.T h.Appl., 1984,44(1):95~1044 King J T,Chilling w or th D.Appr ox ima tio n o f g enerali zed inv erses by iter ated requlariza tio n.Numer.Funct.Anal.O ptim,1979,2:449~5135 Phillips D L.A technique fo r the numerical solutio n o f cer tain integ ral equatio ns o f th e first kind.J o urn.put.M ach.,1962,9:84~976 Lo cke r J,Prenter P M.Reg ula rization w ith differ ential o pe rato rs I:ge ner al theo ry.J o urn.M a th.Anal.Appl.,1980,74:504~5297 M o ro zov A.On the so lution o f functio na l equatio ns by the metho d of reqularizatio n.Sov iet M a th.Do kl.,1966,7:414~4178 Eng l H W.O n th e choice o f the requla ri zatio n pa rameter for iter ated T ikho nov r equla rization of ill po sed pr oblems.Jour n.Appro x.Th.,1987,49:55~639 M or o zov V A.M etho ds fo r solving inco rr ec tly po sed pro blems.New Y or k:Spring er,198410Tikho nov A N,A rsenin V Ya.Solutio ns of ill-po sed pro blems.W ashing to n:D C.W insto n,197711N eubauer A.A po steriori pa ramete r choice fo r Tikho nov x eg ulariza tio n in the pr esence o f modeling err or.Appl.N umer.M ath.,1988,4:507~51912Li H N,Hou Z Y.Estimatio n o f the asy mptotic o rder o f Tikhonov reg ular so lutio ns to opera tor equa tio ns of the first kind with appr oxima tely g iv en opera tor s a nd righ tha nd sides.Chinese Anna ls o f M ath.,Ser.A,1993,14(4):458~463〔责任编辑 张惠民〕 A parameter choice for generaligediterated Tikhonov regularigationChen Hong1,Ho u Zong yi2(1Department of M athematics,Wuhan Univ.,430072,Wuhan,PRC;2Department of Ma thematics,Fudan Univ.,200433,Sha nghai,PRC)Abstract The paper presents an inv estigation of iterated Tikho nov reg ulariza tion w ith closed o perato rs fo r sloving linea r o perator equatio ns o f the first kind in the presence of mod-eling and data erro r.By mea ns of the spectral theory,a param eter selectio n method that leads to optima l co nv erg ence rates is deriv ed.The result of conv erg ence and the ra te o f con-verg ence to wa rd som e least squa re solutio n of the equa tion are giv en.Key words opera to r equa tions;itera ted Tikho nov reg ulariza tion;ill-posed problems;con-verg ence rates。

基于HS-QPSO算法的Tikhonov正则参数选取

基于HS-QPSO算法的Tikhonov正则参数选取

基于HS-QPSO算法的Tikhonov正则参数选取
张兰
【期刊名称】《计算机仿真》
【年(卷),期】2016(033)001
【摘要】Tikhonov正则化方法是处理一类不适定问题的有效方法,最优正则参数的选取直接影响到最优解的产生,因此,如何选取最优参数极为重要.结合和声算法易收敛到全局最优和量子粒子群算法收敛快的优点,提出了一种和声搜索的量子粒子群算法,首先对基本测试函数进行测试,表明了算法的优越性,然后将算法应用于正则化参数的选取.结果表明,HS-QP-SO算法在选取正则参数时能有效的跳出局部最优解,与其它算法相比具有优更好地全局优化能力.
【总页数】5页(P408-412)
【作者】张兰
【作者单位】西北工业大学理学院,陕西西安710129
【正文语种】中文
【中图分类】TP391.41
【相关文献】
1.线性不适定问题中选取Tikhonov正则化参数的线性模型函数方法 [J], 王泽文;徐定华
2.广义Tikhonov正则化及其正则参数的先验选取 [J], 李功胜;王家军;李秀森
3.基于混沌粒子群算法的Tikhonov正则化参数选取 [J], 余瑞艳
4.关于迭代Tikhonov正则化的最优正则参数选取 [J], 金其年; 侯宗义
5.非线性不适定问题的Tikhonov正则化的参数选取方法 [J], 金其年; 侯宗义因版权原因,仅展示原文概要,查看原文内容请购买。

利用Tikhonov正则化算法进行光谱特征波长的选择及其参数优化

利用Tikhonov正则化算法进行光谱特征波长的选择及其参数优化
按照式(5)和式(6)确定的常数值和相关系数遵照式 (7 )
进行基线校正 。其基线校正的效果见图 2 基线校正后谱图 。
T(num) = T(num) + constant + coe f f icient × num (7)
1838
光谱学与光谱分析 第 34 卷
摘 要 在烷烃类多组分混合气体 ,尤其轻烷烃类气体傅里叶变换红外光谱定量分析中 ,其中在红外光谱 区域吸收峰严重交叉重叠 ,不易建立定量分析模型 。为此 ,采用 T ikhonov 正则化算法对甲烷 、 乙烷 、 丙烷 、 异丁烷 、正丁烷 、异戊烷和正戊烷等七种轻烷烃类混合气体傅里叶变换红外光谱进行特征波长的选择 ,以便 建立定量分析模型 。选择六种各气体浓度组成混合烷烃气体 ,采用 Tikhonov 正则化算法 ,通过对比分析混 合气体在中红外全波段 、主吸收峰和次吸收峰波段特征波长的选择和 T R 参数的优化 ,选择出七种气体成分 的傅里叶变换红外光谱的特征波长 。利用选择的特征波长和 Tikhonov 正则化参数对实测甲烷光谱数据进行 检验分析 ,与其他气体成分的交叉灵敏度最大为 11畅 153 7% ,最小为 1畅 239 7% ,预测均方根误差为 0畅 004 8 ,有效增强了 Tikhonov 正则化算法在轻烷烃类混合气体定量分析中的实用性 ,初步验证了利用 Tikhonov 正则化进行烷烃类混合气体傅里叶变换红外光谱特征波长选择的可行性 。
实验仪器 :傅里叶变换红外光谱仪 alpha :该光谱仪扫描 范围为 400 ~ 4 000 cm - 1 ,光谱波数分辨率为 4 cm - 1 ,谱线 值为吸光度光谱 ,每张谱图有 2 542 条谱线 。
目标 气 体 : C H4 , C2 H6 , C3 H8 , iso‐C4 H10 , n‐C4 H10 , iso‐C5 H12 和 n‐C5 H12 等七种轻烷烃类 。 通过不同浓度单组分 气体的观察 ,如图 1 所示 ,烷烃在 2 750 ~ 3 200 和 1 100 ~ 1 900 cm - 1 范围内具有较强的吸收 ,且吸收光谱严重交叠 , 各种目标分析气体相互干扰 。根据分析的需要 ,设定标定目 标样本 气 的 浓 度 分 别 为 0畅 01% , 0畅 02% , 0畅 05% ,0畅 1% , 0畅 2% ,0畅 5% ,1% 。

tikhonov泛函近似罚项的灵敏性在反问题中的性质

tikhonov泛函近似罚项的灵敏性在反问题中的性质

tikhonov泛函近似罚项的灵敏性在反问题中的性质本文讨论了Tikhonov泛函近似罚项的灵敏性在反问题中的性质。

Tikhonov泛函是在广义近似罚项中应用最广泛的一种,它可以有效地解决问题的稳健性和可重复性。

近似罚项的灵敏性是关键的,它控制了问题的精确性,直接影响着最终的结果和解决方案。

本文主要介绍Tikhonov泛函近似罚项的灵敏性在反问题中的性质,以及如何优化它,使之适合进行反问题研究。

首先,让我们来看看Tikhonov泛函近似罚项的基本构成。

Tikhonov泛函是由Tikhonov正则项和近似罚项的组合所构成的,它可以有效地降低问题的不确定性,使其具有更好的稳健性和可重复性。

Tikhonov正则项可以让问题更好地对数据进行拟合,同时近似罚项可以确保结果满足解决方案的精度要求。

这种组合可以有效地提高问题求解的精确性和稳健性,并具有较强的可重复性。

其次,我们要讨论Tikhonov泛函近似罚项的灵敏性。

Tikhonov 泛函近似罚项的灵敏性主要取决于近似罚项的参数组合,其中主要的参数是正则项的参数λ和函数的拟合系数a,其中拟合系数a负责控制函数的拟合程度,而正则项的参数λ负责控制正则项的灵敏性。

当这两个参数调整到合适的值时,灵敏性可以得到较好的控制,其结果也更加精确。

最后,让我们来看看Tikhonov泛函近似罚项在反问题中的性质。

由于反问题是对未知变量的解算,而未知变量的示性函数不是精确的,所以要求算法必须在不精确函数情况下,且受约束和权重的影响,以解决这一类反问题。

Tikhonov泛函近似罚项具有良好的稳健性,可以有效地解决函数不精确的情况,同时,拟合系数a和正则项的参数λ的可调整性,可以更好地满足反问题的要求,并获得更精确的结果。

综上所述,Tikhonov泛函近似罚项在反问题中具有良好的稳健性和精确性,其灵敏性可以通过调整拟合系数a和正则项的参数λ来更好地满足反问题的要求,从而获得更精确的解决方案。

Tikhonov 泛函近似罚项的灵敏性在反问题中的性质

Tikhonov 泛函近似罚项的灵敏性在反问题中的性质

Tikhonov 泛函近似罚项的灵敏性在反问题中的性质王雪娇;万忠义【摘要】根据光滑罚项近似非光滑罚项的研究,基于经典的 Tikhonov泛函,在一定的假设条件下,研究讨论Banach空间中 Tikhonov近似罚项的灵敏性在反问题中的性质与定理,并表明对于正则化参数是根据广义偏差原理选择的相应的稳定结果。

%In order to study the sensitivity of approximate penalization in Tikhonov func‐tional ,this paper accords the study of smooth penalty approximate non -smooth penalty , based on the classical Tikhonov functional ,and under certain assumptions ,we studies and discusseds the properties and theorems of the sensitivity of Tikhonov functional approxi‐mation to the inverse problem in Banach spaces .The results show that the regularization parameter is a stable result w hich is selected according to the principle of the generalized deviation .【期刊名称】《牡丹江师范学院学报(自然科学版)》【年(卷),期】2016(000)003【总页数】4页(P9-12)【关键词】Tikhonov泛函;广义偏差原理;灵敏性【作者】王雪娇;万忠义【作者单位】成都理工大学管理科学学院,四川成都 610059;成都理工大学管理科学学院,四川成都 610059【正文语种】中文【中图分类】O153.5正则化方法可以将不适定问题适定化,得到问题解的一个较好的估计值.学者们对正则化方法做了大量的研究,最好的一类正则化方法就是20世纪60年代Tikhonov[1]提出的正则化方法——Tihonov正则化方法.Tikhonov正则化理论中通常取泛函‖‖2+α‖x‖2,α>0的极小值作为算子方程=y的解.本文将=y的Tikhonov泛函简化为对于不光滑的罚项可以通过稀疏约束罚项来替换,在这种情形下,对于结构k∈N,考虑的泛函为其中,p>0,权重ωk>0.当p<2时,泛函(3)是不光滑的,此时的最小值问题要用稀疏约束正则化方法来解决.对于p的取值,学者做了研究.[2-5]2009年,Zarzer[6] 研究了当0<p<1时Tikhonov泛函正则化,分析了Tikhonov正则化和非凸的稀疏约束正则化,证明Tikhonov泛函最小值的存在性,表明解得稳定性与扰动数据有关,并证明解的收敛率与噪声水平有关.2010年,Grasmair[7]对于非凸的泛函,罚项在一定的假设条件下保证正则化方法的是适定性,证明所有的正则解都是稀疏的,并将结果应用到稀疏约束的算子方程上.2014年 Strehlow和Kazimierski[8]对于不光滑的Tikhonov泛函罚项,用一个光滑的罚项来近似它,并证明其在反问题中存在的一些定理.这种情形下考虑的泛函为本研究的假设和研究内容:一是针对式(2)和式(4)给出Banach空间中Tikhonov泛函近似罚项的灵敏性定义,讨论其在反问题中的性质.二是介绍Morozov偏差原理和广义的偏差原理,重点介绍广义偏差原理对正则化参数选取的稳定性结果.X是一个可分的Banach空间,定义在X上的泛函以及,则可得到式(2)和(4)中的Tikhonov泛函Ψ与Ψn.全文假设对∀n∈N,Ψn存在极小元xn.定义 1[8] 设n∈N是X上的泛函序列,如果对于每个序列都存在一个收敛的子列,且每个n∈N的收敛子列都收敛到的最小值,则称泛函序列n∈N是关于泛函Ψ灵敏的.本文假设,Φ和Φn分别满足以下条件:假设1 假设泛函满足下列条件<;是非负的;是下半连续的.假设2 假设Φ以及Φn满足下列条件(i)对(ii)当n→时Φn逐点收敛到Φ;(iii)对x*∈X,序列xn→x*时,有;,对R>0,集族是列紧的,即ER中的每个序列都有收敛的子列.定理1[8] 若满足假设1,Φ和Φn满足假设2,则泛函序列n∈N是关于泛函Ψ灵敏的.定理2[8] 若Φn关于n是单调的,若(1)对n∈N,Φn是下半连续的;(2)对∀n∈N,R>0,ER,n是列紧的;则Φ和Φn满足假设2(iii)和(iv).证明假设Φn关于n是非减的.对∀m∈N,收敛序列xn→x*,由条件(1)Φn是下半连续的可得又因为Φn关于n是非减的,则有由式(5)和式(6)可得所以Φ和Φn满足假设2-2(iii).接着由,和Φn关于n是非减可得所以有又由条件(2)ER,n是列紧的,则可知ER是列紧的,即Φ和Φn满足假设2(iv).关于正则参数的选取,始终是一个重要而具有魅力的研究课题.正则化参数的选取包括先验策略和后验策略.先验策略是指在求出正则解以前就将正则参数确定下来,是多值的.后验策略是指在计算正则解的过程中根据一定的原则来确定与原始数据的误差水平相匹配的正则参数.常用的后验策略有Morozov偏差原理、广义偏差原理、Arcangeli准则、L曲线准则等.下面介绍后验策略中的Morozov偏差原理和广义偏差原理.考虑方程,其中α>0,对收敛到α的序列αn,方程2.1 Morozov 偏差原理Morozov偏差原理是Morozov在20世纪60年代提出的,广泛应用于正则化参数的选取.设‖y-yδ‖≤δ,对算子方程Ax=y合适的解应当满足如果非闭,即使,集合也是无界的,因此应寻求最小模的最小二乘解:注意到集合S为闭凸集,因此(8)的解在边界求得,即引入Lagrange乘子λ,上述等式约束问题等价于下面的无约束优化问题在原始资料yδ的误差水平参数δ可以获取或近似得到的情况下,Morozov偏差原理是十分有效的一种正则参数选择方法.本文将重点介绍广义偏差原理的应用. 2.2 广义偏差原理广义偏差原理是Goncharsky于1971年对Morozov的偏差原理进行改造和推广得到的.定义2 如果和Φ的一个近似分别为和Φδ,即:‖F-Fh‖≤h,‖Φ-Φδ‖≤δ,其中误差水平h>0,δ>0.当x*时,有则称α是关于Φ根据广义偏差原理选择的.定理3[8] F满足假设和n满足假设2.此外,n∈N是一个收敛到α>0的序列,则泛函序列n∈N是关于泛函Ψ灵敏的.定理4 F满足假设和n满足假设2.当x=0时有.此外,误差水平δ,h>0,对∀x0∈X有,且对∀n∈N,αn是关于根据广义偏差原理选择的,则:(1)存在n∈N的子列k∈N收敛到α>0,且α是关于根据广义偏差原理选择的;(2)泛函序列k∈N是关于泛函Ψ灵敏的.证明(1)首先证明αn为有界序列.采用反证法来证明,即假设αn为无界序列. 先假设αn→,由,可得再由假设2(iii)有即根据广义偏差原理有由式(9)可得与假设条件矛盾.所以αn→/.再假设αn→0.对∀x∈X,因为αn是关于n根据广义偏差原理选择的,所以有与假设条件矛盾,所以αn→/0.因此αn是有界的,即存在的子列收敛到α>0.再证明α是关于根据广义偏差原理选择的.即,证当x*时,有.通过定理2可知,当xn→x*,n→时有又因为αn→,故有由此可得又因为αn是关于n根据广义偏差原理选择的,由定义2-3有所以α是关于根据广义偏差原理选择的.(2)由定理3可得泛函序列n∈N是关于泛函Ψ灵敏的,则知存在n∈N的子列k∈N收敛到x*.又因为x*是的最小点,所以有泛函序列k∈N是关于泛函Ψ灵敏的.在定理4中,可以观察出每个n∈N的子列都收敛到α,且α是根据广义偏差原理选择的.显然,如果根据广义偏差原理选择的正则化参数是唯一的,则n∈N是收敛的.在Tikhonov泛函罚项灵敏性的基础上,对一般的不光滑罚项,用光滑的罚项去逼近它,在一定的假设条件下,分析近似罚项的灵敏性及其在反问题中的一些性质和定理;用后验策略中的广义偏差原理来选择正则化参数,并分析此时带参数α的Tikhonov泛函罚项的灵敏性.【相关文献】[1] Tikhonov A N. On the solution of ill-posed problems and the method of regularization[J].Soviet Mathematics, 1963,4:1035-1038[2] Ramlau R, Resmerita E. Convergence rates for regularization with sparsity constraints[J].Electronic Trans Numer Anal, 2010,37:87-104.[3] Jin B, Lorenz D A,et al. Elastic-net regularization: error estimates and active set methods [J].Inverse Problems, 2009,25(11): 1595-1610.[4] Lorenz D A. Convergence rates and source conditions for tikhonov regularization with sparsity constraints [J]. Journal of Inverse Ill-Posed Problems, 2008,16(5):463-478.[5] Grasmair M, Haltmeier M,et al. Sparse regularization with lq penalty term [J].Inverse Problems, 2008,24(5): 55020-55032.[6] Ronny Ramlau, Clemens A Zarzer. On the minimization of a Tikhonov functional with non-convex sparsity constraints[J]. Electronic Transactions on Numerical Analysis Etna, 2009,1(39):237-263.[7]Grasmair M. Non-convex sparse regularisation[J].Journal of Mathematical Analysis and Application, 2010,365(1):19-28.[8]Strehlow R,Kazimierski K S. Approximation of penalty terms in Tikhonov functionals-theory and applications in inverse problems[J].Inverse Problems,2014,49(30):163-185.。

基于TIKHONOV正则化的短基线单历元模糊度解算方法研究

基于TIKHONOV正则化的短基线单历元模糊度解算方法研究

基于TIKHONOV正则化的短基线单历元模糊度解算方法研

孔令杰;黄观文
【期刊名称】《大地测量与地球动力学》
【年(卷),期】2010(030)002
【摘要】为提高单历元双频观测数据解算整周模糊度固定成功率采用了两项措施:1)在单历元法方程病态、最小二乘浮点解不可信的情况下,采用TIKHONOV正则化矩阵改善法方程的病态性,从而使模糊度浮点解可信度提高;2)在改善后的法方程中再使用LAMBDA方法搜索,同时引入TEC总量变化值对其固定的模糊度准确性进行检验.算例表明,新方法提高了模糊度浮点解的可靠性及整周模糊度固定的成功率.
【总页数】5页(P148-151,155)
【作者】孔令杰;黄观文
【作者单位】长安大学地质工程与测绘工程学院,西安,710054;长安大学地质工程与测绘工程学院,西安,710054
【正文语种】中文
【中图分类】P207;P227
【相关文献】
1.基于迭代Tikhonov正则化的核磁测井解谱方法研究 [J], 马建海;孙建孟;孙萌;王子亭
2.单频单历元短基线GPS整周模糊度解算的比较 [J], 张帆
3.基于 BDS/GPS 的短基线单历元多频 RTK 定位研究 [J], 谢建涛;郝金明;于合理;田英国;张宇
4.基于 GPS/GLONASS/BDS 组合的单历元单频短基线 RTK 定位算法研究 [J], 隋春玲;谢建涛;于合理;田英国
5.基于BDS/GLONASS的短基线单历元多频RTK定位研究 [J], 谢建涛;郝金明;于合理;田英国
因版权原因,仅展示原文概要,查看原文内容请购买。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

基于最小均方误差的Tikhonov正则化参数优化研究摘要:本文首先介绍了求解病态方程的L-曲线法、GCV法等常用的方法,然后提出了基于最小均方误差的最优Tikhonov正则化求解参数的方法。

通过仿真实验表明,本文提出的基于最小均方误差的Tikhonov正则化参数优化选择方法是一种可行有效的方法。

关键字:Tikhonov正则化、均方误差、病态问题Based on the minimum mean square error of Tikhonov regularizationparameter optimization researchAbstract:This paper first introduces the morbid equation of L - curve method, GCV method such as the commonly used method, and then based on the minimum mean square error of the optimal Tikhonov regularization method to solve the parameter. Through the simulation experiments show that the proposed based on the minimum mean square error of Tikhonov regularization parameter optimization selection method is a feasible and effective method.Key words: Tikhonov regularization, mean square error (mse), pathological problems1 引言求解线性不适定问题的正则化方法中,应用最广泛也最经典的是Tikhonov正则化方法[1]。

随着各个领域中数据的处理中应用多种不适定问题的正则化方法,Tikhonov正则化方法是比较常见也是应用比较广泛的方法。

该方法可以解决不同领域中不适定问题的纠正,地震中发射波长中的应用、电容层析成像图像重建、无线传感器网络实现监测和跟踪等病态问题中均可以应用Tikhonov正则化方法。

本文通过对Tikhonov正则化方法中常见的L-曲线法和GCV 法进行分析Tikhonov正则化方法的特点,通过L-曲线法和GCV法进行Tikhonov正则化方法参数的确定,从而确定基于最小均方误差的Tikhonov正则化优化参数,并通过仿真实验进行验证,从而确定基于最小均方误差的Tikhonov正则化优化参数可行。

从而为更深入的研究提供可靠依据。

2迭代Tikhonov正则化方法参数确定方法:目前正则化参数的选择有先验和后验两种方法。

用先验法选择正则化参数时,都需要预先对于原始数据的误差水平做出估计,但在大多数情况下这是难以做到的。

后验取法可以直接应用带有噪音的原始数据对正则化参数作出估计。

2.1L-曲线法L-曲线法是一种较成熟的方法,L-曲线法是利用对数尺度来描述残差范数和解的限制范数的曲线对比,该方法的特征是对数尺度图形中出现明显的L形状曲线,曲线拐点所对应的正则化参数作为优化参数[2-3]。

其以对数作μ=lgII BXα-LII P为横坐标,纵坐标为ν=lgIIXαII k,同时采用α为参变量,从而形成类似“L”的形状,因此称为L-曲线法。

参考文献[2]推算出L-曲线法数学公式为:其中。

μ、。

μ、。

ν、。

ν是二阶和一阶导数,L为观测向量,B为设计矩阵。

通过这个计算公式就可以计算出α为参变量。

2.2GCV法[4]GCV法是广义交叉验证算法的简称,可以用于求取正则化参数,也是采用α为参变量,α为参变量的计算公式:其中H(α)=B(BPB+αI)-1BP,tr(·)为矩阵的迹,L为观测向量,B为设计矩阵。

3 基于最小均方误差的Tikhonov正则化参数优化正则化参数α的估计公式的优化过程,通过大量公式的换算,从而最终确定正则化参数α的估计公式[5]。

Gauss-Markon模型[6]为(1)从这个公式可以得到E(L)=BX,结合L-曲线法的公式(2)可以得到下面的公式:(3)当将R=(B、PB)-1B、PL,就可以得到估值与真值的偏差量的期望值β=E(X^-X)=EX^-X=E(RL)-X=RE(L)-X=-[I m-RB]X,参数估值方差阵(4)的公式,从这个公式就可以得到均方误差(5)为(4)(5)其中rank(X)=rank(XX')=1,通过换算得到(6)于是就可以得到均方误差的公式:(7)在进一步优化,从而得到最后的正则化参数a的估计公式的优化公式:(8)通过这个正则化参数α就可以计算出公式中任何一个参数指标。

4 仿真实验与结果4.1 基于本文方法的仿真试验与结果以某支架结构模型为例子进行分析,由三种类型钢材组成,槽钢、方钢和角钢,得到方程模拟真值L~=[-10.6,10.55,1.5,12.1,15.1,-0.11,21.2,1.7,9.2,11.9],模拟观测值为L=[-10.3,10.4,1.6,12.2,14.1,-0.15,21.2,1.6,9.1,12.3],从而得到Cond(N)=1.5×106>>1000,可见该方法的病态问题很严重,需要进行纠正,进行正则化参数α进行纠正处理。

4.2 与其他方法的比较对上述处理的病态数据进行正则参数优化方法、L-曲线法、GCV法、岭估计法进行纠正分析的比较,具体结果见表1,由表1可知采用正则参数优化方法计算得到的正则参数α是最小,而且ΔX数值也是最小,因此产生的误差也最小;而采用岭估计法得到正则参数α最大,而且得到ΔX数值也是最大,由此可见采用本文优化的Tikhonov正则化参数得到的正则参数α,而且ΔX数值也是最小,更适合实际的应用中的计算,而采用L-曲线法、GCV法得到正则参数α和ΔX的数值基本差不多,比正则参数优化方法差一些,比岭估计法要好一些。

表1 正则参数及ΔX的对比方法正则参数αΔX 正则参数优化方法0.0068 0.0985 L-曲线法0.202 0.724GCV法0.159 0.698岭估计法0.299 0.7585 讨论将Tikhonov正则化法应用于实际的应用的方法的研究比较多,张路寅[7]等人不适定问题的迭代Tikhonov正则化方法中说到对不适定问题也就是病态问题进行计算中推导出正则滤波函数的性质,通过公式的推算得出误差估计的收敛阶达到最优状态时得到的数据,比将参数α看作正则化参数更容易计算。

并通过实例证实了该方法可以更好的解决实际中误差的计算,解决了Tikhonov正则化参数α计算的繁琐。

余瑞艳[8]对基于混沌粒子群算法的Tikhonov正则化参数选取的分析中发现将混沌粒子群优化算法与Tikhonov正则化方法相结合,利用混沌粒子群优化算法的优势对Tikhonov正则化方法进行优化改进,并对实际的病态问题进行解决,证明了该方法是一种比较有效的数据处理方法。

不同的理论得到的Tikhonov正则化法的参数计算公式不同,但是都是通过Tikhonov正则化法的优化从而得到更适合该领域的一些数据的处理,从而得到更简便的计算方法,更有效的利用于繁琐的计算中,对大量数据的处理提供简便的方法。

数学物理反问题已成为计算数学与应用数学中发展和成长最快的研究课题,在解决这些病态问题的计算中,数学方法公式的应用也是被广泛应用的方法,而Tikllollov正则化方法的应用也是解决当前各个数据处理领域提供了一个很好的平台。

Tikllollov正则化方法求解的精度很大程度上取决于正则化参数的选取,基于不同的理论得到的正则化参数不同,前面的研究中提到基于混沌粒子群优化算法可以得到简便的Tikllollov正则化方法正则化参数的计算公式,本文中得到的正则化参数是基于最小均方误差,得到的参数公式对计算一些实际的案例比较实用。

但是不同Tikllollov正则化方法中优化的参数计算,要比常见的L-曲线法、GCV 法、岭估计法等方法具有一定的优势,本文通过对比也证明了采用Tikllollov正则化方法中优化的参数公式计算参数α,可以更好的减少误差的发生。

对于解非线性不适定问题如何使用进行Tikllollov正则化方法,也有笔者通过分析解决了这个问题,此学者采用对修正的三阶牛顿法进行Tikhonov正则化,从而得到新的迭代格式[9],这样就可以很好的解决非线性不适定问题,但是此学者没有进行实际的仿真数据的验证试验,因此不能很好的证明此方法是否真的能解决解非线性不适定问题。

因此对此问题需要深入的分析。

杨润生[10]等人对一类非线性不适定问题的Tikhonov正则化的分析中发现利用双参数进行Tikhonov正则化的分析,引入了带闭线性算子,利用最小的问题进行逼近处理,从而得到双参数,但是此方法也没有进行试验的证明。

也有学者[11]对线性问题进行Tikllollov正则化方法参数公式的选取,分析中基于阻尼Morozov差异原则进行Tikllollov正则化方法参数的选取,通过选取和试验证实采用方法得到的Tikllollov正则化方法参数对计算一些领域的误差具有一定的作用。

朱南海[12]等人进行另一种方法的Tikllollov正则化方法参数的计算,基于遗传算法进行Tikllollov正则化方法参数的计算,此方法也是采用广义交叉准则(GCV)、L-曲线准则和Engl 误差极小化准则为目标函数,基于遗传算法,从全域内获得正则参数的最优值。

并进行了试验验证,验证了此方法得到的Tikllollov正则化方法参数的优化参数公式可以用于实际的误差计算,解决病态问题。

其他人[13-14]也进行不同Tikllollov正则化方法参数的优化参数公式的选取,旨在为更好更简便的解决实际中的病态问题得到最佳的优化参数,目的也是减少实际中误差的存在。

而且通过试验也对Tikllollov正则化方法参数的优化参数公式得到的数值进行证明,验证该方法的可行性和有效性。

6 总结本文通过大量的借阅其他学者的研究,从而得到基于最小均方误差的Tikhonov正则化参数优化的公式,从而为解决一些领域的病态问题具有很好的利用价值。

在确定Tikhonov正则化参数时应用了观测值和真值,依据这些信息可以推导出均方误差最小的情况下计算正则参数值的数学公式,此数值不仅可以保证误差最小,而且避免了岭估计方法中的岭参数选取的主观性。

更好的解决实际中的病态问题,通过试验也验证了此方法计算的参数值比较小,而且误差也比较小,明显比L-曲线法、GCV法、岭估计方法得到的数值有效。

相关文档
最新文档