二次损失函数支持向量机性能的研究_朱永生
基于Pinball损失函数支持向量机的极化SAR图像鲁棒分类
Robust Classification of PolSAR Images Based on Pinball loss Support Vector Machine
ZHANG Lamei① ZHANG Siyu① DONG Hongwei① ZHU Sha*②
①(School of Electronics and Information Engineering, Harbin Institute of Technology, Harbin 150001, China) ②(Institute of Beijing Remote Sensing Information, Beijing 100192, China)
摘 要：考虑到极化合成孔径雷达(PolSAR)图像标注信息量低以及相干斑噪声难以消除的问题，该文从鲁棒统计
学习的角度提出了一种基于Pin-SVM的极化SAR图像鲁棒分类方法，根据极化SAR图像的散射特性和地物的纹理
特性，通过求解两类样本之间的最大分位数距离来确定分类超平面，在无需迭代的前提下得到更加鲁棒的分类结
关键词：极化SAR；分类算法；Pin-支持向量机；鲁棒学习
中图分类号：TP391
文献标识码：A
文章编号：2095-283X(2019)04-0448-10
DOI: 10.12000/JR19055
引用格式：张腊梅, 张思雨, 董洪伟, 等. 基于Pinball损失函数支持向量机的极化SAR图像鲁棒分类[J]. 雷达学报, 2019, 8(4): 448–457. doi: 10.12000/JR19055. Reference format: ZHANG Lamei, ZHANG Siyu, DONG Hongwei, et al. Robust classification of PolSAR images based on Pinball loss support vector machine[J]. Journal of Radars, 2019, 8(4): 448–457. doi: 10.12000/JR19055.
杭州电子科技大学学报2010年总目次
( 第二期目次 )
一个改进的混沌系统及其 LabV I E W 实现 …………………………………………………………………………………………………… 吴琴琴 一种连续混沌的分析及量化实现方法 ……………………………………………………………………………………………………… 张坦通 TSK 模糊逻辑系统混合学习算法的进一步研究 …………………………………………………………………………………………… 赵 星 平面变压器在汽车氙气灯镇流器中的应用…………………………………………………………………………………………………… 姚建斌 基于 DSP 控制斩波内反馈串级调速系统研究 ……………………………………………………………………………………………… 张海峰 GS M 和 GPS 频段的单极子可重构天线的设计 …………………………………………………………………………………… 梁婵君 项铁铭 一种动态 CTCSS 系统的设计与实现 ……………………………………………………………………………………………… 苏 杰 李金新 基于信道识别的 W PM 解调性能改善研究 ………………………………………………………………………………………… 申传朋 唐向宏 基于消减 PAPR 的小波包调制结构的研究 …………………………………………………………………………… 余志卫 唐向宏 申传朋 基于 EPF 滤波的三维单站无源定位算法 …………………………………………………………………………………………………… 许天园 裁剪优化的 Any ti m e算法 ……………………………………………………………………………………………………………… 孙俊 戴国骏 基于多相似度的条件密度手势识别跟踪算法……………………………………………………………………………………… 王丰年 戴国骏 视觉导航机器人三维场景重建研究……………………………………………………………………………………… 李海峰 傅 侃 周文晖 一种自动确定类个数的谱聚类算法……………………………………………………………………………………………… 孙昌思核 孔万增 发布订阅系统中 C arzan iga匹配算法优化 ………………………………………………………………………………………… 张 颖 高申勇 基于 N- G ram 的文本去重方法研究 ………………………………………………………………………………………………………… 王小华 利用多线程及改进 SSDA 算法加快拼接速度 ………………………………………………………………………………………………… 谢永胜 具有区间时变时滞线性系统新的稳定性准则…………………………………………………………………………………………………………… P t /T i O 2 纳米管的制备及其电化学性能研究 …………………………………………………………………………… 殷好勇 汪 玲 聂秋林 3- cac tus上的连通 p- m edian 问题 ……………………………………………………………………………………………… 陈光亭 辛 双 三维无线传感器网络的中继器放置问题…………………………………………………………………………………………… 崔素辉 陈光亭 交替步长的全变分图像恢复算法……………………………………………………………………………………………………………… 张智丰 推广的 Kanto rovich 算子的逼近 ……………………………………………………………………………………………………………… 李其龙 关于加权的 B ernste i n - M arkov 型不等式 …………………………………………………………………………………………………… 逯文鸣 含右删失数据的随机效应模型的统计分析……………………………………………………………………………………………………………… 王光义 王光义 郭裕顺 高明煜 范 毅 官伯然 胡建萍 余志卫 李双霞 刘顺兰 张怀相 周文晖 曾 虹 戴国骏 曾 虹 卢小康 余正生 张忻欣 徐铸德 崔素辉 李茹雪 宋畑静 胡晓敏 赵 易 金晶亮 ( 1) ( 5) ( 9) ( 13) ( 16) ( 20) ( 24) ( 28) ( 32) ( 37) ( 41) ( 45) ( 49) ( 53) ( 57) ( 61) ( 65) ( 69) ( 73) ( 77) ( 81) ( 85) ( 89) ( 92) ( 95)
基于二次Renyi熵的非迭代最小二乘支持向量机预测模型
龙源期刊网
基于二次Ｒｅｎｙｉ熵的非迭代最小二乘支持向量机预测模型
作者：赵冠华
来源：《计算机应用》2009年第10期
摘要:将二次Renyi熵应用于企业财务困境预测,提出了一种基于二次Renyi熵的最小二乘支持向量机模型。
通过将该模型与传统的模型、标准SVM模型以及与二项Logistic回归模型、BP神经网络的分析比较,表明了该模型无论是训练样本的数量还是运算时间,都显著优于其他模型,且有较好的稳定性。
实证分析表明,将二次Renyi熵引入企业财务困境预测领域是成功的,同时,通过对原始输入变量进行显著性检验、因子分析处理,减少了输入变量个数,预测正确率达到了88%,说明因子分析法是有效的。
关键词:二次Renyi熵;最小二乘支持向量机;标准支持向量机;非迭代;因子分析;财务困境预测。
吉林师范大学数学学院2006年-2009年科研论文统计汇总表
滕飞
数学建模教育模式探究
教学交流
2008.6
滕飞
基于Hilbert-huang变换的
金融数据周期性分析及应用
长春工业大学学报
2008.3
滕飞
中国股票收盘与通货膨胀的关系研究
吉林师大学报
2008.2
王辉
Periodic Sequences and Chaos in Constant-Length substitution Systems
张双红
高等数学分层教学初探
高等数学通报
2009年6月
（第三期总第七十五期）
张双红
浅谈高等数学分层教学的评价方法
吉林师范大学学报
2009年第30卷第2期
张双红
Logistic模型的Matlab计算与可视化
吉林师范大学学报
2009年第30卷第3期
张双红
关于高等数学分层教学的思考
吉林农业科技学院学报
2009年9月
孙凤琪
Adaboost集成神经网络在冲击地压预报中的应用
EI
吉林大学学报
2009年1期
孙凤琪
广义网络控制系统的能控性能观性
EI
吉林大学学报
2008年5期
徐宝
贝叶斯框架下泊松分布参数的估计
核心
西北师范大学学报
2009年6期
徐宝
加权平方损失下一类刻度
参数指数分布族参数的估计
核心
黑龙江大学学报
2009年6期
刘影
数学课堂教学的新理念
吉林师范大学学报
2008.3
陆媛媛
基于渠道不对称的多品牌
代理零售商的应对策略研究
核心
山东大学学报
一种改进的再生核支持向量机回归模型
一种改进的再生核支持向量机回归模型再生核支持向量机 (Relevance Vector Machine, RVM) 是一种非常有效的机器学习算法，常用于分类和回归任务。
相比于传统的支持向量机 (SVM) 模型，RVM 的优势在于它使用稀疏贝叶斯方法自动选择重要的支持向量，从而减少了运算时间和内存消耗。
在本文中，我们将介绍一种改进的 RVM 回归模型，主要包括以下方面：1.EM 算法的优化2.模型的正则化3.与传统 SVM 的对比4.实验结果以及分析EM 算法是一种迭代算法，用于在含有隐变量的概率模型中进行参数估计。
在 RVM 模型中，EM 算法用于计算每个特征的权重以及噪声的方差。
原始的 EM 算法在迭代过程中可能会陷入到局部最优解中，影响模型的精度和鲁棒性。
因此我们使用了一种改进的 EM 算法，即二阶有效牛顿优化方法，来解决这个问题。
这种优化方法可以加快算法的收敛速度，同时提高了算法的精度和稳定性。
RVM 模型是一种稀疏的贝叶斯模型，通过正则化方法可以增加模型的泛化性能。
我们引入了 L1 正则化方法，对每个特征的权重进行约束，实现了特征的自动选择。
同时，L2 正则化方法用于控制模型产生过拟合现象。
这些正则化方法可以有效地提高模型的鲁棒性和精度。
在我们的实验中，我们将改进的 RVM 和传统 SVM 进行了对比。
结果显示，改进的RVM 模型在多个数据集上均获得了更好的表现。
这是由于 RVM 模型使用了稀疏贝叶斯方法自动选择支持向量，在保证模型精度的同时减少了计算量和内存消耗。
我们在多个公开数据集上进行了实验，包括波士顿房价数据集、气象数据集等等。
结果显示，改进的 RVM 模型在这些数据集上均取得了更好的表现，并且与传统 SVM 模型相比，RVM 模型具有更好的稀疏性和泛化性能。
在具体实现中，我们使用了 Python 编程语言以及相关的机器学习库，如 Scikit-learn 等。
结论：在本文中，我们介绍了一种改进的再生核支持向量机回归模型。
基于支持向量机的电流互感器饱和补偿算法
基于支持向量机的电流互感器饱和补偿算法第32卷第4期2008年2月电网技术PowerSystemTechnology,,01.32No.4Feb.2008文章编号:1000—3673(2008)04—0086—05中图分类号:TM77l文献标识码:A学科代码:470.4054基于支持向量机的电流互感器饱和补偿算法赵庆明,李永丽,贺家李(天津大学电气与自动化工程学院,天津市南开区300072) CompensationAlgorithmforCurrentTransducerSaturationBasedonSupportV ectorMachineZHAOQing—ruing,LIY ong—li,HEJia-li (SchoolofElectricalEngineeringandAutomation,TianjinUniversity,NankaiDistrict,Tianj in300072,China)ABSTRACICurrenttransducerrCT)saturationwillleadto malfunctionofprotectiveandcontroldevices.Basedonsuppoavectormachine(SVM),analgorithmforcompensating secondarysaturationcurrentofCTisproposed,inwhichthe normalizedvalueofsamplingdataoffaultcurrentwithinthe latestperiodistakenasinputvector;byuseofSVMa non—linearmodeldescribingthecomplexrelationbetween primarycurrentandsecondarysaturatedcurrentofCTisestablished;andthentheaccuratecompensationofsaturatedcurrentisperformed.Simulationresultsshowthattheproposed methodCaneffectivelycompensatethesaturationcurrentofCT undervarioussaturationconditions,andasforthesame trainingsamplethecompensationaccuracybytheproposed methodisbetterthanthatbyneuralnetworkapproaches. KEYWORDS:currenttransducer:suppoavectormachine electricmeasurement摘要:提出一种基于支持向量机(supportvectormachine, SVM)的电流互感器(currenttransducer,CT)Z.次侧饱和电流补偿算法.以最近l周期故障电流采样数据的归一化值作为输入向量,以故障后5个周期的电流数据作为训练样本,利用SVM来建立CT二次侧饱和电流与一次侧电流之间的非线性关系,进而对饱和电流进行精确补偿.仿真分析表明,该方法在各种CT饱和条件下均能有效补偿,对于相同的训练样本,其补偿精度要高于神经网络方法.关键词:电流互感器;支持向量机;电气测量0引言铁心式电流互感器(currentwansducer,CT)是电力系统中重要的测量元件,广泛用于保护,监控和故障测距等领域.由于CT铁心的非线性和磁滞特性,当一次侧电流很大且含有较大的非周期分量时,CT铁心将发生饱和,引起二次侧电流畸变,进而严重影响二次侧设备的正常运行.为使二次侧电流能够正确反映一次侧电流的变化,国内外学者提出了多种CT饱和电流补偿方案.文献『1-21~用CT的磁化曲线实时计算铁心的励磁电流,并用其补偿二次电流.文献[3—4】使用参数估计的方法,利用故障初始阶段的非饱和区电流回归计算故障电流的模型参数,进而补偿饱和区内的二次畸变电流.参数估计方法不受剩磁影响,但其补偿精度取决于所采用的故障电流模型的精度.文献[5—8】利用人工神经网络法对CT饱和进行补偿,具有很强的自学习及非线性映射能力.然而,由于神经网络的学习算法采用经验风险最小化(empiricalriskminimization,ERM)原理,并没有使期望风险最小化,因而存在过学习,低泛化,存在局部极小点以及网络结构难以确定等问题J.支持向量机(supportvectormachine,SVM)是V apnik等人提出的专门研究小样本情况下机器学习规律的理论【l川.SVM采用结构风险最小化(structural riskminimization,SRM)原理,同时使经验风险与置信范围最小化,较好地解决了小样本,非线性,高维数及局部极小点等问题,已被应用于模式识别【】,时间序列预测,"..'等领域.本文将使用SVM进行CT二次侧的饱和补偿.1SVM回归估计方法1.1SVM回归估计函数对于给定的,z个训练样本集{(t,Yi)),其中Xf是输入向量,Y是相应的输出值,SVM采用下式作为回归估计函数10,15]f(xi)=W?()+b(1)第32卷第4期电网技术式中:)是从输入空问到高维特征空问的非线性映射;系数W和b由式(2)来确定.训+c喜(叫(2)式中:I1wll/2为风险的正则化部分;第二部分是经验风险,由式(3)给出的不敏感损失函数来度量,其中小常数,C为正则化参数,决定着模型复杂度与训练误差在目标函数中的比重.L￡(,厂()):{一厂()I一,其IS(它x一<(3)'),厂'1I一厂()I一,其它'3 由于特征空间的维数很高(甚至为无穷),不能直接求解式(2),引入松弛变量和,式(2)变为min{0+c喜(+)}(4)其约束条件为Y一【W?)]一b≤+【W?)】+b—Y+,0f=1,…,n通过引入点积核函数K(x,X)和利用Wolfe对偶技巧,可以将式(4)转化为max{一寺∑((—ai)(a』一日)(,))一∑(日+日)+∑),(日一日)}(5)其约束条件为oa,aC,i:1,…,∑日=∑日式中:K(x,XJ)=f)』);a和a为拉格朗日乘子.根据二次规划的KKT(Karush.Kuhn—Tucker)条件可知,在式(5)中只有小部分(a一)不为零,所对应的数据点就是支持向量.取支持向量x,则式(1)中b可以由下式计算b=Y-Z((日,一日)(,))一?sign(ak一)(6)则式(1)可以变成下面的精确形式厂()=∑((日-ar)K(x,))+6(7)由此可知,回归函数只取决于支持向量部分的数据.1.2SVM的核函数核函数的引入使得回归问题的求解可以直接在输入空问中进行,从而避免了计算非线性映射co(x).任何满足Mercer条件的都可作为核函数.常用的核函数有线性函数,多项式函数,高斯核函数和Sigmoid函数等.核函数的选取可以精确确定高维空间的结构,以控制解的复杂性.2基于SVM的饱和补偿算法2.1仿真系统仿真选用图1所示的500kV双电源系统,两侧电源相角差为3O.,系统阻抗均为:正序阻抗Z,=j20Q,零序阻抗Zs.=j30Q.线路长160km.线路正序参数:X.=0.255f~/km,RI=0.01f~/km,C.I=0.0141/km;零序参数:Xo=0.986f~/km,=0.18f~/km,=0.0081/km.每周期采样2O个点,采样频率为1kHz.图1仿真系统模型Fig.1Simulationsystemmodel电流互感器采用通用电磁暂态仿真程序EMTDC中的Lucas模型,变比选为1200A/5A,额定频率50Hz,铁心截面积20cm,磁路平均长度50cm,二次负荷为2.o+j2.0Q.2-2评价标准为了评价算法的补偿精度,定义以下2个指标来分别评价算法的暂态复合误差和平均相对误差. e()=～1…L[il(n)-2,(n)]一2)】2X100%(8)△MRE=÷∑()(9)Ln=l式中:il(n)为一次电流归算到二次侧的值;i2t()为经过补偿后的二次电流;Ⅳ为每个周期采样点数,取值为2O;L为测试样本数目.2.3训练样本集的构建训练样本集由EMTDC仿真产生,短路故障点分别取在距离图1中M母线1km和6km处的线路上.当CT二次负荷确定时,CT饱和主要与基本直流分量的大小,衰减时间常数和剩磁等因素有关,而直流分量的大小又与故障初始角度有关,因88赵庆明等:基于支持向量机的电流互感器饱和补偿算法V o1.32No.4 此本文的训练样本是下面各种条件的组合.(1)故障初始角盼别取0.,90.,125.,180..(2)时间常数f取50ms,100ms.(3)CT剩磁取一85%,-40%,40%,85%.其中,剩磁百分比以饱和磁通密度为基准,例如剩磁85%是指剩磁为饱和磁通的85%.SVM的输入向量x(n)为<f(),i(n一1),…,i(n一19)),即用最近1个周期的故障电流采样点数据作为输入向量.取各种故障情况下故障后5个周期的电流数据作为训练样本.为反映任意输入向量变化引起的输出变量变化,需要把输入向量归一化N[0,1】之间.SVM的输出为二次侧电流的理想值.2.4SVM参数选择由于高斯核函数具有良好的处理复杂的非线性关系的能力,并且其变量参数少,仅需确定宽度参数,计算效率高,因此本文采用高斯核函数,具体表达式【I为厂『『'.'.『『,K(x,)=expI一l(1o)/式中是高斯核的宽度参数.从式(2)(1O)可以看出,正则化参数C和对回归算法的精度有直接影响,C值过小和过大易对训练数据造成欠学习现象,而C值过大和过小易对训练数据造成过学习现象.经过不同参数值的对比分析,设定C=200,:o.08.另外,式(3)中的值越大,则支持向量的数目就越少,预测的精度也就越低,本文设定e---0.001.CT饱和电流补偿对比算法采用标准3层BP神经网络,根据kolmogrov定理¨设定输入层为2O 个节点,隐含层为41个节点,输出层为1个节点.2.5EMTDC仿真分析由于SVM3~b偿输出与BP神经网络补偿输出很接近,很难区分,所以在图中只标出了SVM补偿输出,通过计算各自的补偿精度指标对2种算法进行比较.图2为距离M母线3km处A相短路接地时CT的一次,二次侧电流和补偿结果,故障初始角0--0.,=2O%.图中的一次侧电流已折算到二次侧,以下同.可以看出,随着z-的增加,CT的饱和程度趋于严重,但经SVM饱和补偿后,CT输出十分接近一次侧电流,补偿效果很明显.采用式(8)(9)可以计算出图2(a)中SVM算法的补偿精度为:max(e(n))=3.63%,AMRE=1.33%;t/mst/ms(a)z-=50ms(b)r=90ms——一次侧电流一SVM输出…二次侧电流图2不同时间常数条件下的CT饱和补偿结果Fig.2CompensatedresultsforthesaturatedCTwith differenttimeconstantsofprimarycurrentBP神经网络算法的补偿精度为:max(e(n)): 11.15%,A=4.37%.图2(b)中SVM算法的补偿精度为:max(e(n))=2.78%,AMRE=1.21%:BP神经网络算法的补偿精度为:rnax(e(n))=9.61%, AMRE=3.71%.图3为距离M母线4km处A相短路接地时的补偿结果,故障初始角0=180.,时间常数v=80ms. 可以看出,一次侧电流具有衰减的负向直流分量, 当其它条件不变时,随着的增加,CT二次侧电流的饱和情况更加严重;但二次侧畸变电流经过SVM算法补偿后,仍能够有效逼近其理想值.O5OlOOmS(b)=一65%——一次侧电流…SVM输出…=:次侧电流图3不同CT剩磁条件下的CT饱和补偿结果Fig.3CompensatedresultsforthesaturatedCTwith differentCTremnantflux计算得出图3(a)中SVM算法的补偿精度为: max(e(n))=1.85%,AMRE=0.72%;BP神经网络算法为:max(e(n))=6.83%,AMRE=2.79%.图3(b) 中SVM算法的补偿精度为:max(e(n))=4.97%,A=2.01%;BP神经网络算法的补偿精度为:max(e(n))=9.03%,AMRE=3.58%.图4为距离M母线5km处A相短路接地时的饱和补偿结果,时间常数r=100ms,/2~=70%.可以看出,在CT具有正向直流分量的情况下,当故障<50≤A.1.}/Vo.——————0.6-_———茹——t/mSt/ms(a)0=(b)0=54.——一次侧电流_--SVM输出…二次侧电流图4不同故障初始角度条件下CT饱和补偿结果Fig.4CompensatedresultsforthesaturatedCTfor afaultwithdifferentfaultinceptionangles第32卷第4期电网技术89初始角度增大时,故障电流中的衰减直流分量变小,CT饱和程度减小.图4(a)中SVM算法的补偿精度为:max(e(n))=5.11%,AMRE=2.11%;BP神经网络法补偿精度为:max(e(n))=9.02%,AMRE=4.08%.图4(b)中SVM算法的补偿精度为:max(e(n))=5.61%,AMRE=1.99%:BP神经网络法的补偿精度为:max(e(n))=12.66%,AMRE=6.73%.图5为距M端母线4km处AB两相短路时CT的饱和补偿结果,其中r=80ms,=5O%,0--0..图5中SVM算法的补偿精度为:max(e(n))=2.94%,AM=1.41%;BP神经网络算法为:max(e(n))=10.92%,△MRF=4.72%.rims——一次侧电流～SVM输出…二次侧电流图5AB两相短路时CT饱和补偿结果Fig.5Compensatedresultsforthesaturated CTwithafaultbetweenphaseAandB由以上结果可知,在各种故障情况下,SVM算法的补偿精度均明显高于BP神经网络算法.为了进一步验证SVM算法的补偿效果,随机抽取36个实例进行了仿真分析,结果如表1所示.可见基于SVM的CT饱和补偿算法能够适应各种故障条件下的补偿要求.表1补偿误差统计结果Tab.1Statisticalresultofcompensationerror3结论(1)SVM方法具有很强的小样本分析和处理能力,因此能够充分利用样本的分布特性,根据部分训练样本构建预测函数,不需要过多的先验知识和使用技巧,因此能够有效克服神经网络法易陷入局部极小点的缺点.(2)仿真分析表明,在合理选择训练样本的基础上,SVM算法对样本的训练时间较BP算法大为减少;并且对训练样本具有很强的鲁棒性,即使在训练样本较少的情况下,SVM算法仍然能够达到很高的补偿精度.{(3)本文提出的补偿算法能够在各种致饱和因素条件下对CT饱和电流进行有效补偿.对于相同的样本训练,其补偿精度优于BP神经网络.参考文献[1]KangYC,ParkJK,KangSH,eta1.Analgorithmforcompensating secondarycurrentsofcurrenttransformers[J].IEEETransonPower Delivery,1997,12(1):116—124.【2JKangYC,LiraUJ,KangSH,pensatingofthedistortion inthesecondarycurrentcausedbysaturationandremanenceinaCT[J].IEEETransonPowerDelivery,2004,l9(4):1642—1649.[3]PanJiuping,VuK,HuYi,eta1.Anefficientcompensationalgorithm forcurrenttransformersaturationeffects[J】.IEEETransonPower Delivery,2004,19(4):l6231628.[4]张新刚,王泽忠.电流互感器铁心饱和引起二次电流畸变的补偿研究[J].中国电机工程,2006,26(3):36—42.ZhangXingang,WangZezhong.Researchoncompensationofthe distortioninsecondarycurrentcausedbyTAsaturation『J】.ProceedingsoftheCSEE,2006,26(3):36—42(inChinese). [5]YuDC,CumminsJC,WangZhuding,eta1.Correctionofcurrent transformerdistortedsecondarycurrentsduetosaturationusing artificialneuralnetworks[J].IEEETransonPowerDelivery,2001,l6(2):189—194.[6]Khorashadi—ZadehH,Sanaye—PasandM.Correctionofsaturated currenttransformerssecondarycurrentusingANNs[J].IEEETrans onPowerDelivery,2006,21(1:73—79.[7]葛宝明,deAlmeidaA T,FerreiraFTE.电力系统电流互感器饱和特性的柔性神经网络补偿法[J1.中国电机工程,2006,26(16):150—156.GeBaoming,de:AlmeidaA T.FerreiraFTE.F1exibleneural network—basedcompensationmethodforsaturationcharacteristicsof currenttransformerinpowersystem[J].ProceedingsoftheCSEE,2006,26(16:150—156(inChinese).『8】8龚庆武,龙志君,刘韬文,等.基于ANN的补偿电流互感器饱和对传变电流影响的算法[J1.电力系统自动化,2001,25(12):34—36.GongQingwu,LongZhOun,LiuTaowen,eta1.ANNbased algorithmtosolvetransformingerrorcausedbycurrenttransformerSaturation[J].AutomationofElectricPowerSystems,2o0l,25(12):34—36(inChinese).[9]李元诚,方廷建,于尔铿.短期负荷预测的支持向量机方法研究[J1.中国电机工程,2003,23(6):55—59.LiYuancheng,FangTingjian,YuErkeng.Studyofsupportvector machineforshort—termloadforecasting[J].ProceedingsoftheCSEE,2003,23(6):55—59(inChinese).[10]VapnikVN.统计学习理论的本质[M].北京:清华大学出版社,90赵庆明等:基于支持向量机的电流互感器饱和补偿算法V o1.32No.4国外抗击自然灾害的方法瑞士:雪崩预警报告瑞士是世界着名滑雪胜地,也是雪崩频发的地方.为预防雪崩,不少滑雪场都设立防护网,进行雪道监控,开通警报系统,还设立了多个远程自动观测站测量风速,积雪厚度和温度,每天两次向公众发布雪崩预警报告.一家体育公司还推出了名为"生命包"的气囊滑雪服,可自动充气,保护头部,气囊中储存的约150L空气可作氧气补给,延长使用者存活时间.美国:暴雪前夕准备暴风雪来临前,政府建议当地居民在周末将车辆停放在远离主干道的场所,以方便扫雪人员迅速清理主要路面;机场则早早准备好扫雪设备,每小时可清除500t积雪;政府还敦促当地居民帮忙查看近邻亲朋中的老年人,确保其温饱不受暴风雪影响.日本:模拟地震平台日本堪称世界上地震最多的国家,全国各地设有不少地震博物馆和地震知识学习馆,免费向市民开放.在这些地震博物馆内,市民们能够亲身体验地震时的感觉.借助博物馆内模拟火灾现场的烟雾走廊和模拟地震的震动平台,参观者可以体验到6级地震发生时的状态.每年法定"防灾日"来临时,日本各地都会举办地震防灾演练,向市民介绍面对突发灾难的应急对策,也提醒市民加强危机意识.因此震后国民总能镇静救灾,成功将震后伤亡,损失降到最低.德国:联动防范灾害德国的灾害预防机制由多个担负不同任务的机构有机组成.在发生疫情以及水灾,火灾,雪崩等自然灾害时,他们各司其职,协力合作,最大限度地减少灾害所造成的损失和对社会的冲击.整个救灾工作由州内政部长统一指挥.如果洪灾涉及到多个州,则由这几个州的内政部长相互协调.救灾所需的经费主要由保险公司,红十字会,教会和慈善机构承担,联邦政府承担的部分很有限.。
基于SVM的二次下降有效集算法
基于SVM 的二次下降有效集算法丁晓剑,赵银亮,李远成(西安交通大学电子与信息工程学院,陕西西安710049)摘 要: 针对现有的有效集方法应用到支持向量机(support vector machine,SVM)优化问题时收敛速度较慢的问题,提出了一种基于二次下降法和推测赋值法的有效集算法.该算法在每次迭代过程中利用映射因子将迭代向量值限制在优化问题的不等式约束中,并通过调整步长使目标优化问题的函数值较传统的有效集算法进一步下降.由于函数值在每次迭代后保证了严格快速下降,所以提出的算法能够快速收敛到全局最优解.实验结果表明该方法的迭代次数和迭代时间有明显减少.关键词: 支持向量机;有效集;二次下降法;迭代中图分类号: TP319 文献标识码: A 文章编号: 0372 2112(2011)08 1766 05Secondary Descent Active Set Algorithm Based on SVMDI NG Xiao jian,Z HAO Yin liang,LI Yuan c heng(Sc hool o f Elec tronic s and Information Engineering,Xi an Jiaotong U nive rsity,Xi an,Shaanxi 710049,China )Abstract: To solve the slow convergence rate of the existing active set methods applied into optimization formulation of sup port vector machine,an active set algori thm bas ed on the secondary descent method and the speculative assignment method is pro po s ed.At each iteration of the algorithm,a projection operator is us ed to res trict the iterative vector onto the inequality cons traints of optimization formulation,and then an adjustable s tep size is used to ensure the fu nctional value of optimization formulation make further descent compared to the traditional active set method.As functional value ensure rapid and strictly descent at the end of each iteration,the global optimu m solution can be obtained with rapid convergence rate.Experimental results show that i terations time and training time of the proposed method have been decreased obvio usly.Key words: support vector machine;active set;s econdary descent method;iteration1 引言目前求解支持向量机[1](support vector machine,SV M)的二次规划问题的方法可以分为分解法[2~7]和有效集法[8,9].文献[2]证明了SV M 优化问题可以分解为一系列子问题来求解.当前应用广泛的SVM 软件包SV M [3]和LIBSVM [4]都是将原始优化问题划分为一系列子优化问题来求解.Pla tt [5]提出的SMO (sequential mini mal optimization)方法是常用的求解SVM 优化问题的方法之一,SMO 使用了一种极端分解策略,每次迭代只需求解含有两个工作变量的子优化问题.Fang 等人[6]针对简化SVM 提出了改进的SMO 算法,具有较少的支持向量数和较高的支持向量识别速度.Yang 等人[7]提出的自适应迭代方法可以有效确定最小二乘SVM 回归问题中支持向量的数目,在回归精度相近的情况极大地提高了算法学习的速度.有效集法通过迭代求解子优化问题求得原始优化问题的最优解.与分解法不同的是,有效集法是一种增量迭代方法,迭代的过程就是不断识别正确的有效集和工作集的过程,当工作集和有效集都被正确识别出时,优化问题得到最优解.文献[8]提出的有效集方法在基准数据集的实验中表现出比SMO 方法更低的计算代价.虽然有效集方法[8,9]在很多基准数据集和不同性能指标测试中表现出了高效性,但是这些有效集方法的识别策略仍然存在两个问题:(1)迭代次数过多.在有效集识别过程中,由于采用单向下降策略,每次迭代的有效集识别阶段只能识别一个有效集变量.对于N 个训练样本,一般会产生O (3N /2)次迭代,迭代次数过多明显会影响样本训练的时间;(2)误迭代率较高.有效集算法一般先正确识别完所有有效集变量,才开始工作集变量的识别.如果上次迭代结束时所识别的有效集变量在本次迭代后仍然判定到边界约束上,那么此次迭代称为收稿日期:2010 10 14;修回日期:2011 03 02基金项目:国家863高技术研究发展计划(No.2008AA01Z136)第8期2011年8月电 子 学 报ACTA ELECTRONICA SINICA Vol.39 No.8Aug. 2011误迭代,显而易见误迭代会增加算法的计算代价.不同于单向下降法(single direc tional desce nt me thod, SDD M)[8]每次迭代只能识别一个有效集变量,本文提出的二次下降法(secondary desce nt method,SD M)能够在每次迭代时识别多个有效集变量,使目标优化问题函数值快速下降,可以减少算法的迭代次数,进而缩短训练样本的时间.另外采用推测赋值方法能够减少误迭代情况的发生,从而进一步降低训练过程中的计算代价.2 S VM的有效集算法回顾2.1 SVM优化问题本文研究SVM的两类分类问题,给定一个含有N 个样本的训练样本集x i,y i N i=1,其中输入为d维向量x i R d,输出为y i是线性不可分的,需要引入映射函数 (x)将xi映射到高维空间 (xi)中.根据KKT(Ka rush Kuhn Tuc ker)定理[10]和拉格朗日乘子理论,训练SV M等价于求解如下对偶优化问题Minimize:f( )=12T Q -e TSubject to: y=0,0 i C,i=1, ,N(1)其中Q=K yy T R N N为半正定矩阵,K(x i,x j)= (x i) (x j)为满足Mercer定理的核函数,y=[y1, ,y N]T R N, =[ 1, , N]T R N为拉格朗日乘子,e=[1, , 1]T R N.定义集合L=i| i=0,U=i| i=C和S= i|0< i<C,有效集算法在每次迭代中的主要计算代价是求解式(1)的子优化问题[8]Minimize:q( S)=12T S Q SS S+ T U Q U S S-e T SSubject to:y T S S+y T S U=0(2)其中S 和U是由下标分别属于集合S和U的 的分量构成的向量,其它向量同理可得.有效集算法通过每次迭代求解式(2)得到式(1)的最优解,算法[8]利用2层循环来求解目标优化问题:外循环判断 中边界约束元素是否都满足KKT条件,如果都满足,算法终止.如果不满足,则选取违反KK T条件的变量进入内循环求解.内循环目标是求解式(2),使得最优解S满足上下界约束,并且利用SDDM使函数值下降.2.2 SDDM设 kS为第k次迭代的解向量,则第k+1次迭代过程可表示为: k+1S= k S+ k d k.其中d k为下降方向, k为搜索步长.SDDM的核心思想是通过调整步长k使迭代后的解向量 k+1S 满足框式约束具体的做法是将 kS的每个分量都会乘以相同的步长以保证函数q(S)值的严格下降,使得q( k+1S)<q( k S).该方法虽然保证函数值严格下降,但是每次迭代只能识别一个有效集变量.如果正确识别所有的有效集变量,将会导致较多的迭代次数.3 提出的方法3.1 SDM本节对有效集算法内循环中SDD M进行了改进,提出了SD M算法,能够使函数q(S)值SDDM进一步下降.SD M与SDD M的主要区别是 k S每个分量的调整步长可以不同.先设置一个初始步长,利用SDD M得到k+1S,然后通过映射的方法使 k+1S的所有分量都满足式(1)的不等式约束.定义映射因子( )i=0,if i 0i,if0< i<CC,if i C(3)定义k1为第k次迭代中满足SDDM的最优步长,k2为第k次迭代中满足SD M的最优步长.令 k+1S:=( kS+ k2d k)为第k次迭代求解二次下降法得到的解向量.则第k次迭代过程的SD M可描述如下:S DM算法输入:变量 kS,d k和实数M>1输出:变量 k2, k+1S步骤1 计算maxmax{ 0| kS+ d k [0,C]},设 mi n{ m ax,1}.ifmax>1then k2 1, k+1S= k S+d k,终止本次迭代else转向步骤2,end if步骤2 设 k1 ,计算式(2)的函数值F q( k S+ k1d k).步骤3 设tempM ,计算 te mpS= ( k S+ tem p d k)和式(2)的函数值q( tempS).步骤4 i f( temp 1or q( tempS) F)theni ftemp=1then k2 , k+1S= k S+ d k,终止本次迭代elsek2tem p/M, k+1S= ( k S+ k2d k),终止本次迭代end ifelse F q( tempS), te mp/M , temp,转向步骤3,end ifSDM算法主要是寻找最优搜索步长k2的过程.步骤1判断由d k计算得到的向量是否满足不等式约束:如果满足不等式约束,通过计算 k+1S= k S+d k得到解向量;如果不满足,则转向步骤2继续寻找最优步长.根据步骤1阶段 的计算公式和判断条件可知,步骤2初始阶段得到的 即SSD M的最优步长k1.步骤3设置迭代步长te mp( ,1],步骤4通过临时步长t emp判断函数值q( t empS)能否较q( k S+ k1d k)进一步下降,如果1767第 8 期丁晓剑:基于SVM的二次下降有效集算法可以继续下降,重复选取 t emp 直至函数值不再下降为止.当找到满足条件的最优步长 k 2后,计算 k +1S= ( k S + k 2d k )时可能会产生一个问题.经过映射得到的 k +1S中所有分量的值都可能等于0或者等于C,这样会导致工作集为空,从而影响下一次迭代.对于这种情况,先从指标集I 中约减掉有效集指标,然后从I 集合中随机选取一个指标加入工作集中,并对相应的变量赋予0到C 间的任意值,以进行下一次迭代.3.2 推测赋值法在步骤1中,如果不等式约束满足,可以得到解向量 k +1S = k S +d k ,然后判断KKT 条件是否满足:如果都满足条件,就得到式(1)的最优解;如果不满足,选取违反KKT 条件最大的指标,将之加入到工作集中继续迭代.当选定一个指标后,一般的有效集方法[8]是将该指标直接加入到工作集中.这种做法就导致一个问题:该指标从有效集中取出再放入到工作集中,但是它对应的变量在边界上(等于0或者等于C),而工作集对应的变量的值应该在0和C 之间.这种做法会产生矛盾,容易使下次迭代成为误迭代.由于工作集变量的值可能是在0到C 之间的任意值,直接的方法是将该值赋为C/2,能够减少工作集变量迭代到最优值花费的计算代价.3.3 算法收敛性分析定理1 设第k 次迭代的解向量 k S ,下降方向d k,SDD M 的最优搜索步长 k 1,SDM 的最优搜索步长 k 2,则q( ( k S + k 2d k )) q( k S + k 1d k )成立.证明 SD M 算法先找出SDD M 的最优步长 k 1 [0,1],并得到函数值q( k S + k 1d k ).步骤4寻找步长te mp 使函数值较q ( kS +k 1d k)进一步下降,可以分为两种情况:(1)如果步长 te mp 越界( temp >1)或者q ( te mpS ) q ( kS + k 1d k),进行回溯操作,令 k 2= ,由于先前已经令 k 1= ,此时 k 1= k 2,由SDDM 算法[8]可知,此时向量 k S + k 1d k仅有一个分量在边界上,其余分量都在界内.根据映射函数 定义可知, ( k S + k 1d k )= k S + k 1d k ,即 ( k S + k 2d k )= k S + k 1d k ,所以有q ( ( k S + k 2d k ))=q ( k S + k 1d k ).(2)如果步长 te mp 不越界( t emp [0,1])并且q ( t emp S )<q ( k S + k 1d k ),循环执行步骤3和4直至q ( t emp S )的值不再降低为止,此时有 k 2= te mp ,又 te mp S = ( k S + te mp d k ),所以有q ( ( k S + k 2d k ))<q( k S +k 1d k ).根据上面两种情况,必然有q ( ( k S + k 2d k)) q ( k S + k 1d k)成立,定理得证.从SD M 的算法流程可以看出,SDM 是基于SDDM 来判断函数值是否能进一步下降.令q ( k S + k 1d k)为SDD M 得到的函数值,q( ( k S + k 2d k ))为SDM 得到的函数值,根据定理1有q( ( k S + k 2d k )) q ( k S + k 1d k ).文献[8]证明了SDD M 的有效集方法是收敛的,证明的核心思想是利用了q ( k S + k 1d k )<q ( kS )的性质,即保证每次迭代函数值的严格下降.由于q ( ( k S + k 2d k )) q ( k S + k 1d k ),所以q ( ( k S + k 2d k ))<q( kS )必然成立,利用SDDM 的证明方法,SD M 也必然是收敛的.由于SD M 和SDD M 得到的最优函数值相同,而SD M 在每次迭代能得到更小的函数值(定理1),所以它的收敛速度比SDD M 要快.4 实验与性能分析为了全面地分析SDM 算法的性能,将SD M 算法与经典的SSD M 算法[8]和改进的有效集算法(ESSD M)[9]进行对比.ESSD M 算法利用Cholesky 快速分解的方法和Rank one 更新Q SS 矩阵法求解式(2),有效地提高了算法的效率.本文仅进行二类分类问题的比较,实验数据来自UCI 标准数据集[11]和Statlog 数据集[12],数据的输入归一化到[0,1]范围内,数据的具体描述见表1.所有算法都是基于Pentium 4,2 53G HZ,MATLAB 2007环境下比较.表1 标准数据描述数据集属性数训练样本数测试样本数Breast cancer 10300383liver disorders 6200145Diabe tes 8576192ionos phere 34300251Pi madata 8400368P wlinear 10100100Sonar60100158Monk s Problem 16124432Monk s Problem 26169432Splice 6010002175heart 1370200Australian143003904.1 参数设定SVM 优化问题的核函数选择高斯核函数:K (u,v )=e xp (-u -v 2/2 2).其中核参数 和代价参数C 的选择方法参照文献[13,14].对于每个数据集选取15个 值和15个C 值,然后在225种参数对中选择性能最好的组合(C, ).15个C 值分别取:0 001,0 01,0 05,0 1,0 2,0 5,1,2,5,10,20,50,100,1000和1768 电 子 学 报2011年10000 15个 值分别取:0 001,0 01,0 1,0 2,0 4,0 8, 1,2,5,10,20,50,100,1000和10000 SD M算法中的参数M取值为2.4.2 SDM与SDD M和ESSDM的比较由于有效集算法需要设置初始迭代向量,在此3种算法的初始迭代向量都作如下设置:前一半分量的指标作为初始工作集,值设为C/2,后一半分量的指标作为初始有效集,值设为C.由于有效集算法都是求解式(2),得到的最优解是一致的,所以它们的测试精度是一样的.在此利用迭代次数,训练时间作为算法性能的评价指标.表2给出了3种算法的比较结果,表3给出了3种算法的各项参数,包括边界支持向量(bounde d support vec tor,BSV),非边界支持向量(non bounded sup port vector,NBSV),初始函数值和最优解函数值.表2 SD M与SDD M和ESSD M的比较数据集SDD M ESSDM SD M迭代次数训练时间迭代次数训练时间迭代次数训练时间Breas t cancer3210.23752890.20211910.0822li ver dis orders1900.09051750.08981320.0514 Di abetes715 1.8233674 1.23985230.5857 i onos phere1810.05901670.05201530.0419 Pi madata5180.67104810.52873410.3936 Pwlinear1160.03321030.0303780.0239 Sonar2180.06482110.05971530.0497 Monk s Proble m12790.08522850.09212160.0671 Monk s Proble m24080.20873940.19983340.1884 Splice97910.94878 5.282583 1.123 heart1640.05161670.05341620.0503 Aus trali an4760.38884210.3123280.2455表3 SD M与SDD M和ESSD M算法的参数数据集(C, )#NBSV#BSV初始函数值最优解函数值Breast cancer(5,50)42199.5386e+002-7.5523e+002 liver disorders(10,2)9155 2.0524e+004-1.4667e+003 Diabetes(1,1)103308.8695e+003-3.1305e+002 ionosphere(5,5)402 2.4865e+004-4.9571e+001 Pi madata(103,50)9222 2.5246e+009-2.2394e+005 P wli near(104,103)556 2.0142e+008-5.0409e+005 Sonar(20,1)730 2.6694e+004-8.5923e+001 Monks Problem1(10,1)700 1.1908e+004-7.6653e+001 Monk s Problem2(104,5)5324 3.2482e+010-3.3522e+005 Splice(2,20)426627.3972e+002-1.1364e+003 heart(104,5)1544 1.1472e+009-3.3186e+005 Australian(2,2)251737.8305e+003-3.7012e+002从表2可以看出,在12个标准数据集测试中,SD M 相比SDD M,迭代次数平均减少1/3左右,训练时间也有大幅的降低.从表3可以看出,对于BSV个数较多的数据集,SD M算法训练时间减少较多,对于NBSV个数较多的数据集,SD M算法训练时间减少较少.这是由于当BSV 个数较多时,根据引入的映射函数,SD M算法在每次迭代中有更高的几率将工作集变量判定到边界上,同时会使得函数值二次下降,进而减少算法的训练时间.4.3 迭代向量初始值敏感性分析迭代向量初始值选取的不同会对算法性能造成较大影响,本节利用Splice数据集比较单向下降法和二次下降法的不同初始迭代向量的性能.由于式(1)的不等式约束的边界值为0和C,在此利用两个策略来分析不同的迭代向量初始值对算法的影响.策略1每次测试初始迭代向量的前(N/10)*i个分量作为初始工作集,值设为C/2,余下分量的指标作为初始有效集,值设为C.策略2每次测试初始迭代向量的前(N/10)*i个分量作为初始工作集,值设为C/2,余下分量的指标作为初始有效集,值设为0,其中i=1, ,10.对于每个数据集利用策略1和策略2时,都有10次测试,对于每次测试利用迭代次数和训练时间作为性能测试指标.图1~2是两个算法在Splice数据集上基于策略1的比较结果.图3~4是两个算法在Splice 数据集上基于策略2的比较结果.从图1~2可以看出,SDD M训练时间受迭代向量初始值变化相当明显,这是由于初始工作集变量很多时单向下降法每一次迭代的计算复杂度太高.从图4可以看出,SDM在初始工作集变量变多时迭代次数下降明显.从两个策略的比较可以看出,SDD M对迭代向量初始值变化敏感,在初始迭代时工作集变量较少时可以表现出较好的性能.SD M在初始工作集变量较多时性能较好.5 结论和将来的工作针对传统有效集方法求解SVM优化问题出现的迭代速度较慢和容易出现误迭代的问题,本文提出了基1769第 8 期丁晓剑:基于SVM的二次下降有效集算法于SDM和推测赋值法的改进算法,能够使SVM优化问题的目标函数较传统的SDDM进一步下降,从而有效地减少迭代次数和降低计算复杂度,并且能有效减少误迭代的情况.实验表明该方法的训练时间对迭代向量初始值的变化不敏感,当初始迭代时工作集变量增加时,提出的算法的迭代次数可以有效地减少.本文的后续工作将研究在初始迭代阶段能识别正确的工作集变量的方法,这就保证了每次迭代选取多个违反KKT条件的变量的可行性,从而进一步减少迭代次数和降低计算复杂度.参考文献[1]Cortes C,et al.Support vector networks[J].M achine Learning,1995,20(3):273-297.[2]Osuna E,et al.An improved training algorithm for support vector machines[A].Proceeding s of the1997IEEE Workshop Neu ral Networks for Signal Pro cessing VII[C].J Principe,L Giles,N M organ,E Wilson,editors,Amelia Island,Florida, U SA,1997.276-285.[3]Joachims T.Making L arge Scale SVM Iearning Practical[M].Advances in Kernel M ethods Su pport Vector L earning,B Sch lkopf,C J C Bu rges,A J Smo la,Eds Cambridge,MA:MIT Press,1998.[4]Chang C C,et al.LIBSVM:A library for support vector machines[CP/OL]..tw/~cjlin/lib svm,2001 02 12.[5]Platt J.Fast Training of Su pport Vector M achines U sing Sequential M inimal Optimization[M].Advances in Kernel Meth ods-Support Vector Learning,chapter12,Cambridge,MA: MIT Press,1999.185-208.[6]方景龙,等.复杂分类问题支持向量机的简化[J].电子学报,2007,35(5):858-861.Fang J L,et al.A simplification to support vector machine for complicated recognition problem[J].Acta Electronica Sinica, 2007,35(5):858-861.(in Chines e)[7]杨滨,等.自适应迭代最小二乘支持向量机回归算法[J].电子学报,2010,38(7):1621-1625.Yang B,et al.Adaptive and iterative training algorithm of least square support vector machine regression[J].Acta Electronica Sinica,2010,38(7):1621-1625.(in Chinese)[8]Vis hwanathan S V N,et al.SimpleSVM[A].20th InternationalConference on M achine Learni ng[C].Washington DC:AAAI Press,2003.[9]Scheinberg K.An efficient implementation of an active setmethod for SVMs[J].Jou rnal of Machine Learning Research, 2006,7(10):2237-2257.[10]R Fletcher.Practical M ethods of Optimization,ConstrainedOptimization,Vol2[M].U SA:John Wiley&Sons,1981. [11]Blake C L,et al.U CI repository of machine learning databases[EB/OL]./~mlearn/MLReposi tory.html,1998 04 02.[12]M ichie D,et al.Machine Learning,Neural and Statis ticalClassification[EB/OL].ftp:ftp.ncc.u p.pt/pu b/stalog/,2001 02 19.[13]Huang GB,et al.Optimization method based extreme learningmachine for classification[J].Neurocomputing,2010,74(1-3):155-163.[14]丁晓剑,赵银亮.优化极限学习机的序列最小优化方法[J].西安交通大学学报,2011,45(6):7-13.Ding X J,Zhao Y L.Sequential minimal optimization method based on optimization ELM[J].Jo u rnal of X i an Jiao tong U niversity,2011,45(6):7-13.作者简介丁晓剑 男,西安交通大学电子与信息工程学院博士研究生.主要研究方向为神经网络和机器学习.E mail:xjding@s 赵银亮 男,西安交通大学电子与信息工程学院教授.主要研究方向为并行计算,数据挖掘和新一代编程模型.E mail:z haoy@mail.xj 1770 电 子 学 报2011年。
东北大学本科毕业设计论文《基于支持向量机算法的电网故障诊断方法研究》
ABSTRACT
With electricity demand growth and technology progress, power grid has become larger and more complex. Due to the formation of large power grids, the quality of electricity supply and electric security improves, also, resources complementary has been strengthened. Once fault occurs, however, it will spread to a wider area with a faster speed. For these merits, this study focuses on the fault diagnosis for power network based on support vector machine. By analyzing relative literatures and building a simulation model, this thesis finishes the analyzing of fault waveforms and harmonic distribution, and studies fault characteristics from the perspective of signal synthesis. To extract fault features submerged in original fault data, this thesis deeply studies the fuzzy processing method, the value detection of instantaneous current and the common fault feature extraction method based on wavelet singular entropy. For the error-prone of instantaneous current detection, fuzzing set ideas is drew to optimize the training samples and by modifying diagnostic strategies, the shortcoming is overcame. To reduce the elapsed time of the common fault feature extraction method based on wavelet singular entropy, a new fault feature combination is proposed by comparing the method with instantaneous current detection. This new combination can inspect faults rapidly when current has a sharp rise such as no- load line closing serious short circuit and improve the diagnostic accuracy when fault current rise is more gentle by taking advantage of wavelet transform which has a wealth of information. Under the condition that the fault features are extracted entirely, artifirt vector machine are used to diagnose power network faults. On one hand, a comparison of the two methods and a study on kernels, multi-class classification methods and SVM training algorithms are carried out. On the other hand, for a figurative expression of the diagnostic results, two dimensions are constructed from the training samples and a twodimensional optimal hyperplane is established by analyzing simulation system structure and data characteristics. Finally, by analyzing the spatial distribution of sample points, the three-dimensional optimal hyperplane is explored. －III－
ε不敏感损失函数支持向量机分类性能研究
（ 西安交通大学现代设计和转子轴承系统教育部重点实验室 ， １０ ９ 西安） ７０４ ，
摘 要 ：将原 先 用 于支持 向量 回 归的 ｓ不敏 感损 失 函数 引入 到 支持 向 量分 类 中 ， 出 ｓ 提 不敏 感 损 失 函数 支持 向量 分 类算法 （－ ＶＣ ． ｅＳ ） 同标 准 支持 向量 分 类 方法 （ ＿ ＶＣ 和 最 小二 乘 支持 向量 分 类 方 ＣＳ ）
ｐ ｏ ｌｍ ．Ｔｈ ｏ ｇ ｃ ｕ ａｅｓ ａ ｃ ｆｔ ｅｐ ｒ ｍｅ ｅ ，ｔ ｅ￡Ｓ ｒｂｅ ｒ ｕ ｈａ ｃ ｒ ｔ ｅ ｒｈ ｏ ｈ ａ ａ ｔｒｓ ｈ ＿ ＶＣ ｉ ｎ ｏ ｄ ｗｉ ｉｈ ｒｃａ ｓｆ ｓｅ ｄ ｗｅ ｔ ｈ ｇ ｅ ｌｓ ｉ — ｈ ｉ
中图分 类 号 ：ＴＰ ８ 文 献标 识码 ：Ａ 文 章编 号 ： ２ ３９ ７ ２ Ｏ ） １１ １—６ １３ ０ ５ —８ Ｘ（ Ｏ ７ １—３ ５０ Ｃｌ ｓ ｉ ｉ ａ ｉ ｎ Ｐｅ ｆ ｒ ａ ｃ ｆＳ ｐ ｒ ｃ ｏ ａ ｈｉ ｅ ｗｉｈ ａ ｓ ｆｃ ｔｏ ｒ ｏ ｍ ｎ ｅ ｏ ｕ ｐｏ ｔＶｅ ｔ ｒ Ｍ ｃ ｎ ｔ
Ｓ Ｃ 特别是对于大规模数据集， Ｖ ． 这种优势将更加 明显． 另外， 通过精确选择参数 ｓ 的值 ， Ｓ Ｃ能 ｅＶ － 够获得 比 Ｃ Ｓ －ＶＣ和 Ｌ ＶＣ更 高 的分 类正 确 率 ， 是 训 练 、 试 和 参数 选择 的 速度 却 随 着 ｓ的减 Ｓ 但 测
小而降低．
关键 词 ：ｓ不敏 感损 失 函数 ； 支持 向量分 类 ； 式分 类 ； 模 支持 向量 回 归
Ａｂ ｔａ ｔ Ｔｈ －ｎ ｅ ｓｔｖ ｓ ｕ ｃ ｉ ｎ ｇ ｎ ｒ ｌ ｍｐ ｏ ｅ ｎ ｓ ｐ ｏ ｔｖ ｃ ｏ ｅ ｒ ｓ ｉ ｎ ｉ ｉ ｔ ｏ ｓｒ ｃ ： ｅｅ ｉ ｓ ｎ ｉｉ ｅ ｌ ｓｆ ｎ ｔ ｅ ｅ ａ ｌ ｅ ｌ ｙ ｄ ｉ ｕ ｐ ｒ ｅ ｔ ｒｒ ｇ ｅ ｓｏ ｓ ｎ ｒ — ｏ ｏ ｙ ｄ ｃ ｄ ｉ ｔ ｕ ｐ ｒ ｅ ｔ ｒ ｃａ ｓｆ ａ ｉ ｎ，ａ ｄ ｔ ｅ ｓ ｐ ｏ ｔ ｖ ｃｏ ｌ ｓ ｉ ｃ ｔ ｎ ｗｉ －ｎ ｅ ｓｔｖ ｕ ｅ ｏ ｓ ｐ ｏ ｔ ｖ ｃ ｏ ｌ ｓ ｉ ｃ ｔｏ ｎ ｉ ｎ ｈ ｕ ｐ ｒ ｅ ｔ ｒ ｃａ ｓ ｆ ａ ｉ ｔ ｅ ｉ ｓ ｎ ｉｉ ｅ ｉ ｏ ｈ ｌ ｓ ｕ ｃ ｉ ｎ （ ＿ ＶＣ ） ｉ ｐ ｏ ｏ ｅ ． Ｃ ｍｐ ｒ ｄ ｗｉｈ ｔ ｅ ｓ ａ ｄ ｒ ｕ ｐ ｒ ｅ ｔ ｒ ｃａ ｓｆ ａ ｉ ｎ ｏ ｓｆｎ ｔ ｏ ￡Ｓ ｓ ｒ ｐ ｓｄ ｏ ａ ｅ ｔ ｈ ｔｎ ａ ｄ ｓ ｐ ｏ ｔｖ ｃｏ ｌｓ ｉ ｃ ｔ ｉ ｏ
210984848_顾及物方坐标误差的张正友标定算法
文章编号:1006 2610(2022)06 0079 06顾及物方坐标误差的张正友标定算法瞿 锴1,郭中佑2,唐育林2,陈抒录3,陈朋明2(1.中机国际工程设计研究院有限责任公司,长沙 410021;2.湘潭大学土木工程学院,湖南湘潭 411100;3.湘潭市勘测设计院,湖南湘潭 411100)摘 要:针对传统张正友相机标定算法未顾及系数矩阵偶然误差的问题,引入以变量误差模型为基础的整体最小二乘平差方法以提高其解算结果精度,同时开发相机参数计算软件以提高解算效率㊂先以尼康D800为例,使用控制变量法分析相片数量和拍摄角度对参数解算精度的影响,确定相片数量和拍摄方式后,将改进前后的张正友标定算法在尼康D800和索尼ILCE-7R 两种常用非量测型相机上开展实验㊂结果表明:随着相片数量的增加,解算精度不会一直提高,而是逐渐趋于平稳;不同角度拍摄的相片参与解算比单一角度的精度更高;与传统算法相比,采用整体最小二乘得到的参数精度更好㊂可为相关生产单位的相机检校工作提供有用的价值参考㊂关键词:相机检校;张正友标定算法;整体最小二乘;单应性矩阵中图分类号:P237 文献标识码:A DOI :10.3969/j.issn.1006-2610.2022.06.013Zhang Zhengyou 's Calibration Algorithm with consideration of Object -squared Coordinate ErrorsQU Kai 1,GUO Zhongyou 2,TANG Yulin 2,CHEN Shulu 3,CHEN Pengming 2(1.China Machinery International Engineering Design &Research Institute Co.,Ltd ,Changsha 410021,China ;2.School of Civil Engineering and Mechanics ,Xiangtan University ,Xiangtan 411100,China ;3.Xiangtan Institute of Surveying Designing ,Xiangtan 411100,China )Abstract :Aiming at the problem that the traditional Zhang Zhengyou camera calibration algorithm does not take into account the accidental error of thecoefficient matrix ,the overall least squares leveling method based on the variable error model is introduced to improve the accuracy of the solution re⁃sults ,and the camera parameter calculation software is developed to improve the solution efficiency.Taking the Nikon D800as an example ,the influ⁃ence of the number of photos and shooting angle on the parameter solving accuracy is analyzed by using the control variable method ,and after determi⁃ning the number of photos and shooting method ,the Zhang Zhengyou calibration algorithm before and after the improvement is applied on the Nikon D800and Sony ILCE-7R ,two commonly used non-measurement cameras.The results show that with the increase of the number of photos ,the solution accuracy does not continuously increase ,but gradually level off.Photos taken from different angles participate in the solution with higher accuracy than those taken from a single angle ;Compared with the traditional algorithm ,the parameter accuracy obtained by using the overall least squares is better.The study results can provide a useful value reference for the camera calibration work of the relevant production units.Key words :camera correction ;Zhang Zhengyou calibration algorithm ;overall least squares ;homography matrix 收稿日期:2022-07-14 作者简介:瞿锴(1996-),男,湖南省常德市人,助理工程师,主要从事工程测绘工作. 基金项目:湖南省自然科学基金项目(14JJ7039).0 前 言近年来,无人机摄影测量技术得到了迅猛发展,在生产实践中广泛应用于农业㊁林业㊁海洋等领域[1]㊂在无人机摄影测量中普遍采用非量测型数码相机,但其存在着相机光学畸变大的缺点,故需要对相机成像参数予以检校㊂相机检校是通过对已知坐标或相对位置关系明确的物体进行拍照,利用物体相片量测坐标与已知坐标之间的对应关系来求取相机成像参数㊂为保证参数解算的可靠性,通常需要进行大量的多余观测,这些数据被认为服从高斯-马尔可夫模型(Gauss -Markov Theory),可构建众多的观测数据方程,在最小二乘准则约束下求解方程获得参数的最优估值㊂相机检校常用的Tsai 算法㊁张正友标定算法㊁灭点法和直接线性变换(Direct Line transform,DLT)算法在计算相机参数时都采用了G-M 模型[2]㊂但G-M 模型只考虑了观测向量包含误差,则将导致应用传统最小二乘准则估计的参数不是最优解㊂97西北水电㊃2022年㊃第6期===============================================考虑到G-M模型的缺点,整体最小二乘准则被提出并逐渐应用到上所述相机检校工作中所列方程求解的约束条件[3]㊂如陶叶青[4]㊁杨会军[5]㊁孔建[6]㊁鲁铁定[7]和孙培芪等[8]将整体最小二乘应用到解决方案中去,实验结果表明,整体最小二乘在拟合函数㊁转换参数的求解问题中更加具备优势㊂其次是检校场类型对相机检校起着很重要的作用,倪静㊁曹良忠等[9-10]研究了相对条件较为苛刻的野外检校场㊁田雷等[11]应用了室内检校场检校㊁李平[12]简化了三维空间检校场,应用二维检校场进行相机检校中比较出名的是张正友检校法[13],这种方法只需要一个规则的格网状平板,通过移动相机从不同位置对其拍照,即可计算出内外方位元素㊂考虑到野外检校场和室内三维检校场建立与维护的不易,而无人机摄影测量相机又需要频繁检校,本文采用自制的格网型模板,先以尼康D800为例,利用控制变量法分析相片数量和拍摄角度对参数解算精度的影响,确定相片数量和拍摄方式后,使用Nikon D800相机与索尼ILCE-7R相机拍摄模板获取数据㊂接着,考虑到整体最小二乘算法较最小二乘算法的模型更为完善,顾及到了模型中系数矩阵可能存在的误差,使用整体最小二乘算法对张正友检校算法予以改进,并通过试验进行验证,以提高非量测相机的检校精度,保证测绘生产获得较高质量的成果㊂1 研究方法自检校方法是Maybank[14]提出的一种与相机移动和空间几何信息无关的相机检校方法㊂这方面国内的工作有孟晓桥等[15]从多个方向拍摄模板图像,应用圆检校算法,利用射影的不变性,解算出了相机参数㊂从计算原理讲,张正友检校法也可以归于自检校方法㊂相机的自检校方法是指不需要依据一个已经建立好的检校场,是通过影像与影像之间的对应关系,计算出相机的参数㊂此种方法的优点是价格低廉,可以随时随地对相机进行检校;缺点则是精度会比较低㊂张正友相机标定算法是将打印的棋盘格贴在平面上,从不同角度进行拍摄,利用像点和物点的几何关系确定相机内外方位元素的初值,然后将其作为非线性相机几何模型的初值,求出单应性矩阵,以此解算出摄像机内外参数和畸变系数,模型如图1所示㊂图1 张正友算法模型1.1 单应性矩阵设世界坐标某点的物理坐标为M=[U,V,W, 1]T,其对应的像素坐标系下的像素坐标点为m= [u,v,1]T,故标定用的棋盘格平面到图像平面的单应性关系为:sm=A[R t]M,A=α γ u00 β v0éëêêêêùûúúúú0 0 1(1)其中:s为尺度因子;A为相机内参矩阵;包括仿射变换和透视投影;(u0,v0)为像主点坐标;α,β为焦距与像素横纵比的融合;γ为径向畸变参数;R为旋转矩阵;t为平移向量;[R t]也被成为相机的外参矩阵㊂设棋盘格平面W=0,可得:suvéëêêêùûúúú1=A[r1,r2,r3,t]UVéëêêêêêùûúúúúú1=A[r1,r2,t]UVéëêêêùûúúú1(2) A[r1,r2,t]为单应性矩阵,即内参矩阵和外参矩阵的积,记作H=[r1,r2,t],得:uvéëêêêùûúúú1=1sH11 H12 H13H21 H22 H23H31 H32 Héëêêêêùûúúúú33UVéëêêêùûúúú1(3) 所以每一格标定板的角点可以提供两个坐标约束方程:u=H11U+H12V+H13H31U+H32V+H33v=H21U+H22V+H23H31U+H32V+Hìîíïïïï33(4)08瞿锴,郭中佑,唐育林,陈抒录,陈朋明.顾及物方坐标误差的张正友标定算法=============================================== 上式对于同一张图片上所有的角点均成立,其中[u ,v ]是像素坐标系下标定板的角点坐标,[U ,V ]是世界坐标系下标定板的角点坐标㊂1.2 内参矩阵A 和外参矩阵的计算旋转矩阵R 存在单位正交的关系,即r T1r 2=0㊁r T 1r 2=r T 2r 2=1,令A -T A -1=B ,B 为对称阵,可得:H T1B H 2=0H T 1B H 1=H T 2B H 2{=1(5) 化简得:v T 11v T 11-v T éëêêùûúú22b =vb =0(6)公式(6)中:v 是仅包含H 元素的矩阵,b =[B 11,B 12,B 22,B 23,B 33]T ㊂由于矩阵H 已知,矩阵v 又全部由矩阵H 的元素构成,因此矩阵v 已知㊂每张标定板图片可以提供一个约束关系,采用最小二乘拟合最佳的向量b ,得到矩阵B ,所以有:v 0=B 12B 13-B 11B 23B 11B 22-B 212α=1B 11,β=B 11B 11B 22-B 212γ=-B 12α2β,u 0=γv 0β-B 13α2(7) 相机的内参矩阵A 取决于相机的内部参数,无论标定板和相机的位置关系怎么变换,相机的内参矩阵是不变的㊂而外参矩阵反映的是标定板和相机的位置关系,对于被拍摄的不同图片,标定板和相机的位置关系已经改变,此时每一张图片对应的外参矩阵都是不相等的㊂因为H =A [r 1,r 2,t ],求解得到H 和A 后,可通过式(8)得到外参矩阵㊂[r 1,r 2,t ]=A -1H(8)1.3 畸变系数k 的计算对于畸变系数k ,张氏标定法只关注了影响最大的径向畸变,数学表达式为[18]:(u -u 0)(x 2+y 2)(u -u 0)(x 2+y 2)2(v -v 0)(x 2+y 2)(v -v 0)(x 2+y 2)éëêêùûúú2k 1k éëêêùûúú2^u -u ^éëêêùûúúv -v (9)公式(9)中:(u ,v )是理想无畸变的像素坐标;(^u ,^v )是实际畸变后的像素坐标;(u 0,v 0)代表主点;(x ,y )是理想无畸变的连续图像坐标;(^x,^y )是实际畸变后的连续图像坐标;k 1和k 2为前两阶的畸变参数,记作Dk =d ,可得:k =[k 1,k 2]T =(D T D )-1D T d(10)1.4 整体最小二乘原理在实际工作中,系数矩阵中也会包含误差[7-8],故真误差的数学期望往往不为0㊂求解Ax =b 时,应该同时考虑C 和c 二者的误差和扰动,令B 矩阵的误差扰动为E ,向量b 的误差向量为e ,矩阵方程为:(C +E )x =c +e (11) 可得:c +e -(x T ×I )E -Cx =0(12)式中:x T ×I 表示两个矩阵做克罗内克积,令F =[i ,-(x T ×I )],v =[e ,E ]T ,可得:Fv +c -Cx =0(13) 整体最小二乘准则为:min φ=v T Pv -2λT (Fv +c -Cx )(14)式中:P 为权矩阵;λ为Largrange 乘数,分别进行偏导:əφəv =v T P -λT F =0əφəx =(C +I )Tλ=0əφəλ=Fv +c -Cx =ìîíïïïïïï0(15) 可得:x =[(C +I )T (FP -1F )-1C ]-1(C +I )T (FP -1F )-1c(16) 对公式(6)和公式(10)采用整体最小二乘计算,得到最优估计值㊂2 检校场与计算软件的设计2.1 室内二维检校场的实现这里选用尼康D800和索尼ILCE-7R 两种相机获取影像数据,拍摄时设置为手动曝光方式,物镜对焦于无穷远,相机传感器参数见表1㊂表1 尼康D800和索尼ILCE-7R 相机传感器参数相机参数类型传感器尺寸/mm 分辨率/像素像素大小/μm 焦距/mm 尼康D80035.9×247360×4912 4.8835索尼ILCE-7R35.9×244800×32004.8835计算机型号为联想Lenovo G50-7020351笔记本电脑,CPU 酷睿i5-4258U,内存DDR3L 1600MHz㊂实验选取棋盘格作为相机检校的模板,二维控制场采用基于纯平液晶显示器的检校方法[19],使18西北水电㊃2022年㊃第6期===============================================所有控制点在一个平面上㊂为研究拍摄角度对标定精度的影响,从不同角度进行拍摄,得到图像,棋盘格大小为9×5个方格,每个方格尺寸为45mm ×45mm(长×宽),角点数量为32个,部分影像如图2所示㊂图2 不同方向拍摄的棋盘格控制场2.2 相机检校软件的设计这里根据计算原理利用Visual Studio 平台和C #设计相机检校软件,主要分为如下几项功能:文件读取数据㊁最小二乘约束㊁整体最小二乘约束㊁畸变改正㊁查看报告和退出等功能㊂程序操作非常简便,首先点击可执行文件(.exe),启动相机检校程序,在相同目录下添加不同角度拍摄的棋盘格影像,可以为tif㊁jpg㊁bmp 等格式,使用对应算法自动提取棋盘格角点的坐标作为后续计算的数据,程序解算会自动将最小二乘约束与整体最小二乘约束解算所得到的参数值作为初始值使用,直接点击计算输出按钮可得到最终的相机参数报告,包括最小二乘约束下和整体最小二乘约束下的不同相机检校算法的相机参数㊂参数解算部分结果如图3所示㊂前面部分为相机的检校参数值,后面部分为各参数的解算误差㊂图3 相机检校软件3 实验结果与分析3.1 相片数量对检校的影响为探究相片数量对相机检校精度的影响,依次使用3㊁5㊁7㊁9㊁11不同数量的相片参与计算,结果如表2所示,参与解算相片数量的不同会导致检校参数的精度有所差异㊂相机参数包括:f (焦距),x 0㊁y 0(主点坐标)和k 1㊁k 2(畸变参数)㊂y 值在3张相片解算时最优,后面呈波动分布㊂f 值在9张相片解算时达到最优,11张相片为35.85445,相比而言,值下降了0.066㊂x 0㊁k 1和k 2的值随着参加解算相片的数量越多,精度越高,分别为3661.5㊁-0.0114和0.0403㊂3张相片进行解算时,f ㊁k 1和k 2与参考值相差最大,这是因为相片的数量太少导致不能够充分反应出镜头的畸变情况㊂随着后面参与解算的相片数量越来越多,值变化的越来越趋于平稳状态,说明相片并不是越多越好,但也不能太少,过少会使得结果精度不高,过多则会导致计算量的增加,从而导致效率降低㊂表2 尼康D800相片数量与检校参数计算结果 f /mmx 0/像素y 0/像素k 1k 23张相片5张相片7张相片9张相片11张相片参考值36.425743236.230751936.269847936.0533535.8544535.986923631.93631.03679.53642.93661.53654.0312474.42416.02455.52412.32403.22486.250-0.0440-0.0315-0.0247-0.0142-0.01146.72960E-050.14330.14290.10800.05060.0403-5.6425E-0528瞿锴,郭中佑,唐育林,陈抒录,陈朋明.顾及物方坐标误差的张正友标定算法===============================================3.2 拍摄角度对检校的影响为探究拍摄相片的角度对检校结果的影响,采用两种方式拍摄相片,先拍摄一组近似平行的照片计算检校参数,再以不同的角度拍摄相片计算检校参数,分析得到的检校结果,两组相片的检校结果如表3所示㊂当相机位置处于平行状态时,f和x0的精度较高,分别为35.96734和3654.2;相片处于不同的角度时,y0㊁k1和k2精度较高,依次为2404.7㊁-0.006㊁0.019㊂一般认为,近似平行的相片计算的检校参数精度会低于不同角度拍摄的照片计算的检校参数精度㊂因为张正友检校方法是通过不同相片之间的关系计算的,所以拍摄的相片近似平行的时候,有的参数之间会存在很强的相关性,就会影响最后的结果㊂在使用张正友标定法对相机进行检校时,应该以不同的角度对棋盘格进行拍摄,从而保证高精度的校验结果㊂y0㊁k1和k2的精度与预期表现相符,而f和x0的结果精度恰恰相反,可能与相片拍摄的质量有关㊂表3 尼康D800相机拍摄角度与检校参数计算结果 f/mm x0/像素y0/像素k1k2近似于平行处于不同角度参考值35.9673435.4957535.986923654.23624.73654.0312404.62404.72486.250-0.0282-0.00606.72960E-050.15710.0190-5.6425E-053.3 改进前后方法的对比由以上可知,相机拍摄相片时应尽量从不同方向进行拍摄,数量根据区域大小确定,本次使用11张不同方向拍摄的相片参与解算㊂为检验改进前后张正友方法在尼康D800和索尼ILCE-7R两种相机中的情况,分别使用两款相机随机在5个摄站对棋盘格进行拍摄,每张相片不重复,角点数量为45个,部分图片如图2所示㊂分别采用经典最小二乘算法与整体最小二乘算法求解单应性矩阵参数,进而解算相机参数,并将结果进行对比分析㊂表4为尼康D800和索尼ILCE-7R相机内定向参数计算结果,在尼康D800数据集上,LS和TLS法得到的焦距f 与参考值分别相差0.421mm㊁0.259mm;主点坐标(x0,y0)分别相差176.117像素㊁44.159像素;畸变参数k1/k2分别相差0.037/0.012㊁0.466/0.150;计算时间相差0.345㊂在索尼ILCE-7R数据集上,LS 和TLS法得到的焦距f与参考值分别相差0.435 mm㊁0.120mm;主点坐标(x0,y0)分别相差155.731像素㊁93.362像素;k1/k2分别相差0.1225/0.110㊁0.150/0.128;计算时间相差0.185㊂相比LS,TLS 计算得到的参数精度均得到了不同程度的提升,说明TLS确实能够较好的考虑观测值和系数存在的误差,解算出更为精确的结果㊂虽然相机参数精度均有提升,但增加了计算时间,这是必然的结果,因为计算量的增加,势必会导致计算效率的降低㊂总的来说,整体最小二乘方法相比传统的最小二乘方法在张正友标定算法相机参数解算中表现更优㊂表4尼康D800和索尼ILCE-7R相机内定向参数计算结果参数尼康D800LS法TLS法参考值索尼ILCE-7RLS法TLS法参考值f/mm36.4082035.7278835.9869235.7278836.0430936.1626 x0/像素3742.33612.23654.0313556.13612.13702.249 y0/像素2319.72472.12486.2502472.12442.62418.318 k1-0.0372-0.01236.72960E-050.12250.1099-3.99663E-05 k20.4657-0.1497-5.6425E-05-0.1497-0.12781.54691E-07计算时间/s0.3727460.717842 0.2951500.480264 4 结 论本文在传统张正友的算法上进行改进,考虑顾及物方控制点坐标误差,用整体最小二乘约束求解单应性矩阵,将其精度得到提高的结果参与后面相机参数的运算㊂为确定最佳解算相片数据,先以尼康D800为例,使用控制变量法探究拍摄角度和相片数量对解算结果的影像㊂然后采用改进前后的张正友标定算法在尼康D800和索尼ILCE-7R相机开展实验,结果表明:(1)解算参数x0㊁k1和k2的值随着参加解算相片的数量越多,精度越高,值逐渐趋于平稳,说明盲目增加相片数量不会一直提高解算精度,反而会增大计算量㊂(2)以不同角度拍摄的照片计算的检校参数y0㊁k1和k2精度高于近似平行的相片计算的检校参数精度,不同角度的相片能够更好提供约束条件,得到更优解㊂(3)在尼康D800和索尼ILCE-7R数据上,相比传统张正友算法,f(焦距)㊁x0㊁y0(主点坐标)和k1㊁k2(畸变参数)的解算精度均得到了提升,但计算量提升了一倍,这在预期之内㊂本次实验的某些相机参数精度与预期不相符,可能是因为相片质量没有做抗差估计,在进行解算时无法保证每张相片的质量统一,从而导致结果出现差异性㊂后面可以针对不同相机检校算法验证本38西北水电㊃2022年㊃第6期===============================================文所提方法的可行性,并为了保证数据质量统一标准,对拍摄相片进行抗差处理㊂参考文献:[1] 王柯,付怡然,彭向阳,等.无人机低空遥感技术进展及典型行业应用综述[J].测绘通报,2017(S1):79-83.[2] Cheng C L,SchneeweißH.On the Polynomial Measurement Error Model[J].Springer Netherlands,2002.[3] 汪奇生.线性回归模型的总体最小二乘平差算法及其应用研究[D].昆明:昆明理工大学,2014.[4] 陶叶青.总体最小二乘模型及其在矿区测量数据处理中的应用研究[D].徐州:中国矿业大学,2015.[5] Huijun Y.GNSS Height Fitting Based on Total Least Squares[J].GNSS World of China,2015,40(06):99-101.[6] Ian K J,Yibin Y,Han W.Iterative Method for Total Least -Squares[J].Geomatics and Informa tion Science of Wuhan University,2010,35(06):711-714.[7] Tieding L,Ian Z S.An Iterative Algorithm for Total Least SquaresEstimation[J].Geomatics and Informa tion Science of Wuhan Uni⁃ver sity,2010,35(11):1351-1354.[8] Sun P Q,Bu J Z,Tao T Y,et al.Improvement of camera calibra⁃tion DLT algorithm[J].Journal of Hefei University of Technology(Natural Science),2020,43(09):1229-1233,1280.[9] 倪静.非量测相机检校方法与系统实现[D].东营:中国石油大学(华东),2016.[10] Liang-Zhong C,Liao Y,Pei-Tao K,et al.Calibration of non-metric digital camera based on calibration field [J].Science of Surveying and Mapping,2015,40(02):132-137.[11] 田雷,马然.无人机非量测相机检校方法研究[J].测绘通报,2016(07):81-83,89.[12] 李平.非量测型数码相机的检校[D].西安:西安科技大学,2009.[13] Zhang,Zhengyou.A Flexible New Technique for Camera Cali⁃bration[J].IEEE Transactions on Pattern Analysis &MachineIntelligence,2000,22(11):1330-1334.[14] Maybank S J,Faugeras O D.A theory of self -calibration of amoving camera [J].International Journal of Computer Vision,1992,8(02):123-151.[15] 孟晓桥,胡占义.摄像机自标定方法的研究与进展[J].自动化学报,2003,29(01):110-124.[16] 徐刚.基于灭点几何和径向准直约束的数码相机标定研究[D].桂林:桂林电子科技大学,2011.[17] 张伟航,杨姗姗,李建刚.近景摄影测量相机检校模型综述[J].山西建筑,2013,39(20):207-208.[18] 吴飞.总体最小二乘拟合推估方法及其应用研究[D].南昌:东华理工大学,2015.[19] Jingnan L,Wenxian Z,Peiliang X.Overview of total leastsquares methods[J].Geomatics and information science of wu⁃han university,2013,38(05): 505-512. (上接第70页)筛选部分物理指标作为主控因子,将力学参数作为目标参数,采用数理统计手段可拟合出合适的回归方程,用以推测选取滑带土的力学参数㊂(2)以白龙江水泊峡水电站Ⅶ号滑坡为研究对象,在获取大量滑带土试验数据的基础上,将物理指标ω㊁ρs 及e 作为自变量,采用多元线性回归拟合内摩擦角φ的预测方程;分别采用多元线性回归和非线性回归建立黏聚力c 的预测模型,经对比分析,非线性拟合的计算结果更贴合实测数据㊂(3)沿Ⅶ号滑坡主滑方向剖切计算剖面,根据滑带土的物理指标与预测模型计算力学参数,计算得Ⅰ区滑带土c 值为6.9kPa,φ值为21.3°;Ⅱ区滑带土c 值为28.6kPa,φ值为28.9°㊂稳定性计算结果表明:天然工况下K =1.434,处于稳定状态;地震工况下,K =1.063,处于整体变形~滑动状态㊂计算结果基本与实际情形吻合㊂参考文献:[1] 吴博,赵法锁,王雷,等.黄土-基岩滑坡滑带土特性及其演化过程[J].煤田地质与勘探,2018,46(04):129-134,141.[2] 游敏,聂德新.利用大型岩质滑坡形成的环境条件及重力圧密原理分析滑面形态与强度参数[J].工程地质学报,2010,18(04):470-476.[3] 孙淼军,唐辉明,王潇弘,等.蠕动型滑坡滑带土蠕变特性研究[J].岩土力学,2017,38(02):385-391,399.[4] 闫玉平,肖世国.考虑滑带强度参数分区取值的堆积层滑坡稳定性分析方法[J].中国地质灾害与防治学报,2020,31(02):44-49.[5] 郑莉,王卫.联合水库右岸滑坡滑带土强度参数分析[J].三峡大学学报(自然科学版),2019,41(S1):134-138.[6] 赵宝平,罗先启,毕强,等.库水作用下滑带土力学参数降低的模拟[J].西北水电,2009(01):66-69.[7] 田桂莉.金沙江上游滑带土强度特性的环剪试验研究[D].吉林:吉林大学,2018.[8] 李鹏.Hoek-Brown 准则在软岩~中硬岩坝基岩体力学指标参数选取中的应用 以陕西省延安市龙安水利枢纽工程为例[J].西北水电,2019(04):16-20.[9] 杨期祥.大型深层滑坡滑带土力学强度参数综合选取研究[J].铁道勘察,2022,48(04):61-66.[10] 颜清,彭小平.工程实验数据的非线性拟合方法[J].计算机与应用化学,2015,32(03):365-368.48瞿锴,郭中佑,唐育林,陈抒录,陈朋明.顾及物方坐标误差的张正友标定算法===============================================。
二次损失下正态线性模型中可估函数的一切可容许估计
ｎ ×ｎ ｉ ｄ ｅ ｎ ｔ ｉ ｔ ｙ ｍａ ｔ ｉ ｒ ｘ ｉ ｓ ｄ ｅ ｎ ｏ ｔ ｅ ｄ ｂ ｙ Ｉ ｎ． Ｔ ｈ ｅ ｓ ｐ ａ ｃ ｅ ｏ ｆ ｌｌ ａ Ｐ ×ｑ ｍａ ｔ ｉ ｒ ｃ ｅ ｓ ａ ｎ ｄ ｔ ｈ ｅ ｓ ｐ ａ ｃ ｅ ｏ ｆ ａ ｌ ｌ ｎ — ｄ ｉ ｍｅ ｎ ｓ ｉ ｏ ｎ ｌ ａ
ｈ ｏ ｍｏ ｇ ｅ ｎ ｅ ｏ ｕ ｓ ｌ ｉ ｎ ｅ ａ ｒ ｅ ｓ ｔ ｉ ｍａ ｔ ｏ ｒ ｓ ｔ ｏ ｂ ｅ ａ ｄ ｍｉ ｓ ｓ ｉ ｂ ｌ ｅ ｉ ｎ ｔ ｈ ｅ ｓ ｐａ ｃ ｅ ｏ ｆ ａ ｌ ｌ ｅ ｓ ｔ ｉ ｍａ ｔ ｏ ｒ ｓ ｗｈ ｅ ｎ ｔ ｈｅ ｎ ｏ ｎ ｎ ｅ ｇ ａ ｔ ｉ ｖ ｅ ｃ ｏ ｖ ａ ｒ ｉ ａ ｎ ｃ ｅ ｍａ ｔ ｒ ｉ ｘ ｏ ｆ ｔ ｈ ｅ ｍｏ ｄ ｅ ｌ ｗａ ｓ ｒ ｅ ｌ ａ ｔ ｅ ｄ ｔ ｏ ｔ ｈ ｅ ｄ ｅ ｓ ｉ ｇ ｎ ｍａ ｔ ｒ ｉ ｘ． Ｆｕ ｒ ｔ ｈ ｅ ｒ ｍｏ ｒ ｅ． ｔ ｈ ｅ ｓ ｕ ｍｃ ｉ ｅ ｎ ｔ ｃ ｏ ｎ ｄｉ ｔ ｉ ｏ ｎ ｗａ ｓ ｐ ｒ ｏ ｖ ｅ ｄ ｔ ｏ ｂ ｅ ｎｅ ｃ ｅ ｓ ｓ ａ ｒ ｙ ｉ ｆ ａ ｄｄ ｉ ｔ ｉ ｏ ｎ ａ ｌ ｃ ｏ ｎ ｄｉ ｔ ｉ ｏ ｎ ｓ ｗｅ ｒ ｅ ａ ｓ ｓ ｕｍｅ ｄ ．
Ａ ￣ ｓ ｔ ｒ ａ ｃ ｔ ： Ｔ ｈ ｉ ｓ ａ ｒ ｔ ｉ ｃ ｌ ｅ ｉ ｎ ｖ ｅ ｓ ｔ ｉ ｇ ａ ｔ ｅ ｄ ｔ ｈ ｅ ａ ｄ ｍ ｉ ｓ ｓ ｉ ｂ ｉ ｌ ｉ ｔ ｙ ｏ ｆ ｌ ｉ ｎ ｅ ａ ｒ ｅ ｓ ｔ ｉ ｍ ａ ｔ ｏ ｒ ｓ ｆ ｏ ｒ ｅ ｓ ｔ ｉ ｍ ａ ｂ ｌ ｅ ｆ ｕ ｎ ｃ ｔ ｉ ｏ ｎ ｉ ｎ ａ
要条件 ．
关于论文中的图
朱瑞金等：基于自编码器和卷积神经网络的电能质量扰动分类·75·第31卷feature selection algorithm for classification of power qual⁃ity disturbances using discrete wavelet transform and probabilistic neural network[J].Measurement，2017，95：246-259.[3]Singh U，Singh S N.Optimal feature selection via NSGA-II for power quality disturbances classification[J].IEEE Trans on Industrial Informatics，2018，14（7）：2994-3002.[4]Liu Hui，Hussain Fida，Shen Yue.Power quality distur⁃bances classification using compressive sensing and maxi⁃mum likelihood[J].IETE Technical Review，2018，35（4）：359-368.[5]瞿合祚，刘恒，李晓明，等（Qu Hezuo，Liu Heng，Li Xiaoming，et al）.一种电能质量多扰动分类中特征组合优化方法（Feature combination optimization for multi-dis⁃turbance classification of power quality）[J].电力自动化设备（Electric Power Automation Equipment），2017，37（3）：146-152.[6]Luo Yi，Li Kaicheng，Li Yuanzheng，et al.Three layer Bayesian network for classification of complex power qual⁃ity disturbances[J].IEEE Trans on Industrial Informatics，2018，14（9）：3997-4006.[7]Panigrahi B K，Pandi V R.Optimal feature selection for classification of power quality disturbances using wavelet packet-based fuzzy k-nearest neighbour algorithm[J].IET Generation，Transmission and Distribution，2009，3（3）：296-306.[8]陈伟，张韵，裴喜平，等（Chen Wei，Zhang Yun，Pei Xip⁃ing，et al）.基于案例推理和SVM-KNN的电能质量扰动分类方法（Classification method of power quality distur⁃bances based on case-based reasoning and SVM-KNN）[J].兰州理工大学学报（Journal of Lanzhou University of Technology），2017，43（4）：87-92.[9]姚建刚，郭知非，陈锦攀（Yao Jiangang，Guo Zhifei，ChenJinpan）.基于小波和BP神经网络的电能扰动分类新方法（A new approach to recognize power quality disturbanc⁃es based on wavelet transform and BP neural network）[J].电网技术（Power System Technology），2012，36（5）：139-144.[10]Lore K G，Akintayo A，Sarkar S.LLNet：A deep autoencod⁃er approach to natural low-light image enhancement[J]. Pattern Recognition，2017，61：650-662.[11]Lu Chen，Wang Zhenya，Qin Weili，et al.Fault diagnosis of rotary machinery components using a stacked denoising autoencoder-based health state identification[J].Signal Processing，2017，130：377-388.[12]Li Fengfu，Qiao Hong，Zhang Bo.Discriminatively boosted image clustering with fully convolutional auto-encoders[J]. Pattern Recognition，2017，83：161-173.[13]袁文军，刘飞，王晓峰，等（Yuan Wenjun，Liu Fei，Wang Xiaofeng，et al）.基于深度自编码网络的轴承故障诊断（Bearing diagnosis based on deep neural network of auto-encoder）[J].噪声与振动控制（Noise and Vibration Con⁃trol），2018，38（5）：208-214.[14]张全明，刘会金（Zhang Quanming，Liu Huijin）.最小二乘支持向量机在电能质量扰动分类中的应用（Applica⁃tion of LS-SVM in classification of power quality distur⁃bances）[J].中国电机工程学报（Proceedings of the CSEE），2008，28（1）：106-110.————————作者简介：朱瑞金（1986—），男，硕士，讲师，研究方向为人工智能算法及应用。
基于改进RM界的二次损失函数支持向量机模式选择
基于改进RM界的二次损失函数支持向量机模式选择
杨晓欢;王晓明;田勇;宋景平
【期刊名称】《西华大学学报（自然科学版）》
【年(卷),期】2016(035)003
【摘要】半径-间隔界中最小包含球半径R的计算需要求解二次规划问题,增加了算法的计算量.为提高计算效率,提出一种基于改进RM界的二次损失函数支持向量机模式选择.用所有训练样本的最大距离D逼近半径R,用D替换R构成新的RM 界,然后基于改进的RM界对二次损失函数支持向量机(L2-SVM)进行模式选择,并用梯度下降法调节最优参数.对算法的分类精度和计算效率进行仿真实验讨论,结果表明,与基于RM界的模式选择相比,虽然该算法的分类精度没有明显改变,但其计算效率至少提高1倍.
【总页数】6页(P57-62)
【作者】杨晓欢;王晓明;田勇;宋景平
【作者单位】西华大学理学院,四川成都610039;西华大学计算机与软件工程学院,四川成都610039;西华大学计算机与软件工程学院,四川成都610039;西藏飞跃智能科技有限公司,西藏拉萨850000
【正文语种】中文
【中图分类】TP181
【相关文献】
1.二次损失函数支持向量机性能的研究 [J], 朱永生;王成栋;张优云
2.基于Pinball损失函数的半监督支持向量机 [J], 刘旭东;张晓丹
3.基于Pinball损失函数支持向量机的极化SAR图像鲁棒分类 [J], 张腊梅;张思雨;董洪伟;朱厦
4.基于ε-Pinball损失函数的拉普拉斯双支持向量机 [J], 赵瑞卿;张晓丹;赵伟峰
5.基于Rescaled Hinge损失函数的多子支持向量机 [J], 李卉;杨志霞
因版权原因，仅展示原文概要，查看原文内容请购买。
二次损失函数
二次损失函数
二次损失函数是机器学习领域中经常使用的一种损失函数。
在机器学习中，我们通常需要通过训练数据来寻找最佳模型，而损失函数则是用来衡量模型预测值与真实值之间的误差的。
二次损失函数有许多优点，其中最重要的一点就是其易于使用和计算。
另外，对于一些基于线性回归的模型，二次损失函数也是最为合适的损失函数之一。
此外，二次损失函数还可以为我们提供对梯度的一些重要信息，这在训练过程中找到全局最优解非常有帮助。
二次损失函数的计算方法非常简单，我们可以通过比较模型预测值与真实值之间的差距来得到损失函数的值。
与其他损失函数相比，二次损失函数的计算方法非常直观和简单，并且可以方便地用于大型的数据集。
然而，二次损失函数也存在一些缺点。
其中最明显的问题就是对于异常数据的容忍度较低，即如果有极端的数据点，那么这些数据点会对模型的预测结果产生较大的影响。
此外，其他的损失函数在处理异常数据方面可能会更具有优势。
不过，二次损失函数仍然是一种非常实用和普遍的损失函数，广泛地应用于许多机器学习模型中。
对于一些线性回归模型和数据点较为平均分布的数据集，使用二次损失函数是一个非常好的选择。
总结一下，二次损失函数是机器学习中一个非常实用的损失函数，在许多机器学习模型中得到了广泛的应用。
它具有易于使用和计算、
提供对梯度的重要信息等许多优点，但也需要注意其对异常数据的容
忍度较低的问题。
因此，在选择损失函数时，需要根据实际情况进行
选择。
二次损失函数
二次损失函数什么是损失函数在机器学习中，损失函数（loss function）是用于评估模型预测结果与真实标签之间差异的函数。
损失函数的值越小，表示模型的预测结果越接近真实标签，反之则越大。
通过优化损失函数，我们可以训练出更加准确的模型。
一次损失函数一次损失函数（linear loss function）是最简单的损失函数之一，它以线性的方式衡量模型的预测结果与真实标签之间的差异。
一次损失函数可以用于回归问题，例如预测房价、销量等连续型变量。
一次损失函数的数学表达式为：L(y,ŷ)=|y−ŷ|其中，y表示真实标签，ŷ表示模型的预测结果。
L(y,ŷ)表示损失函数的值，|⋅|表示绝对值运算。
二次损失函数二次损失函数（quadratic loss function）是在一次损失函数基础上的改进，它通过平方的方式衡量模型的预测结果与真实标签之间的差异。
二次损失函数同样可以用于回归问题，但与一次损失函数相比，它对预测误差的敏感度更高。
二次损失函数的数学表达式为：L(y,ŷ)=(y−ŷ)2二次损失函数使用平方来放大预测误差，使得预测结果与真实标签之间的差异更加明显。
这有助于模型更加敏感地学习到问题的细节和模式，但也容易受到异常值的影响。
二次损失函数的特性二次损失函数具有一些重要的特性，了解这些特性有助于我们更好地理解模型的训练过程和结果：1.平滑性：二次损失函数是一个连续可导的函数，这意味着它在整个定义域上都是平滑的。
这种特性使得二次损失函数在优化过程中可以使用梯度下降等基于导数的优化算法。
2.凸性：二次损失函数是一个凸函数，这意味着它的图像是一个向上开口的碗形。
凸函数的最小值点是唯一的，这方便了模型训练过程中的优化操作。
3.相对较大的梯度：二次损失函数的梯度值随着误差的增大而变大。
这意味着对于比较大的预测误差，模型的参数更新幅度会相对较大，加快了收敛速度。
使用二次损失函数的案例二次损失函数常用于回归问题的模型训练中，以下是一些使用二次损失函数的具体案例：1.线性回归：线性回归是一种常见的回归模型，它通过拟合一条直线来预测连续型变量。
多模态话语分析的理论基础与研究方法
Theory and Methodology of Multimodal Discourse
Analysis
作者： 朱永生
作者机构： 复旦大学,上海200433
出版物刊名： 外语学刊
页码： 82-86页
主题词： 多模态话语分析 理论基础 研究方法
摘要：迄今为止的话语分析基本上局限于语言本身,即只注意语言系统和语义结构本身及其与社会文化和心理认知之间的关系,忽视了诸如图象、声音、颜色、动漫等其他意义表现形式.这就使得话语分析带有较大的局限性.20世纪90年代,西方兴起的多模态话语分析,则可以在很大程度上帮助人们克服这些局限性.本文将论述与多模态话语分析紧密相关的4个问题：（1）多模态话语的产生;（2）多模态话语的定义;（3）多模态话语分析的性质和理论基础;（4）多模态话语分析的内容、方法和意义.。
二次损失函数
二次损失函数二次损失函数是机器学习中常用的评估模型的指标。
它的计算方法是对每个样本的预测值与真实值之间的差异求平方，并将这些平方差求和作为损失函数的值。
二次损失函数可以用于回归问题的建模。
在机器学习中，建立模型是指根据大量的数据样本，学习出一个通用的、描述数据本质的数学模型。
建立好模型后，我们可以将新的数据输入到模型中，从而得到预测值。
然而，任何模型都有其误差和失误，因此需要评估其预测效果，以此来调整模型参数，提高模型的准确性。
二次损失函数是最常用的评估回归问题中模型预测效果的指标之一。
它的本质是样本预测值与真实值之间的平方差，因此，它也被称为平方损失函数。
在回归问题中，我们需要预测某个数值类型的目标，如预测一个房子的售价，或者预测一个人的年龄。
对于一个给定的数据样本x(i)，我们假设它的真实值为y(i)，而模型预测值为h_theta(x(i))。
Hypothesis h_theta(x(i))是参数theta的函数，表示对于输入数据x(i)的预测输出。
我们的目标是让h_theta(x(i))尽可能接近y(i)。
我们可以通过二次损失函数来表达预测误差。
假设我们有m个训练样本，那么我们的损失函数就可以表示为：J(theta) = (1 / (2*m)) * Sigma(1 -> m) (h_theta(x(i)) - y(i))^2其中，(h_theta(x(i)) - y(i))^2表示每个样本预测值与真实值之间的平方差，而Sigma(1 -> m)表示将所有样本的平方差求和。
我们还将二次损失函数的结果除以2m，这样可以使结果更易于理解，也可以方便计算梯度下降时的学习率的设置。
当我们训练模型时，我们的目标是使二次损失函数的值最小化。
换句话说，我们需要通过调节模型参数theta，来使每个样本的预测值与真实值之间的平方差尽可能小。
在实际训练过程中，我们常使用梯度下降算法来最小化二次损失函数。
基于在线LS-SVM算法的变参数混沌时间序列预测
基于在线LS-SVM算法的变参数混沌时间序列预测
肖支才;王杰;王永生
【期刊名称】《航空计算技术》
【年(卷),期】2010(040)003
【摘要】研究利用最小二乘支持向量机(LS-SVM)预测变参数混沌时间序列.变参数混沌系统适合于描述现实中的复杂混沌现象,但由于参数的慢变导致系统动力学特性不断发生变化,基于Tankens嵌入定理的建模预测方法难以适用,其时间序列预测可以看作是小样本学习问题.最小二乘支持向量机是在二次损失函数下采用等式约束求解问题的一种支持向量机,保留支持向量机优点同时计算量大大减少.提出用一种具有遗忘机制的最小二乘支持向量机在线递推算法,并引入历史数据的高次项预测变参数混沌时间序列.对典型变参数混沌时间序列的预测结果表明,该方法具有较高预测精度,能快速跟踪预测变参数混沌时间序列.
【总页数】6页(P29-33,37)
【作者】肖支才;王杰;王永生
【作者单位】海军航空工程学院控制工程系,山东,烟台,264001;海军航空工程学院训练部,山东,烟台,264001;海军航空工程学院兵器科学与技术系,山东,烟台,264001【正文语种】中文
【中图分类】TP183
【相关文献】
1.基于PSO优化的LS-SVM的混沌时间序列预测 [J], 陈旭;刘延泉;葛建宏
2.基于微粒群算法的LS-SVM时间序列预测 [J], 林庆;白振兴
3.LS-SVM时间序列预测--免疫文化基因算法进行LS-SVM参数选优 [J], 王波;梅倩
4.基于小波消噪和LS-SVM的混沌时间序列预测模型及其应用 [J], 秦永宽;黄声享;赵卿
5.基于混沌时间序列LS-SVM的车用锂离子电池SOC预测研究 [J], 徐东辉
因版权原因，仅展示原文概要，查看原文内容请购买。
压电智能结构损伤检测的最小二乘支持向量机方法
压电智能结构损伤检测的最小二乘支持向量机方法
谢建宏
【期刊名称】《传感技术学报》
【年(卷),期】2007(020)001
【摘要】实现损伤自检测功能是智能结构研究的主要内容之一,而损伤检测方法是关联损伤自检测功能的一个重要问题.提出了一种用于损伤检测的最小二乘支持向量机(LS-SVM)方法,并采用遗传算法对该LS-SVM的调整参数进行了优化.应用该LS-SVM对压电智能复合材料层板进行了冲击损伤位置检测,并与改进的BP网络进行了对比,结果表明:在相同性能指标下,LS-SVM有比BP网络更快的训练速度、更强的泛化能力,并且LS-SVM具有不敏感于网络输入矢量次序的变换,表现出较强的适应性,适宜在结构损伤检测传感器优化配置问题中建立损伤检测目标函数.LS-SVM为智能结构实现损伤自检测提供了更为先进的方法.
【总页数】4页(P164-167)
【作者】谢建宏
【作者单位】江西财经大学电子学院,南昌,330013
【正文语种】中文
【中图分类】TP2
【相关文献】
1.压电层合智能结构冲击损伤自诊断方法的研究 [J], 周晚林;陈建鹏
2.压电耦合智能板结构中微损伤识别方法研究 [J], 李默
3.基于数据依赖核LS-SVM的压电智能结构冲击损伤检测 [J], 谢建宏
4.压电智能结构损伤检测传感器优化配置的遗传神经网络方法 [J], 谢建宏;张为公
5.工程结构损伤检测的智能方法 [J], 王乐
因版权原因，仅展示原文概要，查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
若令
Q( xi , xj ) =
K ( xi , xj ) +
1 C
Di ,
j
( 7)
984
计算机 学报
2003 年
其中
1 , xi = xj
Di = 0,
, xi X xj
并把式( 7) 代入式( 5) , 得到
max A
E E W( A) =
l
Ai -
i= 1
1 2
i,
l j=
1
Ai Ajy iy
j Q(
xi,
xj
)
( 8)
l
E s. t.
Aiy i = 0, Ai E 0, i = 1, 2, ,, l ( 9)
目前, 支持向量机的研究主要集中于一次损失 函数的情况, 对二次损失函数支持向量机的性能了 解还较少. 由于传统的参数优化方法存在明显的缺 点, 并且大部分实际问题主要是数据非线性可分的 情况, 为了能在实际问题中应用基于 RM 界的梯度 算法高效地优化支持向量机参数, 有必要对二次损 失函数支持向量机作进一步的探讨和研究.
关键词 支持向量机; 损失函数; 支持向量缩减 中图法分类号 T P306
Experimental Study on the Performance of Support Vector Machine with Squared Cost Function
ZH U Yong- Sheng WANG Cheng- Dong ZHANG You- Yun
数; <( x) 为从输入空间到特征空间的非线性映射函
数.
通过引入拉格朗日乘子和核函数[ 1] , 式( 2) , ( 3)
的优化问题被转变为 wolf 对偶问题( wolf dual prob-
lem) 来求解. 式( 2) , ( 3) 对应的对偶问题为
E E max A
l
W ( A) = Ai -
Keywords support vector m achine; cost funct ion; support vect ors pruning
1引言
V apnike V 等[ 1] 在统计学习理 论中指出, 学习
机器的泛化能力不但与训练过程的经验风险有关, 而且与学习机器实际复杂性有关, 复杂性越高, 则经 验风险越小但泛化能力变差, 据此提出了综合考虑 经验 风险 和学 习 机器 复 杂度 的 结构 风 险 最小 化
的一种支持向量机; 当 R= 2 时, 其对应的是二次损
失函数支持向量机. 对二次损失函数支持向量机, 采
用如下形式[ 5]
l
E m in
5 ( W, N) =
1 2
+w
+2 +
C 2
N2i
i= 1
( 2)
s. t . y i ( w # <( xi ) + b) E 1 - Ni
( 3)
在由映射函数 <( x) 产生的特征空间中构造/ 最优分
类超平面0[ 1]
w # <( x) + b = 0
( 4)
式中, w 为分类超平面的权矢量; xi I Rn , i = 1, 2,
,, l 为训练样本; yi 为 xi 对应的输出标量, y i I { 1, 1} ; Ni 为 xi 的误 差; l 为最优分 类超平面 的权矢
量; b 为最优分 类超平面的阈 值; C 为误差惩罚参
第 26 卷 第 8 期 2003 年 8 月
计 算机 学报 CH INESE JOU RNAL OF COM PUT ERS
Vol. 26 No. 8 Aug ., 2003
二次损失函数支持向量机性能的研究
朱永生 王成栋 张优云
( 西安交通大学润滑理论及轴承研究所 西安 710049)
摘 要 通过比较二次损失函数支持向量机和标准支持向量机在模式识别问题上 的表现, 分析了二 次损失函数 支 持向量机的性 能. 实验表明这两种支持向量机对平衡 数据有 相似的 分类能力 , 但 二次损 失函数支 持向量 机的优 化 参数 更小, 支持向量更多; 对不平衡数据, 二次损失函 数支持 向量机 的分类准 确率随 不平衡 度的增 加而急 剧下降. 研究 同时表明基于 RM 界的梯度方法对某些数据无效. 文中 定性分 析了导致 上述各 种现象 的原因. 最后 提出了 一 种利用黄金分割原理缩减二次损失函数支持向量机支持向量的方法, 该方法冗余的支持向量数不超过一个.
8期
朱永生等: 二次损失函数支 持向量机性能的研究
9 83
( SRM ) 归纳原则. 支持向量机是实现该原则的一种 通用学习算法, 其原理是利用非线性函数把输入矢 量映射到高维特征空间, 然后在此空间中构造分类 间隔最大的线性分类超平面. 根据统计学习理论, 分 类间隔最大就保证了以最简单的学习机器实现所允
许的经验风险, 因而支持向量机具有很好的泛化能 力. 另外, 高维空间中的运算只涉及矢量点积, 通过 引入核函数[ 1] , 避免了高维空间计算的/ 维数灾难0 问题, 不同类型的核函数构成了不同类型的支持向 量机. 在模式识别、函数自回归估计、特征提取等方 面的应用表明, 支持向量机比由经验风险最小化原 则训练得到的神经网络等具有更好的性能[ 1, 2] , 成 为近年来人工智能领域研究的一个热点.
作为一种新兴的技术, 支持向量机仍有许多方 面尚待进一步研究, 核参数( 包括核函数的参数和误 差惩罚参数 C) 的优化选择就是其中之一. 核参数是 影响支持向量机性能的关键因素, 常用的优化方法 是参数空间穷尽搜索法[ 3] , 即用参数空间中每一组 可能的参数组合去训练和测试支持向量机, 找出效 果最好的参数组合. 由于搜索空间很大, 穷尽搜索法 不但需要极大的计算量, 并且当参数超过两个时, 将 难于实现. 最近 Chapelle O 等[ 3] 提出利用梯度算法, 在参数空间最小化支持向量机风险上界的方法, 具 有寻优结果准确、计算量少等优点. 风险上界函数梯 度的计算是该方法的关键, Duan K 等[ 4] 研究了估计 支持向量机风险上界的不同方法以及它们在核函数
2 二次损失函数支持向量机及其 参数优化方法
2. 1 二次损失函数支持向量机的/ 硬间隔0形式
所谓/ n 次0损失函数支持向量机, 是指对 SVM
的损失函数[ 1]
l
E FR( N) =
NRi
( 1)
i= 1
Ni的阶次 R= n . 当 R= 1 时, 损失函数为一次函数,
这是计算上可行的最小的 R[ 1] , 也是目前研究最多
参数 优 化 中 的 表 现, 指 出 RM 界 ( Radius- M argin bound) 是连续的且容易计算的一种风险上界, 但却 只适用于数据完全可分的/ 硬间隔0[ 1] 支持向量机. 对数据非线性可分的情况, 如果将标准支持向量机 中的损失函数由一阶改为二阶, 则通过改写核函数, 可以将其转变为/ 硬间隔0支持向量机的形式[ 5] , 从而 可以利用基于 RM 界的梯度算法来优化其参数.
收稿日期: 2002-04-19; 修改稿收到日期: 2003- 01-02. 本课题 得到国 家自然 科学基 金( 59990472 ) 和国 家/ 八 六三0 高技 术研究 发展计 划 ( 2001AA 411310) 资助. 朱永生, 男, 1973 年生, 博士研究生, 主要从事机械故障 诊断方法、模 式识别及 相关领域 的研究. E-mail : zhuyongsheng@ t lbi. x jt u. du. cn. 王成栋, 男, 1972 年生, 博士研究生, 主要从事 机械故障 诊断及信 号处理的 研究. 张优 云, 女, 1947 年 生, 博士, 教 授, 博士生导师, 研究领域为机器的状态监测及故障诊断、滑动轴承-转子系统动力学、润滑理论、现代设计等.
i= 1
1l 2 i, j =
Ai Ajyiyj K
1
(
xi
,
xj )
-
l
E 12Ci= Nhomakorabea1
A2i
( 5)
l
E s. t.
Aiy i = 0, Ai E 0, i = 1, 2, ,, l ( 6)
i= 1
式中 Ai 为拉格朗日乘子; K ( xi , xj ) = <( xi ) #<( xj )
为核函数支持向量机中常用的核函数, 有径向基函 数、多项式函数、Sigmod 函数等[ 1] .
( Theory of L ubricati on and Bear ing Insti t ute , Xican Ji aotong U niv ersity , X ican 710049)
Abstract T he paramet er opt imizat ion is one of the m ain st udy directions of SVM. Recent ly, a grad-i ent descent algorithm based on RM bound has been developed, w hich can tune mult iple paramet ers of SVM w it h squared cost funct ion aut omat ically and efficiently. But t ill now , few issues relat ed t o pract ical use of t his t ype SVM have been discussed. In this paper, t he perf orm ance of SVM wit h squared cost funct ion on pat tern recognit ion is st udied and compared w ith t he st andard SVM . T he results ind-i cate that for balanced data, bot h SVMs have almost t he same classif ying accuracy, but t he SVM w ith square cost funct ion possess more support vect ors and smaller optimized paramet ers t han st andard SVM. For unbalanced data, w hen the unbalanced deg ree betw een tw o classes of training samples increases, the classif ying accuracy of t he SVM w it h squared cost f unction decreases rapidly. T he exper-i ment s also show that t he gradient descent algorithm based on RM bound is not suitable for some dat a. Some analysis on properties of t he SVM w ith square cost funct ion are also included in t he paper. Fina-l ly, a pruning alg orit hm based on golden sect ion rule is proposed and applied to increase the sparseness of SVM w it h squared cost funct ion. Using t his algorit hm , t he number of t he redundant support vect ors can be reduced to one or zero.