基于改进粒子群优化的非线性最小二乘估计
基于改进粒子群算法的机器人几何参数标定研究
基于改进粒子群算法的机器人几何参数标定研究作者：温秀兰吕仲艳贺顺王东霞康传帅赵艺兵来源：《南京信息工程大学学报（自然科学版）》2019年第02期摘要为了提高机器人末端绝对定位精度，提出了基于改进粒子群算法（IPSO）的机器人几何参数标定方法.首先，为避免当机器人相邻两轴线平行或接近平行时，模型存在奇异性，建立了串联机器人MDH模型;其次，针对机器人几何参数标定特点，提出用改进粒子群算法优化标定机器人几何参数，其中粒子初始位置和速度由拟随机Halton序列产生，采用浓缩因子法修改粒子飞行速度，建立了用IPSO标定机器人几何参数目标函数数学模型，确立了用该算法优化标定几何参数的具体步骤.通过对ER10L-C10工业机器人仿真与实测标定，结果证实：采用该方法能够快速标定机器人几何参数，经标定后的机器人末端绝对定位精度有大幅提高.该算法简单，鲁棒性强，易于在工业机器人标定中推广应用.关键词机器人;几何参数标定;改进粒子群算法;绝对定位精度中图分类号 TP391;TB92文献标志码 A0 引言高端制造业的持续发展提高了对工业机器人的精度要求，尤其是在激光焊接、激光切割以及航空航天等应用领域.工业机器人定位性能的衡量指标主要有重复定位精度和绝对定位精度[1].目前工业机器人的重复定位精度可达到0.02～0.1 mm，而绝对定位精度仅为毫米级.传统的机器人在制造业中主要担任着一些重复性的简单工作，而且多采用示教再现的模式.这类工作的特点是仅需要机器人多次重复到达同一位置，因此机器人的高重复定位精度起了很大作用[2-3].随着机器人在航空航天、柔性制造等领域应用日渐广泛，对机器人系统的高精度控制提出了更严格的要求，与其现有的绝对定位精度及定位稳定性之间存在突出的矛盾.机器人标定能够较好地提高机器人的绝对定位精度[4-5].机器人标定分为关节级标定、几何参数（即运动学）标定与非几何参数（非运动学）标定.由于机械加工误差、装配误差、磨损等因素影响，使得工业机器人实际参数和理论设计参数存在着偏差，导致其工作性能降低，而且由于结构特征、安装位姿等要素的影响，现场直接测量获得的机器人结构参数往往不够准确，直接导致了末端位姿精度的降低[6].研究发现，机器人几何参数误差是影响机器人作业精度的主要误差源，约占总误差的90%，通过对机器人几何参数的标定，可以有效提高机器人定位精度[7].因此机器人几何参数标定问题是机器人高精度定位控制的基础和核心问题，也是机器人领域的难点问题[8].机器人几何参数标定通常分为建模、测量、辨识和补偿4步.其中，DH模型是常用的几何参数模型之一，该模型通过齐次变换矩阵来描述相邻连杆之间的空间关系.但是，当机器人相邻关节旋转轴线平行或接近平行及垂直或接近垂直时出现奇异点，无法满足模型连续性的要求，直接影响标定结果的准确性.为了解决该问题，在传统的DH模型基础上Hayati提出了改进的DH模型（MDH模型）[9]，通过增加一个旋转参数，弥补了DH模型的缺陷，解决了相邻关节旋转轴线平行或接近平行时出现奇异点的问题[10].辨识是从测量数据中获取机器人实际模型参数信息的过程，其辨识的结果对机器人绝对定位精度的提高有直接影响.传统的辨识方法有最小二乘法、LM 方法、卡尔曼滤波法等.考虑到几何参数标定属于复杂的非线性优化问题，智能计算在解决复杂优化问题时有独到之处，因此，近年来已有学者尝试将遗传算法、粒子群优化算法等智能计算应用于对机器人参数辨识并取得了一定效果[11-14].其中：文献[11]建立了六自由度机器人的MDH模型，通过计算种群的适应值按照赌轮法选择个体，根据事先设定的概率进行交叉和变异操作，通过仿真证实了算法的有效性;文献[12]提出了基于改进遗传算法的空间机器人动力学参数辨识研究;文献[13]提出通过采用扩展卡尔曼滤波和神经网络算法提高机器人标定精度;文献[14]利用闭环矢量链法和DH矩阵法分别建立并联机器人和串联机器人的运动学误差模型，采用量子粒子群优化算法对五轴并联机床几何参数进行实验标定.总结现有研究结果发现，目前将智能计算用于机器人几何参数标定，多是通过仿真结果验证算法的有效性.本文建立了串联机器人MDH模型，提出将基于拟随机序列产生初始位置和浓缩因子法修改粒子速度的改进粒子群算法用于机器人几何参数标定，通过仿真实验和实测机器人来提高机器人绝对位置精度.1 機器人几何参数标定的数学模型1.1 MDH模型建立机器人常用模型为DH模型，该模型当机器人相邻两轴平行或接近平行时存在奇异性，为解决该问题，本文建立图1所示串联机器人MDH模型.依据MDH模型可以得到机器人连杆相邻坐标系之间的变换关系[15]，即：式中ai，di，αi，θi，βi分别表示机器人第i个关节的连杆长度、连杆偏距、关节扭角、关节角及关节扭角的名义值，i=1，2，…，n，n为关节数目，s和c分别表示sin和cos的缩写.机器人末端的名义位姿可由名义位姿矩阵Tn求取：式（2）中，Rn∈R3×3和Pn∈R3×1分别为名义姿态旋转和位置平移矩阵.由式（1）和（2）可见，机器人末端位姿是机器人几何参数ai，di，αi，βi及关节角θi的函数.当几何参数ai，di，αi，βi，θi存在误差Δai，Δdi，Δαi，Δβi，Δθi时，机器人末端实际位姿可由实际转换矩阵Tr计算：根据机器人微分运动学原理，机器人末端的位姿变化矩阵dT可以用相对于基坐标系的微分变换矩阵μ以及名义位姿矩阵Tn表示为其中微分变换矩阵μ可表示为式（5）中d=（dx，dy，dz）T代表一阶微分平移向量，δr代表一阶微分旋转矩阵，其中Δδ=（δx，δy，δz）T表示机器人末端实际姿态相对于名义姿态的误差.将式（2）、（5）代入式（4）得：式中Δp=（δpx，δpy，δpz）T代表机器人末端实际位置相对名义位置的误差.1.2 目标函数采用改进粒子群算法搜索优化机器人几何参数误差时，其目标函数定义为式（7）中N为标定点数目，k为调节因子.由式（1）—（7）可见，f是几何参数误差集（Δai，Δdi，Δαi，Δβi，Δθi）的函数，机器人几何参数标定实质是通过设定机器人在不同组关节角（θ1j，θ2j，θ3j，θ4j，θ5j，θ6j）下获得其末端位置和姿态的实际值与名义值的误差，通过优化搜索机器人几何参数误差集（Δai，Δdi，Δαi，Δβi，Δθi），使目标函数f为最小.例如图1所示待标定的六自由度串联机器人，因第 2、3 轴线在理论上是互相平行的，参数d2，β1，β3，β4，β5，β6不需要辨识，因此待优化的几何参数误差为Δa1，Δa2，Δa3，Δa4，Δa5，Δa6，Δd1，Δd3，Δd4，Δd5，Δd6，Δα1，Δα2，Δα3，Δα4，Δα5，Δα6，Δβ2，Δθ1，Δθ2，Δθ3，Δθ4，Δθ5，Δθ6，共24個参数，属于复杂约束的非线性优化问题，非常适宜于用粒子群算法求解.2 改进粒子群算法用于几何参数标定粒子群算法是由J.Kennedy和R.C.Eberhart提出的一种新的智能算法.其优化机理也是从随机解出发，根据适应度或目标函数来评价解的品质，通过追随当前搜索到的最优值来寻找全局最优解.该算法以其实现容易、精度高、收敛快等优点引起了学术界的重视，在移动机器人路径规划、基于网络的数据分类、Lévy 噪声数据拟合等实际工程问题中得到成功应用[16-18].2.1 拟随机Halton序列考虑到传统粒子群算法中粒子的初始位置采用伪随机数随机产生，而伪随机数序列随机性过强而均匀性不足，比伪随机数序列更加均匀地充满采样空间的序列是拟随机数，可以加快收敛速度.本文采用拟随机Halton序列在区间[0，1]上产生参数值ti（i=1，2，…，M），M通常取足够大的值使ti均匀地充满采样空间[0，1]，表示如下：Halton序列中的第k个元素由式（9）求得.2.2 基于IPSO的机器人几何参数标定用IPSO标定机器人几何参数误差时，粒子的速度由下述浓缩因子法修改：vt+1i=K（vti+C1r1（ptbest，i-pti）+C2r2（gtbest-pti）），其中φ=c1+c2，φ>4，vti 和pti 分别为第i个粒子在第t代的速度和位置，r1 、r2为[0，1]之间均匀分布随机数，c1、c2 为加速系数，决定了第i个粒子飞向局部最优个体ptbest，i 和全局最优个体gtbest的能力，粒子的收敛速度由φ控制.采用IPSO标定机器人几何参数步骤如下：步骤1.设置算法初始化控制参数.步骤2.输入被标定机器人几何参数的名义值.步骤3.生成粒子的初始位置和初始速度.采用拟随机Halton序列产生两组psize×N维的实数向量作为粒子的初始位置pti 和初始速度vti，i=1，2，…，psize，psize为种群规模，N为待优化变量的个数;t=1时设定粒子i的初始位置为其最优位置ptbest，i，选取初始粒子中目标函数值最小的粒子的位置作为初始全局最佳粒子位置gtbest.步骤4.根据机器人所有标定点关节角、实测位姿及名义位姿计算粒子的目标函数值f （pti），目标函数值越小，粒子越趋于最优解..步骤5.采用式（10）浓缩因子法修改粒子速度vt+1i.步骤6.根据修改后的粒子速度改变粒子位置pt+1i.pt+1i=pti+vt+1i Δt，其中Δt 是时间步长，设置为1，步骤7.计算粒子位置改变后的所有粒子目标函数值f（pt+1i）.步骤8.更新局部最佳粒子位置ptbest，i.步骤9.更新全局最佳粒子位置gtbest.步骤10.判断是否满足终止条件，若不满足，则t=t+1转步骤5.终止条件设定为算法的最大进化代数.步骤11.输出被标定机器人几何参数值，并计算标定前后机器人末端位置和方向误差.3 实验与结果3.1 仿真实验3.1.1 位姿产生为了验证算法的有效性，从ER10L-C10工业机器人手册中获取该机器人DH模型几何参数见表1.分别在[-0.01，0.01]（单位：rad）和[-0.05，0.05]（单位：mm）区间范围内随机均匀产生几何参数误差如表2所示，几何参数实际值根据表1理论值和表2设定的误差获得.〖KH+1D〗表1 ER10L-C10机器人名义参数在[-π，π]（单位：rad）区间内按照均匀分布随机产生32组理论关节角θ1j，θ2j，θ3j，θ4j，θ5j，θ6j，j=1，2，…，32.考虑到机器人因加工、装配、磨损等误差会导致由机器人示教器设定的关节角与实际关节角间有误差存在，实际关节角为在理论关节角上加入[-0.1，0.1]（单位：rad）服从均匀分布的随机噪声.将关节角及几何参数的理论值和实际值分别代入式（2）—（6），即可求出机器人末端位置和方向的理论值与实际值及位置和方向误差.3.1.2 仿真实验结果根据上述随机生成的几何参数误差和关节角，采用IPSO优化求解机器人几何参数，算法的控制参数设定为：粒子种群规模psize为20、加速系数c1、c2均为2.05、最大进化代数为2 000.初始种群中角度和长度几何参数误差分别在±0.01 rad和±0.5 mm区间范围内采用拟随机Halton序列产生.图2为IPSO在Intel（R） Core（TM） i5-4570 CPU主频3.20 GHz计算机上采用Matlab10.0优化搜索机器人的几何参数过程，完成2 000代进化所需时间分别为220 s.图3绘制了机器人末端绝对位置误差在标定前及经IPSO标定后的比较结果，图4和图5分别给出了机器人末端在标定前后绕X轴、Y轴和Z轴旋转的方向误差，由仿真实验结果可见：提出的ICSA不仅能够快速完成机器人几何参数标定，而且标定后的位置和方向误差均小于标定前，特别是绝对位置精度大幅提高.1.2 目标函数采用改进粒子群算法搜索优化机器人几何参数误差时，其目标函数定义为式（7）中N为标定点数目，k为调节因子.由式（1）—（7）可见，f是几何参数误差集（Δai，Δdi，Δαi，Δβi，Δθi）的函数，机器人几何参数标定实质是通过设定机器人在不同组关节角（θ1j，θ2j，θ3j，θ4j，θ5j，θ6j）下获得其末端位置和姿态的实际值与名义值的误差，通过优化搜索机器人几何参数误差集（Δai，Δdi，Δαi，Δβi，Δθi），使目标函数f为最小.例如图1所示待标定的六自由度串联机器人，因第 2、3 轴线在理论上是互相平行的，参数d2，β1，β3，β4，β5，β6不需要辨识，因此待优化的几何参数误差为Δa1，Δa2，Δa3，Δa4，Δa5，Δa6，Δd1，Δd3，Δd4，Δd5，Δd6，Δα1，Δα2，Δα3，Δα4，Δα5，Δα6，Δβ2，Δθ1，Δθ2，Δθ3，Δθ4，Δθ5，Δθ6，共24个参数，属于复杂约束的非线性优化问题，非常适宜于用粒子群算法求解.2 改进粒子群算法用于几何参数标定粒子群算法是由J.Kennedy和R.C.Eberhart提出的一种新的智能算法.其优化机理也是从随机解出发，根据适应度或目标函数来评价解的品质，通过追随当前搜索到的最优值来寻找全局最优解.该算法以其实现容易、精度高、收敛快等优点引起了学术界的重视，在移动机器人路径规划、基于网络的数据分类、Lévy 噪声数据拟合等实际工程问题中得到成功应用[16-18].2.1 拟随机Halton序列考虑到传统粒子群算法中粒子的初始位置采用伪随机数随机产生，而伪随机数序列随机性过强而均匀性不足，比伪随机数序列更加均匀地充满采样空间的序列是拟随机数，可以加快收敛速度.本文采用拟随机Halton序列在区间[0，1]上产生参数值ti（i=1，2，…，M），M通常取足够大的值使ti均匀地充满采样空间[0，1]，表示如下：Halton序列中的第k个元素由式（9）求得.2.2 基于IPSO的机器人几何参数标定用IPSO标定机器人几何参数误差时，粒子的速度由下述浓缩因子法修改：vt+1i=K（vti+C1r1（ptbest，i-pti）+C2r2（gtbest-pti）），其中φ=c1+c2，φ>4，vti 和pti 分别为第i个粒子在第t代的速度和位置，r1 、r2为[0，1]之间均匀分布随机数，c1、c2 为加速系数，决定了第i个粒子飞向局部最优个体ptbest，i 和全局最优个体gtbest的能力，粒子的收敛速度由φ控制.采用IPSO标定机器人几何参数步骤如下：步骤1.设置算法初始化控制参数.步骤2.输入被标定机器人几何参数的名义值.步骤3.生成粒子的初始位置和初始速度.采用拟随机Halton序列产生两组psize×N维的实数向量作为粒子的初始位置pti 和初始速度vti，i=1，2，…，psize，psize为种群规模，N为待优化变量的个数;t=1时设定粒子i的初始位置为其最优位置ptbest，i，选取初始粒子中目标函数值最小的粒子的位置作为初始全局最佳粒子位置gtbest.步骤4.根据机器人所有标定点关节角、实测位姿及名义位姿计算粒子的目标函数值f （pti），目标函数值越小，粒子越趋于最优解..步骤5.采用式（10）浓缩因子法修改粒子速度vt+1i.步骤6.根据修改后的粒子速度改变粒子位置pt+1i.pt+1i=pti+vt+1i Δt，其中Δt 是时间步长，设置为1，步骤7.计算粒子位置改变后的所有粒子目标函数值f（pt+1i）.步骤8.更新局部最佳粒子位置ptbest，i.步骤9.更新全局最佳粒子位置gtbest.步骤10.判断是否满足终止条件，若不满足，则t=t+1转步骤5.终止条件设定为算法的最大进化代数.步骤11.输出被标定机器人几何参数值，并计算标定前后机器人末端位置和方向误差.3 实验与结果3.1 仿真实验3.1.1 位姿产生为了验证算法的有效性，从ER10L-C10工业机器人手册中获取该机器人DH模型几何参数见表1.分别在[-0.01，0.01]（单位：rad）和[-0.05，0.05]（单位：mm）区间范围内随机均匀产生几何参数误差如表2所示，几何参数实际值根据表1理论值和表2设定的误差获得.〖KH+1D〗表1 ER10L-C10机器人名义参数在[-π，π]（单位：rad）区间内按照均匀分布随机产生32组理论关节角θ1j，θ2j，θ3j，θ4j，θ5j，θ6j，j=1，2，…，32.考虑到机器人因加工、装配、磨损等误差会导致由机器人示教器设定的关节角与实际关节角间有误差存在，实际关节角为在理论关节角上加入[-0.1，0.1]（单位：rad）服从均匀分布的随机噪声.将关节角及几何参数的理论值和实际值分别代入式（2）—（6），即可求出机器人末端位置和方向的理论值与实际值及位置和方向误差.3.1.2 仿真实验结果根据上述随机生成的几何参数误差和关节角，采用IPSO优化求解机器人几何参数，算法的控制参数设定为：粒子种群规模psize为20、加速系數c1、c2均为2.05、最大进化代数为2 000.初始种群中角度和长度几何参数误差分别在±0.01 rad和±0.5 mm区间范围内采用拟随机Halton序列产生.图2为IPSO在Intel（R） Core（TM） i5-4570 CPU主频3.20 GHz计算机上采用Matlab10.0优化搜索机器人的几何参数过程，完成2 000代进化所需时间分别为220 s.图3绘制了机器人末端绝对位置误差在标定前及经IPSO标定后的比较结果，图4和图5分别给出了机器人末端在标定前后绕X轴、Y轴和Z轴旋转的方向误差，由仿真实验结果可见：提出的ICSA不仅能够快速完成机器人几何参数标定，而且标定后的位置和方向误差均小于标定前，特别是绝对位置精度大幅提高.1.2 目标函数采用改进粒子群算法搜索优化机器人几何参数误差时，其目标函数定义为式（7）中N为标定点数目，k为调节因子.由式（1）—（7）可见，f是几何参数误差集（Δai，Δdi，Δαi，Δβi，Δθi）的函数，机器人几何参数标定实质是通过设定机器人在不同组关节角（θ1j，θ2j，θ3j，θ4j，θ5j，θ6j）下获得其末端位置和姿态的实际值与名义值的误差，通过优化搜索机器人几何参数误差集（Δai，Δdi，Δαi，Δβi，Δθi），使目标函数f为最小.例如图1所示待标定的六自由度串联机器人，因第 2、3 轴线在理论上是互相平行的，参数d2，β1，β3，β4，β5，β6不需要辨识，因此待优化的几何参数误差为Δa1，Δa2，Δa3，Δa4，Δa5，Δa6，Δd1，Δd3，Δd4，Δd5，Δd6，Δα1，Δα2，Δα3，Δα4，Δα5，Δα6，Δβ2，Δθ1，Δθ2，Δθ3，Δθ4，Δθ5，Δθ6，共24个参数，属于复杂约束的非线性优化问题，非常适宜于用粒子群算法求解.2 改进粒子群算法用于几何参数标定粒子群算法是由J.Kennedy和R.C.Eberhart提出的一种新的智能算法.其优化机理也是从随机解出发，根据适应度或目标函数来评价解的品质，通过追随当前搜索到的最优值来寻找全局最优解.该算法以其实现容易、精度高、收敛快等优点引起了学术界的重视，在移动机器人路径规划、基于网络的数据分类、Lévy 噪声数据拟合等实际工程问题中得到成功应用[16-18].2.1 拟随机Halton序列考虑到传统粒子群算法中粒子的初始位置采用伪随机数随机产生，而伪随机数序列随机性过强而均匀性不足，比伪随机数序列更加均匀地充满采样空间的序列是拟随机数，可以加快收敛速度.本文采用拟随机Halton序列在区间[0，1]上产生参数值ti（i=1，2，…，M），M通常取足够大的值使ti均匀地充满采样空间[0，1]，表示如下：Halton序列中的第k个元素由式（9）求得.2.2 基于IPSO的机器人几何参数标定用IPSO标定机器人几何参数误差时，粒子的速度由下述浓缩因子法修改：vt+1i=K（vti+C1r1（ptbest，i-pti）+C2r2（gtbest-pti）），其中φ=c1+c2，φ>4，vti 和pti 分别为第i个粒子在第t代的速度和位置，r1 、r2为[0，1]之间均匀分布随机数，c1、c2 为加速系数，决定了第i个粒子飞向局部最优个体ptbest，i 和全局最优个体gtbest的能力，粒子的收敛速度由φ控制.采用IPSO标定机器人几何参数步骤如下：步骤1.设置算法初始化控制参数.步骤2.输入被标定机器人几何参数的名义值.步骤3.生成粒子的初始位置和初始速度.采用擬随机Halton序列产生两组psize×N维的实数向量作为粒子的初始位置pti 和初始速度vti，i=1，2，…，psize，psize为种群规模，N为待优化变量的个数;t=1时设定粒子i的初始位置为其最优位置ptbest，i，选取初始粒子中目标函数值最小的粒子的位置作为初始全局最佳粒子位置gtbest.步骤4.根据机器人所有标定点关节角、实测位姿及名义位姿计算粒子的目标函数值f （pti），目标函数值越小，粒子越趋于最优解..步骤5.采用式（10）浓缩因子法修改粒子速度vt+1i.步骤6.根据修改后的粒子速度改变粒子位置pt+1i.pt+1i=pti+vt+1i Δt，其中Δt 是时间步长，设置为1，步骤7.计算粒子位置改变后的所有粒子目标函数值f（pt+1i）.步骤8.更新局部最佳粒子位置ptbest，i.步骤9.更新全局最佳粒子位置gtbest.步骤10.判断是否满足终止条件，若不满足，则t=t+1转步骤5.终止条件设定为算法的最大进化代数.步骤11.输出被标定机器人几何参数值，并计算标定前后机器人末端位置和方向误差.3 实验与结果3.1 仿真实验3.1.1 位姿产生为了验证算法的有效性，从ER10L-C10工业机器人手册中获取该机器人DH模型几何参数见表1.分别在[-0.01，0.01]（单位：rad）和[-0.05，0.05]（单位：mm）区间范围内随机均匀产生几何参数误差如表2所示，几何参数实际值根据表1理论值和表2设定的误差获得.〖KH+1D〗表1 ER10L-C10机器人名义参数在[-π，π]（单位：rad）区间内按照均匀分布随机产生32组理论关节角θ1j，θ2j，θ3j，θ4j，θ5j，θ6j，j=1，2，…，32.考虑到机器人因加工、装配、磨损等误差会导致由机器人示教器设定的关节角与实际关节角间有误差存在，实际关节角为在理论关节角上加入[-0.1，0.1]（单位：rad）服从均匀分布的随机噪声.将关节角及几何参数的理论值和实际值分别代入式（2）—（6），即可求出机器人末端位置和方向的理论值与实际值及位置和方向误差.3.1.2 仿真实验结果根据上述随机生成的几何参数误差和关节角，采用IPSO优化求解机器人几何参数，算法的控制参数设定为：粒子种群规模psize为20、加速系数c1、c2均为2.05、最大进化代数为2 000.初始种群中角度和长度几何参数误差分别在±0.01 rad和±0.5 mm区间范围内采用拟随机Halton序列产生.图2为IPSO在Intel（R） Core（TM） i5-4570 CPU主频3.20 GHz计算机上采用Matlab10.0优化搜索机器人的几何参数过程，完成2 000代进化所需时间分别为220 s.图3绘制了机器人末端绝对位置误差在标定前及经IPSO标定后的比较结果，图4和图5分别给出了机器人末端在标定前后绕X轴、Y轴和Z轴旋转的方向误差，由仿真实验结果可见：提出的ICSA不仅能够快速完成机器人几何参数标定，而且标定后的位置和方向误差均小于标定前，特别是绝对位置精度大幅提高.。
改进粒子群算法优化最小二乘支持向量机的网络流量混沌预测
改进粒子群算法优化最小二乘支持向量机的网络流量混沌预测黄国权;尤新华
【期刊名称】《激光杂志》
【年(卷),期】2015(0)3
【摘要】为了提高网络流量的预测准确性,针对最小二乘支持向量机参数优化方法的缺陷,提出一种改进粒子群算法优化最小二乘支持向量机的网络流量混沌预测模型。
首先将最小二乘支持向量机参数作为粒子初始位置,然后通过粒子群之间信息交流、互相协作找到最优参数,并对惯性权重和学习因子进行改进,最后对网络流量数据进行重构,并采用最优参数的最小二乘支持向量机建立网络流量预测模型。
实验结果表明,本文模型提高了网络流量的预测精度,并大幅度减少了训练时间,可以满足网络流量在线预测要求。
【总页数】4页(P96-99)
【关键词】网络流量;粒子群优化算法;混沌理论;最小二乘支持向量机
【作者】黄国权;尤新华
【作者单位】广东药学院医药信息工程学院;湖北大学知行学院计科系
【正文语种】中文
【中图分类】TP393.06;TP18
【相关文献】
1.遗传算法优化支持向量机的网络流量混沌预测 [J], 熊凡
2.粒子群算法优化支持向量机的网络流量混沌预测 [J], 刘昆
3.基于变分模态分解和改进粒子群算法优化最小二乘支持向量机的短期电价预测[J], 杨昭;张钢;赵俊杰;张灏;蔺奕存
4.改进粒子群算法优化最小二乘支持向量机的高炉炉温预测研究 [J], 薛永杰因版权原因，仅展示原文概要，查看原文内容请购买。
基于粒子群算法的非线性方程组求解_陈长忆
SOLV ING NONL INEAR SY STEM S O F EQUATION S BA SED ON PARTICLE SWARM OPTIM IZATION
Chen Changy i Ye Yongchun
(Schoo l of Softwa re, Un iversity of E lectron ic Science＆ Technology of Ch ina, Ch engdu S ich uan 610054 , Ch ina) (Luzhou Voca tiona l ＆ Techn ica l Co llege, Luzhou S ichuan 646005 , Ch ina)
应用无约束优 化方法 求解 问题 (4)时 , 通 常将 其化 为非 线
性最小二乘问题 :
m
∑ m in fi2(X)
X ∈ R n i =1
(5)
若以 ‖ ‖ p 表示向量空间 p-范数 , 则问题 (4)转换为求解 :
m in
X∈ Rn
f(X) p
当 p =2时 , 即为问题 (5);当 p =∞时 , 问题 (4)转化为 无约
应用 PSO 求解该问题 , 调 用程 序 N LSEPSO. C, 取 向量 维数
n =2, 群体规模 popsize =30, 收敛 条件 ε=1 ×10- 6, 最大迭 代代
数 km ax =500, 初始 惯 性 权重 wm ax =1. 2, 终 止 惯性 权 重 wm in =
0. 1, 加速度权重 c1 =c2 =1. 8, 最大 速度 vmax =0. 1, 独 立运行 20 次 (全部收敛 )得到全部 3组不同 实数解 :X (1) =[ 0. 000 000, 1. 000 000] T , X (2) =[ - 0. 707 107, 1. 500 000] T , X(3) =[ - 1. 000 000, 2. 000 000] T (文献 [ 3] 未得到第 3组解 )。
非线性最小二乘问题
非线性最小二乘问题非线性最小二乘问题是一种解决实际应用中非线性系统求解最优化问题的有效方法，是研究遥感、机器人导航、机床控制、智能控制等领域的研究的基础。
非线性最小二乘问题具有普遍性，在很多学科和领域中都有广泛的应用。
一般来说，非线性最小二乘问题是一种优化问题，它涉及到求解满足条件的参数及其对应的函数最小值，其函数由基本函数和残差函数两部分组成。
基本函数又称作目标函数，是根据实际问题解题的依据；残差函数又称作约束函数，是根据实际约束条件而确定的。
因此，非线性最小二乘问题的求解步骤有以下几个：(1)确定基本函数和残差函数；(2)确定求解的参数及其范围；(3)对对应的函数最小值，采用梯度下降法等优化方法求解；(4)判断最小值是否满足目标要求，以达到最优化的效果。
其中，梯度下降法是一种常用的优化方法，它可以帮助求解非线性最小二乘问题，梯度下降法的基本思想是，在每次迭代中，根据目标函数对变量的梯度信息，找到该函数局部最小值，通过迭代搜索不断改进求解结果，使得每次迭代都能获得更优的结果。
另外，针对不同问题，还可以采用其他有效的优化方法，如模拟退火算法、粒子群算法等，它们都可以有效解决非线性最小二乘问题。
模拟退火算法是一种迭代算法，它可以有效地控制步长，从而有效改善求解结果；粒子群算法是一种仿生算法，它可以通过考虑各个粒子之间的信息交互，自动学习出有效的优化参数，从而有效求解非线性最小二乘问题。
总之，非线性最小二乘问题是一种常见的优化问题，其解题的基本步骤是确定基本函数和残差函数，然后采用梯度下降法、模拟退火算法、粒子群算法等有效的优化方法，从而求解满足约束条件的非线性最小二乘问题最优解。
研究非线性最小二乘问题，有利于更好地解决遥感、机器人导航、机床控制等工程实际应用中的问题，从而实现更高效的控制和决策。
基于粒子群算法多项式最小二乘估计
基于粒子群算法多项式最小二乘估计近年来，随着科技的不断发展，数据量和数据处理的复杂性都在增加，数据的建模和分析变得越来越困难。
而多项式最小二乘估计是一种常用的回归分析方法，它可以在众多数据点中找出一个最佳的多项式曲线拟合，从而更好地预测未来的趋势。
但是，传统的最小二乘估计方法存在收敛速度慢、易陷入局部最优等缺点。
因此，如何提高估计的准确性和效率成为了一个热门的研究领域。
最近，粒子群算法（Particle Swarm Optimization，PSO）被引入到多项式最小二乘估计中，以解决其固有的问题。
粒子群算法是一种基于群体行为的优化算法，其灵感来源于鸟群或鱼群的分布和行为。
通过模拟粒子在解空间的移动和信息交流，寻找最优的解策略。
同时，多项式曲线的每一个系数也被视为一个解空间，PSO可以在这些解空间中寻找最佳的系数组合。
在粒子群算法多项式最小二乘估计中，每一个粒子被表示为一个多项式系数的向量。
在初始化时，每一个粒子都被赋予一个随机的位置和速度。
其速度是通过当前位置和历史最优位置之间的差异进行求解。
同时，每一个粒子还维护着自己的历史最优位置和全局最优位置。
为了更新粒子的位置和速度，需要通过计算适应度函数来确定当前解的质量，并根据适应度函数的结果来调整速度和位置。
在算法的迭代过程中，不断优化每一个粒子的位置和速度，直到达到全局最小值。
相比于传统的最小二乘估计方法，基于粒子群算法的多项式最小二乘估计具有更快的收敛速度和更好的优化效果。
同时，由于其天然的并行性和全局搜索能力，PSO算法可以解决传统算法易陷入局部最优的问题。
而且，与其他优化算法相比，PSO具有计算量小、易于实现等优点，因此在实际应用中具有广泛的应用前景。
总之，基于粒子群算法的多项式最小二乘估计为数据的建模和分析提供了一种高效的手段。
未来，我们可以继续优化算法的具体实现和参数设置，以进一步提高算法的性能和适用范围，为数据分析和应用带来更多的实际价值。
基于改进自适应杂交粒子群优化算法和最小二乘支持向量机的空中目
摘
要： 评估 空 中目标威 胁程 度是 防空指挥控制 系统的核心环 节 ， 评估 的准确程度 将对 防空作 战产生重 大影 响。
针对传统评估方 法实时性差 、 工作量大 、 评 估精 度 不足 、 无法 同时进行 多 目 标评 估等缺 陷 ， 提 出了一种 基于 自 适 应杂
交粒子群优化（ Ａ Ｃ Ｐ Ｓ Ｏ） 算 法和最 小二乘 支持 向量机 （ Ｌ Ｓ Ｓ Ｖ Ｍ） 的空 中目标威胁评估方法。首先 ， 根 据空 中 目标 态势信
Ａｂ ｓ ｔ ｒ ａ ｃ ｔ ：Ｔ ｈ ｅ ｋ ｅ ｙ １ ｉ ｎ ｋ ｏ ｆ ａ ｉ ｒ ｄ ｅ ｆ ｅ ｎ ｓ ｅ ｃ ｏ ｍｍａ ｎ ｄ ｎｄ ａ ｃ ｏ ｎ ｔ ｒ ｏ ｌ ｓ ｙ ｓ ｔ ｅ ｍ ｉ ｓ ｔ ｏ ｅ ｖ ａ ｌ ｕ ａ ｔ ｅ ｔ ｈ ｅ ｔ ｈ ｒ ｅ ａ ｔ ｄ ｅ ｇ ｒ ｅ ｅ ｏ ｆ ａ ｉ ｒ ｔ ａ ｒ ｇ ｅ ｔ ａ ｃ ｃ ｏ ｒ ｄ ｉ ｎ ｇ ｔ ｏ ｔ ａ ｒ ｇ ｅ ｔ ｓ ｉ ｔ ｕ ａ ｔ ｉ ｏ ｎ ｉ ｎ ｆ ｏ ｒ ｍａ ｔ ｉ ｏ ｎ ，ｔ ｈ ｅ ａ ｃ ｃ ｕ ｒ ａ ｃ ｙ ｏ ｆ ｔ ｈ ｅ ａ ｓ ｓ ｅ ｓ ｓ ｍｅ ｎ ｔ ｗｉ ｌ ｌ ｈ ａ ｖ ｅ ａ ｓ ｉ ｇ ｎ ｉ ｉ ｆ ｃ ａ ｎ ｔ ｉ ｍｐ ａ ｃ ｔ ｏ ｎ ａ ｉ ｒ ｄ ｅ ｆ ｅ ｎ ｓ ｅ ｏ ｐ ｅ ｒ ａ ｔ ｉ ｏ ｎ ｓ ．ＡｉＣ ｒ ｏ ｓ ｓ ｂ ｒ ｅ ｅ ｄ ｉ ｎ ｇ Ｐ ａ ｒ ｔ ｉ ｃ ｌ ｅ Ｓ ｗ ａ ｍ ｒ Ｏ ｐ ｔ ｉ ｍ ｉ ｚ ａ ｔ ｉ ｏ ｎ（ Ａ Ｃ Ｐ Ｓ Ｏ ）ａ ｎ ｄ Ｌ ｅ ａ ｓ ｔ Ｓ ｑ ｕ ａ ｒ ｅ ｓ Ｓ ｕ ｐ ｐ ｏ ｒ ｔ Ｖ ｅ ｃ ｔ ｏ ｒ Ｍ ａ ｃ ｈ ｉ ｎ ｅ（ Ｌ Ｓ Ｓ Ｖ Ｍ） ｗ ａ ｓ
改进粒子群算法优化最小二乘支持向量机的高炉炉温预测研究
改进粒子群算法优化最小二乘支持向量机的高炉炉温预测研究◎薛永杰（作者单位：青岛科技大学）一、引言高炉炼铁是一个复杂的多变量控制系统，保证炉内状况稳定很有必要。
其中炉温的控制是十分重要的因素。
良好的炉温控制是高炉生产稳定的前提。
本文提出了一种基于粒子群算法优化最小二乘支持向量机的高炉炉温预测模型。
首先建立具有径向基函数为核函数的最小二乘支持向量机模型，将最小二乘支持向量机参数作为粒子初始位置，然后通过粒子群信息交流找到最优参数，并通过改进粒子群算法优化惯性权重和学习因子，得到采用最优参数的最小二乘支持向量机建立的高炉炉温预测模型。
实验结果表明，本文模型提高了高炉炉温的预测精度，并大幅减少训练时间。
二、IPSO－LSSVM 的高炉炉温预测模型1.最小二乘支持向量回归模型。
LSSVM 的基本原理为，给定非线性训练样本集T，T={（xi，yi ）i=1，2，…，n}，x∈Rn 的子集表示输入数据，yi∈Rn 的子集表示输出数据，n 表示样本训练个数。
映射非线性函数以获得高维特征空间。
进行线性回归分析。
基于结构风险最小化原理，得到LSSVM 的优化目标函数。
为了解决最优问题，引入拉格朗日乘数，将约束下的优化方程转化为无约束目标函数。
依据KKT 优化条件得到最优值。
然后得到最小二乘支持向量机分类决策函数。
大量研究实验表明高斯径向基核函数可以获得良好的性能。
因此本文采用高斯径向基核函数来帮助LSSVM 预测模型获得最优解。
2.改进粒子群算法。
假设在d 维的搜索空间内，有n 个粒子组成的一个种群，χi 表示第i 个粒子的位置，νi 表示第i 个粒子的速度，p i 表示粒子搜索的最优位置，p g 表示种群搜索的最优位置。
粒子更新速度与位置的公式为（1）（2）：式中k 表示实验中迭代的次数，c 1和c 2为学习因子，ω为惯性权重系数，r 1和r 2为[0，1]内的随机函数。
惯性权重ω用于平衡全局搜索与局部搜索能力，可以通过以下公式（3）确定：式中Wmax 是初始权重，Wmin 是最终权重。
l-m算法和粒子群算法
l-m算法和粒子群算法L-M算法L-M算法是一种非线性最小二乘法的算法，它是将高斯-牛顿算法与牛顿-拉弗森算法相结合的一种优化算法。
在非线性最小二乘问题中，我们要找到一组未知参数，使得该组参数下的函数值与实际观测值的误差平方和最小。
L-M算法的基本思想是：在进行参数更新计算时，先利用高斯-牛顿算法求得近似解，然后再利用牛顿-拉弗森算法对高斯-牛顿算法得到的近似解进行改进。
具体步骤如下：1.初始化参数向量和衰减系数；2.求得残差向量和雅可比矩阵；3.利用高斯-牛顿算法得到近似解；4.计算新的目标函数值和残差向量，判断误差减少的程度是否满足要求；5.如果误差减少的程度较小，则调整衰减系数，回到第4步，否则转入第6步；6.利用牛顿-拉弗森算法改进当前的近似解；7.计算新的目标函数值和残差向量，判断误差减少的程度是否满足要求；8.如果误差减少的程度较小，则调整衰减系数，回到第7步，否则输出结果。
L-M算法的特点是：具有牛顿-拉弗森算法的高精度和收敛速度快的特点，并且还能自适应地调整步长，避免算法陷入局部最优解。
但是，L-M算法对初始参数设置要求较高，容易陷入局部极值。
粒子群算法是一种基于群体智能的随机搜索算法，通过模拟鸟群或鱼群等生物的群体行为来搜索最优解。
在粒子群算法中，搜索空间中的每个点都被看作一个粒子，每个粒子都有一个位置和速度，算法通过不断调整粒子的位置和速度来搜索最优解。
具体步骤如下：1.初始化粒子群的位置和速度；2.计算每个粒子的适应度值，选择当前最优的粒子作为全局最优解；3.按照既定规则更新所有粒子的位置和速度；4.计算新的适应度值，更新全局最优解；5.检查终止条件是否满足，如果满足则输出结果，否则回到第3步。
粒子群算法的优点是：具有良好的全局搜索能力和收敛性能，能够快速搜索到全局最优解。
同时，算法不需要计算复杂的梯度信息，可以在高维空间中寻找最优解。
粒子群算法的缺点是：容易陷入局部最优解，需要多次随机初始化计算。
基于粒子群算法的最小二乘支持向量机参数优化——以都江堰灌区联合调度为例
…
３ 粒 子 群 优 化 最 小 二 乘 支 持 向 量 机
３ １ 最 小 二 乘 法 ．
的全局 优化 进化 算法 ， 通过 个体 的协 作来 寻找 最优解 ，
图 １ 都 江 堰 内江 分 布 示 意
已在许 多优 化 问题 中得 到 成 功 的应 用 ， 被 证 明在 大 并
收 稿 日期 ：０ ０一 ８— ９ ２ １ Ｏ ２
作者简介 ： 黄 佳 ， ， 士研 究 生 ， 要 从 事 水 利 系统 智 能 控 制 研 究 。Ｅ— ｉ ｈ ａｇ ａｈ １６ ｔｍ 女 硕 主 ｍａ ：ｕ ｎｊ ｘ＠ ２ ．ｏ ｌ ｉ
多 ， 是 在记忆 和 时 间要求 方 面均 有不 足 ， 以根据 流 但 所
量 和 闸 门之 间关 系 的各 种 指 标 ， 以确 定 出 它 们 的取 可
确定决 策方 法 ， 最终 实 现 都 江堰 灌 区渠 首 闸群 的智 能
联合调 度 。
值范围， 然后利 用 进 化算 法 中 的粒 子 群 优 化 算 法 选择
的基 础 ， 提供 给整 个 调 度 过 程 。该 系统 根 据 采 集 的走
马河 、 江安河 、 条河及 蒲 阳河 ４个支 渠 的闸后 和宝 瓶 柏 口水位 信 息 ， 合 所 需 流 量 确 定 出 相 应 的 闸 门开 度 。 结
系统为 建立水 量 优化 调度 系统 、 防洪 调度 系统 、 库水 水 量 调度 系统 ， 现灌 区水 资 源 的统 一管 理和 一 定 范 围 实 内的优 化调 度提 供 了基 础 。
回归 问题上 的应用 ， 在非 线 性 系统 辨 识 、 测 预报 、 预 预
基于粒子群优化算法的非线性系统模型参数估计
、
，
从 而 直接对 解 群进 行 操作
，
。
可看出 是
，
，
一
个 惯 性 环 节加纯 时滞模 型 待估 计 的参数是
，
基于粒子群优 化 算法 的 非线性 系统 模 型 参数 估
出
，0
，
比例系数 K 惯性 系数 T 和 时滞系数
T
。
计 方法
1 问题 的提
．
一
例
般非 线性 系统模 型 可 用 下 式表示 ： 定 适 应 函 数 ：在 已 知 各 参 数 值 的 基 础 上 基 于 式 f 1 )
v
则需 确定
一
些采样点
，
，
以 采样 点 的输 出数值 为根 据进 行 参数
，
可 通 过 仿 真 实 验求 得 各个 时 间 的 系 统 输 出数 值
(t1
。
而 辨识
估计
2= 2
。
如 系 统 离 散 则 只需 确 定 时 间 采 样 范 围 即 可 如 例 2 在
。
，
的 目 的 就 是 要 使 求 得 的 系 统 输 出数 值 y (t ) 尽 量 接 近 已 知 的 系
仿真 实验 中 参数设 置 如 下
e
。
：
这 个 实例取 学 习 因 子
c
l
=
l
：5
，
统 输 出 数 值 y O(t ) 越 接 近 说 明 仿 真 的 效 果 越 好 也 就 证 明仿 真所 用 的 组 参数 更 接 近 实 际 参 数 值 因此 应使 这 组 参数对
能够在
80
一
定 空 间 探 索 更 好 的解
，
基于粒子群优化的非线性系统最小二乘支持向量机预测控制方法
基于粒子群优化的非线性系统最小二乘支持向量机预测控制方
法
穆朝絮;张瑞民;孙长银
【期刊名称】《控制理论与应用》
【年(卷),期】2010(027)002
【摘要】对于非线性系统预测控制问题,本文提出了一种基于模型学习和粒子群优化(PSO)的单步预测控制算法.该方法使用最小二乘支持向量机(LS-SVM)建立非线性系统模型并预测系统的输出值,通过输出反馈和偏差校正减少预测误差,由PSO滚动优化获得非线性系统的控制量.该方法能在非线性系统数学模型未知的情况下设计出有效的预测控制器.通过对单变量多变量非线性系统进行仿真,证明了该预测控制方法是有效的,且具有良好的自适应能力和鲁棒性.
【总页数】5页(P164-168)
【作者】穆朝絮;张瑞民;孙长银
【作者单位】东南大学自动化学院,江苏,南京,210096;东南大学自动化学院,江苏,南京,210096;东南大学自动化学院,江苏,南京,210096
【正文语种】中文
【中图分类】TP273
【相关文献】
1.基于粒子群优化的最小二乘支持向量机税收预测模型研究 [J], 张淑娟;邓秀勤;刘波
2.基于最小二乘支持向量机的非线性系统预测研究 [J], 邓芳林;张为民;解生冕
3.基于粒子群优化的最小二乘支持向量机雾霾预测模型 [J], 马庆涛;尚国琲
4.基于粒子群优化的最小二乘支持向量机雾霾预测模型 [J], 马庆涛;尚国琲;
5.基于量子粒子群优化最小二乘支持向量机的变电站全寿命周期成本预测研究 [J], 熊志伟;熊元新;熊一
因版权原因，仅展示原文概要，查看原文内容请购买。
改进的粒子群算法求解非线性约束优化问题
第 ｔ＋１ 代的速度和位置：
ｖｉ（ｄ ｔ＋１） ＝ｗｖｉ（ｄ ｔ） ＋ｃ１ｒ（１ ｐ （ ｂｅｓｔｉｄ ｔ） － ｘｉ（ｄ ｔ） ） ＋ｃ２ｒ（２ ｇ （ ｂｅｓｔｄ ｔ） － ｘｉ（ｄ ｔ） ） （ ２）
ｘｉ（ｄ ｔ＋１） ＝ｘｉ（ｄ ｔ） ＋ｖｉ（ｄ ｔ＋１） ）
（ ３）
１≤ｉ≤ｐｏｐｓｉｚｅ， １≤ｄ≤Ｄ
在求解非线性约束优化问题时， 无论采取什么方法， 处理 约 束 的 机 制 都 是 其 中 的 一 个 重 要 环 节［２－１０］。 约 束 处 理 的 一 个 原 则是将处于非可行域内（ Ｓ－ Ｆ） 的解通过一定的方法引导到可行 解区域 Ｆ 中来， 目前在实际应用中， 处理约束机制主要包括罚 函数法和 ｌａｇｒａｎｇｉａｎ 乘数法， 将有约束问题转化为无约束问题 进行求解。
Ａｂｓｔｒ ａｃｔ： Ｔｈｉｓ ｐａｐｅｒ ｐｒｏｐｏｓｅｓ ａｎ Ｉｍｐｒｏｖｅｄ Ｐａｒｔｉｃｌｅ Ｓｗａｒｍ Ｏｐｔｉｍｉｚａｔｉｏｎ ａｌｇｏｒｉｔｈｍ （ ＩＰＳＯ） ．ＩＰＳＯ ａｄｏｐｔｓ ａ ｎｅｗ ｍｕｔａｔｉｏｎ ｏｐｅｒａｔｏｒ ａｎｄ ａ ｎｅｗ ｍｅｔｈｏｄ ｔｈａｔ ｃｏｎｇｒｅｇａｔｅｓ ｓｏｍｅ ｎｅｉｇｈｂｏｒｉｎｇ ｉｎｄｉｖｉｄｕａｌｓ ｔｏ ｆｏｒｍ ｍｕｌｔｉｐｌｅ ｓｕｂ－ ｐｏｐｕｌａｔｉｏｎｓ ｉｎ ｏｒｄｅｒ ｔｏ ｌｅａｄ ｐａｒｔｉｃｌｅｓ ｔｏ ｅｘｐｌｏｒｅ ｎｅｗ ｓｅａｒｃｈ ｓｐａｃｅ．Ａｄｄｉｔｉｏｎａｌｌｙ， ｔｈｉｓ ａｌｇｏｒｉｔｈｍ ｉｎｃｏｒｐｏｒａｔｅｓ ａ ｍｅｃｈａｎｉｓｍ ｗｉｔｈ ａ ｓｉｍｐｌｅ ａｎｄ ｅａｓｙ ｐｅｎａｌｔｙ ｆｕｎｃｔｉｏｎ ｔｏ ｈａｎｄｌｅ ｃｏｎｓｔｒａｉｎｔ．Ｔｈｕｓ， ｔｈｉｓ ａｌｇｏｒｉｔｈｍ ｈａｓ ｓｔｒｏｎｇ ｇｌｏｂａｌ ｅｘｐｌｏｒａｔｏｒｙ ｃａｐａｂｉｌｉｔｙ ａｎｄ ｅｆｆｉｃｉｅｎｃｙ ｗｈｉｌｅ ｂｅｉｎｇ ａｐｐｌｉｅｄ ｔｏ ｓｏｌｖｅ ｎｏｎｌｉｎｅａｒ ｃｏｎ－ ｓｔｒａｉｎｅｄ ｏｐｔｉｍｉｚａｔｉｏｎ ｐｒｏｂｌｅｍｓ．Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｉｎｄｉｃａｔｅ ｔｈａｔ ｔｈｅ ＩＰＳＯ ｉｓ ｒｏｂｕｓｔ ａｎｄ ｅｆｆｉｃｉｅｎｔ ｉｎ ｓｏｌｖｉｎｇ ｎｏｎｌｉｎｅａｒ ｃｏｎｓｔｒａｉｎｅｄ ｏｐｔｉｍｉｚａｔｉｏｎ ｐｒｏｂｌｅｍｓ． Ｋｅｙ ｗｏｒ ｄｓ： ｐａｒｔｉｃｌｅ ｓｗａｒｍ； ｍｕｌｔｉｐｌｅ ｓｕｂ－ ｐｏｐｕｌａｔｉｏｎｓ； ｎｏｎｌｉｎｅａｒ ｃｏｎｓｔｒａｉｎｅｄ ｏｐｔｉｍｉｚａｔｉｏｎ
基于改进粒子群优化LS-SVM的变压器故障气体预测
沙 立 成 ，宋垢 垮
（ ．华北 电力 大学 电气与 电子工程学 院，北京 １２０ ；２ 北 京市电力公司调度通信 中心 ，北京 １０ ３ ； １ ０２６ ． ００ １
改进的粒子群算法求解非线性约束优化问题
性 约 束优 化 问题 。
关键词 ： 粒子群 ； 多子群 ； 非线性约束优 化
文 章 编 号 ：０ ２ ８ ３ （ ０ ７ ２ — ０ １０ 文 献 标 识 码 ： 中图 分 类 号 ：Ｐ ８ １０ — ３ １２ ０ ）４ ０ ６ — ４ Ａ Ｔ １
ｓｒ ｉｅ ｏ ｔ ｚ ｔ ｎ ｐ ｏ ｌｍｓ ｐ ｒ ｎ ａ ｅ ｕ ｔ ｎ ｉ ａｅ ｈ ｔ ｔ ｅ Ｐ Ｏ ｓ ｏ ｕ ｔ ａ ｄ ｅ ｃ ｅ ｔ ｉ ｏｖ ｎ ｏ ｌ ｅ ｒ ｃ ｎ ｔ ｉ ｅ ｔａｎ ｄ ｐ ｉ ａ ｉ ｒ ｂ ｅ ． ｅ ｍｅ ｔ ｌ ｒ ｓ ｌ ｉ ｄ ｃ ｔ ｍｉ ｏ Ｅｘ ｉ ｓ ｔ ａ ｈ Ｉ Ｓ ｉ ｒｂ ｓ ｎ ｆ ｉ ｎ ｎ ｓ ｌ ｉ ｇ ｎ ｎ ｉ ａ ｏ ｓｒ ｎ ｄ ｉ ｎ ａ
湘潭大学 信息工程学院 ， 湖南 湘潭 ４ １０ １ １５
Ｉ ｓｉ ｔ ｏ ｎ ｏ ｍａｉ ｎ Ｅ ｇｎ ｅ ｎ ， ａ ｇ ａ ｉ ｅｓｔ Ｘｉｎ ｔｎ， ｎ ｎ ４１ １ ５， ｈ ｎ ｎ ｔ ｕ ｅ ｆ Ｉ ｆ ｒ ｔ ｎ ｉ ｅ ｒ ｇ Ｘｉｎ ｔ ｎ Ｕｎ ｖ ｒ ｉ ｔ ｏ ｉ ｙ， ａ ｇａ Ｈｕ ａ １ ０ Ｃ ｉ ａ
Ｅ ｍａ ： ｚｅｇ ｔ． ｕｃ － ｉｊ ｈｎ ＠ｘ ｅ ． ｌｈ ｕｄ ｎ ｗ Ｕ Ｑｉｎ Ｚ Ｅ ｉ－ ｕ ，Ｏ ｕＩ ｒｖ ｄ ｐ ｒ ｃ ｗａｍ ｌｏｉ ｍ ｏ ｏ ｉｇ ｎ ｎｉｅ ｒｃ ｎｔａｎｄ ｏ ｔ ｚ ｔ ｎ ａ ， Ｈ ＮＧ Ｊｎ ｈ ａ Ｓ ＮＧ Ｗ ． ｍｐ ｏ ｅ ａｔ ｌ ｓ ｒ ａｇ ｒ ｈ ｆｒｓｌ ｎ ｏ ｌ ａ ｏ ｓｒｉｅ ｐｉ ａｉ ｉｅ ｔ ｖ ｎ ｅｒ ｇ ａ ｄ Ａｐ ｆ ａ ｏ ，０ ７ ４ （４ ：１ ６ ． ｒｂｅ Ｃ ｍｐ ｔｒＥ ｇｎ ｅｉ ｎ ｐ ｃ ｔ ｎ ２ ０ ，３ ２ ）６ － ４ ｍｓ ｎ ｉ ｉｓ Ａ ｓ ａｔ ｈ ａ ｅ ｒｐｓｓ ａ ｍ ｒｖｄ Ｐ ｒｃ ｗ ｒ ｐｉ ｚｔ ｎ ａ ｏ ｔｍ （Ｐ Ｏ） Ｐ Ｏ ａｏ ｔ ａｎ ｗ ｍｕ ｔ ｎ ｏｅａ ｒ ｂｔ ｃ：Ｔ ｉ ｐｐ ｒｐｏｏｅ ｎ Ｉ ｐｏｅ ａｔｌ Ｓ ａ Ｏ ｔ ａｉ ｌ ｒｈ ＩＳ ． Ｓ ｄｐｓ ｅ ｔ ｉ ｐ ｒｔ ｒ ｓ ｉｅ ｍ ｍｉ ｏ ｇｉ Ｉ ａｏ ｏ
毕业设计(论文)-基于粒子群优化最小二乘支持向量机的短期风速预测[管理资料]
![毕业设计(论文)-基于粒子群优化最小二乘支持向量机的短期风速预测[管理资料]](https://img.taocdn.com/s3/m/2f9a98f0a6c30c2258019e73.png)
基于粒子群优化最小二乘支持向量机的短期风速预测摘要为了能够减少或消除风电开发并网带来的对电网的稳定性的不良影响，风电场风速的短期预测已经成为各个国家共同关注的问题。
风电场风速的准确预测，对风电场的规划计划设计、大型风场中风电机组开停机计划的安排、保持电网的安全稳定性、提高经济效益和社会效益都有很重要的意义。
本文的历史风速数据来自我校校史馆处的风速采集器，模拟风电场风速进行短期的风速预测。
本文采用粒子群优化最小二乘支持向量机(PSO-LSSVM)方法对风电场进行短期风速预测。
并与支持向量机(SVM)、最小二乘支持向量机(LS-SVM)进行分析对比，体现经过粒子群优化后预测准确度的优势。
粒子群优化算法(PSO)分别对LS-SVM的超参数γ和核函数2δ进行优化，从而使最小二乘支持向量机(LS-SVM)对短期风速预测的结果更加准确。
本文的三种模型支持向量机(SVM)、最小二乘支持向量机(LS-SVM)、基于粒子群优化最小二乘支持向量机(PSO-LSSVM),利用实际数据对模型进行训练和测试，提前一步（即一个小时）对风速进行预测，并把三种模型的预测值与下一时刻的实际风速值进行比较，体现粒子群优化最小二乘支持向量机(PSO-LSSVM)模型的准确度高、收敛性好。
为PSO-LSSVM模型实际运用提供理论支持。
关键词：风力发电、风速预测、粒子群优化算法、支持向量机、最小二乘支持向量机、PSO-LSSVMParticle swarm optimization based on LS-SVM prediction ofshort-term wind speedAbstractIn order to reduce or eliminate the development of wind power grid stability of the grid caused by the adverse effects of short-term forecast wind speed has become a common concern of all countries. Accurate forecasts of wind speed, wind farm planning program on the design of large-scale wind turbine open stroke down to planned arrangements and to maintain security and stability of the grid and improve the economic and social benefits are very important significance. This historical wind speed data from the wind speed at my school History Museum collection, short-term simulated wind speed wind speed forecast. In this paper, particle swarm optimization support vector machine (PSO-LSSVM) method of short-term wind speed prediction. And with the support vector machine (SVM), least squares support vector machines (LS-SVM) for analysis and comparison of expression through particle swarm optimization after prediction accuracy advantage. Particle swarm optimization (PSO) on the LS-SVM, respectively, the hyper parameters and to optimize the kernel function, so that the least squares support vector machines (LS-SVM) the results of short-term wind speed forecasting more accurate. Three models of this paper support vector machine (SVM), least squares support vector machines (LS-SVM), based on particle swarm optimization support vector machine (PSO-LSSVM), the model using actual data for training and testing, early step (That is one hour) to predict wind speed and the three models predicted the actual wind speed and the next moment the value is verified by comparing PSO support vector machine (PSO-LSSVM) the accuracy of model and convergence is good. The practical application of PSO-LSSVM models provide theoretical support.KEY WORDS: wind power generation、wind speed forecasting、PSO、SVM、LS-SVM、PSO-LSSVM目录摘要 (I)Abstract........................................................ I I 第一章绪论 (1)123风速预测的基本方法 (3)国外风速短期预报研究现状 (4)国内风速短期预报研究现状 (4)支持向量机在风速预测中的发展 (5)第二章支持向量机概述 (7)78VC维概述 (8)支持向量机（SVM）算法 (9)支持向量机用于回归 (11)SVM实现风速预测与预测结果 (12)17LS-SVM与SVM的区别 (17)LS-SVM原理 (18)第三章最小二乘支持向量机的短期风速预测 (20)2021网格搜索法 (21)24基于LS-SVM短期风速预测MATLAB程序 (24)基于LS-SVM预测值与实际值的比较 (25)28粒子群优化算法的定义 (28)粒子群优化算法的初始化 (28)PSO算法介绍 (28)PSO的参数设置 (29)第四章基于粒子群优化最小二乘支持向量机的短期风速预测 (31)3131粒子群优化算法的思想 (31)粒子群优化最小二乘支持向量机的构建 (33)粒子群优化最小二乘支持向量机预测模型 (34)34基于PSO-LSSVM短期风速预测MATLAB程序 (34)基于PSO-LSSVM短期风速预测值与实际值的比较 (36)第五章对比与分析 (38)结论 (41)参考文献 (42)致谢 (44)第一章绪论1.1研究背景风速的准确预测是风电项目可行性研究现阶段的主要工作，风的功率和具有的能量是风力发电系统设计的主要依据，是选择风力发电机功率、确定风力发电机的启动风速和停止风速以及保证电网安全稳定的主要依据，所以只有在对一个区域的风能资源进行准确考察和计算以后，才能确定适当的风电参数。
基于改进微粒群算法的非线性系统模型参数估计
力 与局部搜 索能 力 两 者之 间 取 得 平衡 ， 准 确有 效 在
寻找最 优解 中是非 常重要 的 。
数值试验 表 明 ， 行之 有 效 的方 法 是在 初 始 化 时， 取较大 的值 以加 快全 局搜索 ， 随后将 逐 代减小 以获得更精 细 的结 果 。但 是 ， 时取 得较 大之 间的平衡 ， 使之较快 并 地 达到最优解 ， Ｐ Ｏ的文献 中并 没有说明。现提 出 在 Ｓ
神 经 网络 进行 系统 参数 辨识 虽 然具 有 以任 意 精度 逼 近非 线性 函数 的能力 ， 但是 在实 际应 用 中 ， 有选 择 只
典型 的非 线性 系统模 型参数 估计 中 ， 真结果 表 明该 仿 优化算法 优化 效 率高 、 数估 计 精 度优 ， 参 是一 种 有 效
的非线性 系统模型 参数估计方法 。
验结果表 明： 改进微粒群优化算法参数估计 精度 高 ， 一种 有效 的参数估 计方法。 是 关键词 微粒群优 化 非线性系统 参数估 计
中图法分类号
Ｔ１； Ｐ ８
文献 标志码
Ａ
非线 性模 型参 数估 计一 直 是控 制 领域 研 究 的重 要 问题 。 目前 常用 的控制 系统 参数 优 化方 法 有最 小 二 乘法 、 大似然 法 、 极 神经 网络法 、 传 算 法 等 遗 。
洁、 具有深刻的智能背景等特点 ， 既适合科学研究 ， 又
特别适合 工程应用 ， 陆克 中等人 把 Ｐ Ｏ算 法用 于非 故 Ｓ 线性控制 系统 参 数估 计 ， 到 了较好 的结果 ， 误差 得 但
还是偏 大。 因此 本 文 提 出非 线性 控 制 系统 参数 估 计 的改进 微粒群算法 （Ｐ Ｏ 。文 中将 ＩＳ ￣Ｓ ） Ｐ Ｏ用 于 ３个
基于改进粒子群算法的最小二乘影响系数法的理论及实验研究
跳出局部最优， 同时加快收敛速度， 粒子的优良特性， ［4 ］ 具有良好优化性能和全局收敛性 。 因此， 提出了运 用改进粒子群算法对影响系数法进行优化， 以进一步 提高动平衡精度和效率。
。 影响系数法因原理简单， 不需要了
易于实现计算机辅助平衡等 解转子系统的复杂信息， 优点， 在现场动平衡中得到很大应用。 在实际应用过 程中， 测点数往往大于加重平面数， 求解时出现矛盾方 程组， 因此提出了最小二乘影响系数法。 但是， 最小二 乘影响系数法求得结果存在个别测点残余振动较大等 ［2 ］ 需要进一步优化 。 问题，
+1 k k k k Vk = w × Vk id + c1 r1 （ P id － X id ） + c2 r2 （ P gd － X id ） （ 6 ） id +1 k +1 Xk = Xk id + V id id
根据影响系数法原理可知， 理想情况下影响系数 与不平衡质量和初始振动量的关系为 ： AQ + V0 = 0 （ 2） 对式（ 2 ） 求解便可求得不平衡量。 如果方程有解， 则必须满足 M = N， 即加重平面数与测点数相等。 但是 在实际应用中， 测点数往往大于加重平面数， 此时方程 数大于未知数个数， 属于矛盾方程组， 可以由最小二乘 法求解。 1. 2 最小二乘影响系数法 最小二乘法 （ LSM ） 是一种数学优化技术， 它通过 最小 化 误 差 的 平 方 和 寻 找 数 据 的 最 佳 函 数 匹 配。 Goodman 提出将最小二乘法应用到影响系数法中［5］， 原理是使得测各点的残余振动的平方和最小化， 从而 求解配重质量 Q。 根据最小二乘原理， 此时方程组简 化为： AQ + V0 = δ （ 3） 其中： δ 为各测点的残余振动。 令 S 为 各 测 点 的 残 余 振 动 的 平 方 和： S =
基于粒子群优化结合最小二乘支持向量机的气体传感器建模
中 图分 类 号 ： Ｔ Ｐ １ ８ ； Ｔ Ｐ ３ ０ １ ． ６ ； Ｔ Ｐ ３ ９ １ ． ９ 文 献标 志码 ： Ａ
Ｍｏ ｄｅ ｌ ｉ ｎｇ ｏ ｆ ｇ ａ ｓ ｓ ｅ ｎ ｓ ｏ ｒ ｂ ａ ｓ ｅ ｄ ｏ ｎ ｌ ｅ ａ ｓ ｔ ｓ ｑ ｕ ａ ｒ ｅ ｓ ｕｐ ｐ ｏｒ ｔ ｖ ｅ ｃ ｔ ｏ ｒ ｍａ ｃ ｈｉ ｎ ｅ ｗｉ ｔ ｈ
ｔ ｅ ｓ ｔ ｅ ｄ ｗ ｉ ｔ ｈ ｔ ｈ ｅ ｐ ｒ ａ ｃ ｔ ｉ ｃ ｌ ａ ｍｅ ａ ｓ ｕ ｒ ｅ ｍｅ ｎ ｔ ｄ ａ ｔ ａ ．Ｔ ｈ ｅ ｒ ｅ ｓ ｕ ｌ ｔ ｓ ｐ ｒ ｏ ｖ ｅ ｔ ｈ ｅ ａ ｃ ｃ ｕ ｒ ａ ｃ ｙ ｏ ｆ ｔ ｈ ｅ ｍｏ ｄ ｅ １ ．
ｐ ａ ｒ ｔ ｉ ｃ ｌ ｅ ｓ ｗａ ｒ ｍ ｏ ｐ ｔ ｉ ｍｉ ｚ ａ ｔ ｉ ｏ ｎ
Ｄ Ｕ Ｋ ａ ｎ ｇ ， Ｘ Ｕ Ｊ ｕ ｎ ， Ｚ Ｈ Ａ Ｎ Ｇ Ｙ ａ ｏ ｈ ｕ ｉ ， ＷＥ Ｉ Ｚ ｉ ｊ ｉ ｅ
（ １ ．Ｄ ｅ ｐ ａ ｒ ｔ ｍ ｅ ｎ ｔ ｏ ｆＣ ｏ ｎ ｔ ｒ ｏ ｌ Ｅ ｎ ｇ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｇ ，Ａ ｃ ａ ｄ ｅ ｍ ｙ ｆＡ ｏ ｒ ｍ ｏ ｒ ｅ ｄ Ｆ ｏ ｒ ｃ ｅ Ｅ ｎ ｇ ｉ ｎ ｅ ｅ ｉ ｒ ｎ ｇ ，Ｂ ｅ ｉ ｊ ｉ ｎ ｇ １ ０ ０ ０ ７ ２ ，Ｃ ｈ ｉ ｎ ａ ； ２ ．Ｄ ｅ ｐ ａ ｔ ｒ ｍ ｅ ｎ ｔ ｆＴ ｏ ｅ ｃ ｈ ｎ ｉ ｃ ａ ｌ Ｓ ｕ ｐ ｐ ｏ ｒ ｔ ，Ａ ｃ ａ ｄ ｅ ｍ ｙｏ ｆＡ ｒ ｍ ｏ ｒ ｅ ｄＦ ｏ ｒ ｃ ｅ Ｅ ｎ ｇ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｇ ，Ｂ ｅ ｌ ｊ ｉ ｎ ｇ１ ０ ０ ０ ７ ２ ，Ｃ ｈ ｉ ｎ ａ ）
基于粒子群优化最小二乘支持向量机的交通事故预测方法
第23卷第4期2023年8月交 通 工 程Vol.23No.4Aug.2023DOI:10.13986/ki.jote.2023.04.016基于粒子群优化最小二乘支持向量机的交通事故预测方法韦凌翔1,2,赵洪旭2,赵鹏飞3,钟栋青2,陈天昊2(1.陆军工程大学国防工程学院,南京 210007;2.盐城工学院材料科学与工程学院,江苏盐城 224051;3.北京建筑大学土木与交通工程学院,北京 102616)摘 要:为解决交通事故预测中非线性样本影响预测精度的问题,本文构建了基于粒子群算法(PSO)优化的最小二乘支持向量机(LSSVM)的交通事故预测方法.在构建交通事故数LSSVM 预测模型的基础上,采用PSO 算法优化LSSVM 的惩罚系数和核函数宽度;设计了基于粒子群优化最小二乘支持向量机的交通事故预测模型;最后以我国连续48个月的道路交通事故数据建立模型,验证了该预测方法的有效性.实验结果表明:PSO 优化LSSVM 的交通事故模型比使用经验参数的LSSVM 预测模型的预测效果更好.是准确预测交通事故的方法.关键词:交通安全;交通事故;最小二乘支持向量机(LSSVM);粒子群优化算法(PSO);预测模型中图分类号:X 951;U 491.31文献标志码:A文章编号:2096⁃3432(2023)04⁃094⁃06收稿日期:2022⁃07⁃16.基金项目:北京市博士后工作经费资助项目(No.2021⁃zz⁃111);北京建筑大学青年教师科研能力提升计划资助(No.X21066);江苏省大学生创新训练计划项目;北京建筑大学培育项目专项资金资助(X23044).作者简介:韦凌翔(1991 ),男,讲师,博士在读,研究方向为城市交通安全㊁数据挖掘与建模分析研究,E⁃mail:weilx@.通讯作者:赵鹏飞(1991 ),男,博士,讲师,研究方向为交通安全㊁交通运输规划与管理,E⁃mail:zhaopengfei@.Traffic Crash Prediction Method Using Least Squares Support Vector Machine with Particle Swarm OptimizationWEI Lingxiang 1,2,ZHAO Hongxu 2,ZHAO Pengfei 3,ZHONG Dongqin 2,CHEN Tianhao 2(1.College of Defense Engineering,Army Engineering University of PLA,Nanjing 210007,China;2.School of material science and Engineering,Yancheng Institute of Technology,Yancheng Jiangsu 224051,China;3.School of Civil and Transportation Engineering,Beijing University of Civil Engineering and Architecture,Beijing102616,China)Abstract :In order to solve the problem that nonlinear samples affect the prediction accuracy in trafficcrash prediction,this paper constructs a traffic crash prediction method based on least squares support vector machine (LSSVM)optimized by particle swarm optimization (PSO).Based on the construction of LSSVM prediction model for traffic crashes,the PSO algorithm is used to optimize the penalty coefficient and kernel function width of LSSVM.A traffic crash prediction model based on particle swarmoptimization least squares support vector machine is designed.Finally,a model is established based on road traffic crash data for 48consecutive months in China,which verifies the effectiveness of the prediction method.Experimental results show that the traffic crash model of PSO optimized LSSVM has a better prediction effect than that of LSSVM prediction model using empirical parameters.It is a method ofaccurately predicting traffic crashes. 第4期韦凌翔,等:基于粒子群优化最小二乘支持向量机的交通事故预测方法Key words:traffic safety;traffic crashes;least squares support vector machine(LSSVM);particleswarm optimization algorithm(PSO);prediction model0 引言随着城镇化的高密度的集中与开发,城市机动车保有量依然存在持续增长,小汽车出行在居民出行比例中仍旧占有较大比例,现代城市道路交通系统面临空前未有的高峰时段出行需求压力,而交通事故已经严重威胁人民生命和财产安全成为了的当今社会的主要问题[1-3].交通事故预测是一项基础性的工作,用以改善和提升城市道路交通安全环境,作为道路交通安全领域的重点研究内容之一,对于降低路面事故危害㊁改善道路安全性有着重大作用[3-4].近年来,国内外众多学者已展开较为广泛的研究,旨在能对交通事故进行科学的预测:早期用于预测交通事故的多元线性回归模型㊁Smeed模型㊁灰度预测模型等多属于统计回归模型[4-5],但是传统的回归模型无法较好地提取交通事故数据的内在相关性,无法进一步提升预测精度;随着人工智能技术的进一步开发,人们逐渐地将其融入到了交通事故预测分析中,主要代表性的交通事故预测方法有卷积神经网络模型[6]㊁相关向量机模型[7]㊁支持向量机模型[8]㊁时间序列组合预测模型[9]㊁BP神经网络[10]㊁长短期记忆网络模型[11]等.以上文献的研究表明,交通事故数据具有较为复杂的非线性特征,其产生和变化机理受到各种客观因素影响,会造成交通事故数据的趋势具有较强的波动性,因此如何运用非线性理论方法在有限交通事故数据中提取趋势特征进行预测是研究的主要方向. LSSVM算法是基于支持向量机算法加以改进而得到的,可提取小样本数据趋势特征,具有可靠的全局最优性,并在多个应用领域得到验证[12].众多研究表明LSSVM算法在样本量很小的预测中占有一定得优势,但是该算法能否预测准确却很大程度上取决于参数选择[13],针对此问题,本文利用PSO 算法的全局搜索能力对预测模型的惩罚系数和核函数宽度进行寻优,从而减少搜寻最优参数的所需时间并提升交通事故预测模型的预测效果.为此,本文将LSSVM算法与PSO算法相结合,建立基于PSO 算法优化参数的LSSVM交通事故预测模型,以我国连续48个月的道路交通事故发生数为例进行仿真计算,验证了此交通事故预测模型的可行性和高效性.1 LSSVM原理设交通事故数据集:X={(x i,y i)},i=1,2, , n;x i∈R d,y i∈R,其中,x i交通事故数输入量;y i是交通事故数输出量;n为交通事故数据个数;d为交通事故影响因素维度.支持向量机回归的基本思想是将一个非线性函数φ(x i)映射到高维特征空间,然后用函数f(㊃)在此高维特征空间内描述φ(x i)和y i之间的非线性映射关系,即:f(x i)=ωTφ(x i)+b(1)式中,ω=(ω1,ω2, ,ωn)表示惯性权重系数;b表示预先设置的阈值,通过结构风险的最小化来确定式(1)的参数ω,b.在LSSVM中,在结构风险的最小化原则(Structural Risk Minimization principle, SRM)的基础上,回归问题可转化为以下约束问题: min R=12‖ω‖2+c2∑n i=1ξ2is.t.y i=〈ω㊃φ(x i)〉+b+ξi,i=1,2, ,n s.t.ξi≥0,i=1,2, ,ìîíïïïïn(2)式中,c为惩罚因子,控制对样本超出计算误差的惩罚程度;‖ω‖2用来控制模型的复杂程度;ξi为松弛因子.求解式(2)的优化问题,可将有约束问题通过建立拉格朗日函数将转化为无约束问题:L=12|ω|2+c2∑n i=1ξ2-∑n i=1αi(ωTφ(x i)+b+ξi-y i)(3)式中,αiαi(α=1,2, ,n)表示拉格朗日乘数,最优的拉格朗日乘数αi和阈值b可根据KKT优化条件由式(4)求得:∂l∂ω=0→ω=∑n i=1αiφ(x i)∂l∂b=0→∑n i=1αi=0∂l∂ξi=0→αi=cξi∂l∂αi=0→ωTφ(x i)+b+ξi-y i=ìîíïïïïïïïïïï0(4)将式(5)转化为矩阵形式所表示的线性方程组:59交 通 工 程2023年0e e Ω+c -1éëêêùûúúI b αéëêêùûúúN =o Y éëêêùûúúN (5)式中,e =[111 1],αN=[α1α2αn ];Y N =[y 1y 2y n ];Ω=φ(x 1)φ(x 1)φ(x 1)φ(x 2) φ(x 1)φ(x n )φ(x 2)φ(x 1)φ(x 2)φ(x 2) φ(x 2)φ(x n )︙︙ ︙φ(x n )φ(x 1)φ(x n )φ(x 2) φ(x n )φ(x n éëêêêêêùûúúúúú).基于交通事故样本集{(x i ,y i )},求解线性方程组(6),可得到交通事故预测模型的参数(b ,α1,α2, ,αn ).令K (x i ,x j )=φ(x i )φ(x j ),从而得到LSSVM 的交通事故预测模型为:y i =∑nj =1αj K (x i ,x j )+b +1c αi(6)式中,K (x i ,x j )为核函数是高纬度特征空间的内积,此核函数满足Mercer 条件.本文采用泛化能力较好的高斯径向基函数(RBF 函数)作为算法的核函数[12]见式(17):K (x i ,x j )(=exp-‖x i -x j ‖22σ)2(7)2 PSO 算法原理粒子群优化算法(PSO)是一种受鸟类觅食行为启发的全局搜索算法[14],其主要思想是:初始化一组随机粒子的位置和速度,并在一定条件下通过迭代寻找最优解.搜寻过程中将每个粒子的最佳位置定义为单个极值P best ,将当前种群中粒子的最佳位置定义为全局极值G best .在d 维搜索空间中,有m 个粒子表示问题的可能解X ={X 1,X 2, ,X m },X i ={x i 1,x i 2, ,x id }代表第i 个粒子的位置,个体适应度由LSSVM 训练中每个训练集样本产生的均方误差(MSE)表示.适应度函数构造如下:MSE =1n∑ni =1(y i -^y i )2(8)式中,y i 是交通事故实际值;^y i 是交通事故的预测值;n 是交通事故数据数.三维空间中粒子的速度定义为V i ={v i 1,v i 2,,v id },P i ={p i 1,p i 2, ,p id }代表局部最优位置P best ,P g ={p g 1,p g 2, ,p gd }代表全局最优位置G best ,根据式(9)(10)确定第i 个粒子更新后的位置和速度:V t +1i =ωV t i +C 1R 1(P t i -X t i )+C 2R 2(G t i -X t i )(9)x t +1i =x t i +v t +1i (10)式中,ω是惯性权重;t 是迭代次数;C 1和C 2是加速度常量;R 1和R 2是在[0,1]范围内两个独立的随机数.V max 和V min 分别是速度的最大㊁最小值,粒子的速度在[V min ,V max ]的范围内,在粒子的速度更新后,有:if v id <V min then v id =V min(11)if v id >V max then v id =V max (12)如果PSO 算法的迭代次数达到最大迭代次数或者适应度值达到预设的最小适应度值时,则将退出迭代周期并输出全局最优参数.3 基于PSO-LSSVM 的交通事故数预测模型对LSSVM 模型的核函数宽度和惩罚系数用PSO 算法进行优化时,首先初始化粒子群种群规模m 的大小,各个粒子位置向量X i 和速度向量V i ,然后将其带入式(13)得到本次迭代各粒子所代表的交通事故数预测值,并根据式(8)计算各粒子均方误差指标(适应值)来评价粒子的优劣,即参数向量的优劣.理想的适应度函数E 应该能反映LSSVM 在不同参数下的泛化性能,即最小化测试样本集的目标值和预测值之间的误差.将选择高斯径向基函数作为核函数带入式(6),交通事故数测模型演变为:y i =∑nj =1αj exp (-‖x i -x j ‖2/2σ2)+b +1c αi (13)模型中待定的参数为惩罚因子c 和核函数宽度σ,采用PSO 算法对惩罚系数和和函数宽度(c ,σ)进行寻优.本文给出了基于PSO 算法优化LSSVM 的交通事故数预测模型的参数算法实现步骤具体如下.步骤1:交通事故数据预处理,将前12个月交通事故数作为输入变量,第13个月的交通事故数作为输出变量,对交通事故数据进行标准化处理,选取训练样本集和预测样本集.步骤2:选择高斯径向基(RBF)函数作为交通事故数预测模型的核函数.步骤3:设置LSSVM 的参数C 和σ2,初始化PSO 算法参数:种群规模m ㊁最大迭代次数T max ㊁和最小的适应度ε㊁学习因子C 1和C 2㊁惯性权重ω㊁以及粒子的最大速度V max ,初始化各粒子的位置向量X i =(x i 1,x i 2, ,x id )㊁速度向量V i =(υi 1,υi 2, ,υid ).69 第4期韦凌翔,等:基于粒子群优化最小二乘支持向量机的交通事故预测方法步骤4:粒子i 的当前最优位置为初始位置X i =(x i 1,x i 2, ,x id ),即P i =X i (i =1,2, ,m ).步骤5:将初始粒子和交通事故数据集{(x i ,y i )}代入到模型中训练,并根据式(8)计算每个粒子的适应度值E t i.步骤6:对于单个粒子,将目前位置的适应度E t i 与其最优位置E (t -1)pi的适应度作比较,如果min (E ti,E(t -1)pi)=E t i,此时E t i=E t p,X t i=P t i ,最小适应度为E t P ,局部最优位置为P t i .步骤7:对于所有粒子,将每一个粒子局部最优位置的适应度值E t p 与全局最优位置的适应度值E (t -1)g 作比较,如果min (E t p ,E (t -1)g)=E t p ,此时E t p =E t g ,P t i =P t g ,最小适应度为E t g ,全局最优位置为P t g .步骤8:根据式(9)(10)更新下一轮粒子的位置向量X (t +1)i 和速度向量V (t +1)i ,并根据式(8)计算出各相应粒子当前的适应值E (t +1)i.重复步骤6㊁7.步骤9:终止条件判断:如果满足限制条件(E t i >ε或t >T max ),则输出c 和σ2,然后通过解码得到参数建立最佳参数组合的LSSVM 交通事故预测模型;否则返回重复执行步骤5.图1 交通事故PSO-LSSVM 预测模型的步骤4 实例验证与分析4.1 交通事故案例数据以‘中华人民共和国道路交通事故统计年报(2006 2010)“交通事故发生起数的月度数据(表1)案例,具体操作步骤如下:2006⁃01 2009⁃12共48个月的交通事故数据作为训练集,2010年12个月的交通事故数据作为测试集,模型输入输出确定后,利用PSO 算法获得模型的最优参数组合.4.2 交通事故预测模型参数设置本文选择的参考模型为LSSVM 模型,模型的初始参数组合根据经验设置.前12个月的交通事故发生数作为模型的输入变量,第13个月的交通事故发生数作为模型的输出变量,构造输入输出矩阵.PSO-LSSVM 模型的参数初始值设置如下:粒子数m =20,最大迭代次数T max =100,C 1=C 2=2,ω=0.9,V max =1,核函数宽度σ2∈(0,200),惩罚系数c ∈(0,100),适应度选为均方误差(具体详见式(8)).图3表示PSO 的迭代过程,适应度最终收敛到0.05以下.PSO -LSSVM 交通事故数预测模型的参数优化结果如图4所示,通过交通事故测试数据,得到最佳组合为:c =84.6993,σ2=0.82329.4.3 交通事故预测结果分析为对比LSSVM 交通事故预测模型与PSO -LSSVM 交通事故预测模型预测结果的差异性,本文选取相对误差(RE)分析预测差异的指标,相对误差能直观反映交通事故预测的可信度见式(14):RE =y i -^yi y i(14)79交 通 工 程2023年表1摇交通事故发生起数原始数据2006年2007年2008年2009年2010年月份事故数月份事故数月份事故数月份事故数月份事故数137765127199121654118540120772233636227420219765217849215508328219324491321558317677315711432424428278423232420214418069529734526409522421518361518199630530627376623091617956617706731590727705721598719124717796832234827949821748820035818521932386927542921675919960918752103109810261501020588102051310173651130984112758011227331121615112007512281811229121122514112265071221047图2 PSO-LSSVM 交通事故数预测模型参数优化迭代图3 基于PSO 算法的LSSVM 参数优化结果 将交通事故训练数据代入到模型中,得到交通事故预测实例中训练数据的PSO -LSSVM 模型㊁LSSVM 模型的训练数据的结果图,如图4所示.图4绘制了把训练样本数据代入PSO -LSSVM 交通事故数预测模型的预测结果图,图中横坐标表示按照2007 2009年的顺序共36个月,左边纵坐标表示交通事故发生的数量,右边纵坐标表示相对误差.图4 交通事故数训练样本预测结果对比图由图4可看出,在交通事故数据训练阶段,LSSVM 模型与PSO-LSSVM 模型的交通事故数的预测值曲线的变化趋势与交通事故数的实际值曲线的变化趋势基本吻合,PSO -LSSVM 的每个年份的相对误差趋于稳定,明显低于经验LSSVM 模型的相对误差.将交通事故预测数据代入到模型中,得到交通事故预测实例中测试数据的PSO -LSSVM 模型㊁LSSVM 模型的交通事故预测值.图5是将交通事故数据测试样本输入2种预测模型的预测结果图,横89 第4期韦凌翔,等:基于粒子群优化最小二乘支持向量机的交通事故预测方法坐标代表2010年12个月,交通事故发生起数用纵坐标表示,真实值与预测值之间的相对误差用右边纵坐标表示.图5 交通事故数测试样本集预测结果对比图由图5可看出在交通事故数据预测阶段:LSSVM 模型的最大相对误差为3.736%㊁最小相对误差为0.36%,PSO -LSSVM 模型的最大相对误差为0.382%,最小相对误差为0.028%;总体来看,PSO-LSSVM 模型的预测值与实际值有更好的拟合,相对误差都在0.5%以下,预测精度较好.综合以上分析结果可得出:PSO -LSSVM 模型的预测值曲线的拟合度明显优于LSSVM 模型,这说明PSO-LSSVM 的预测结果更加准确,预测相比经验参数的LSSVM 模型更加有效.5摇结束语1)本文构建了基于PSO 算法优化LSSVM 交通事故预测方法,该方法用于我国连续48个月的道路交通事故发生数的预测,结果表明,本文所建模型是一种可行㊁有效的交通事故数预测模型.2)本文提出的交通事故预测方法对其他城市㊁省份具有较强的适用性和可移植性,为我国城市交通安全的提升和交通事故数据分析提供了一定的数据支撑和理论基础.3)本文所预测的交通事故发生数具有不确定性和偶然性,在接下来的预测中可使用经验模态分解技术将交通事故数分解为更稳定的序列模块,这可缓解交通事故数的非线性和波动性问题,从而有利于提高预测的精度.参考文献:[1]蔡晓禹,雷财林,彭博,等.基于驾驶行为和信息熵的道路交通安全风险预估[J].中国公路学报,2020,33(6):190⁃201.[2]WEI Lingxiang,FENG Tianliu,ZHAO Pengfei,et al.Driver sleepiness detection algorithm base on relevance vector machine[J].The Baltic Journal of Road and BridgeEngineering,2021,16(1):118⁃139.[3]LIANG Mingming,ZHANG Yun,QU Guangbo,et al.Epidemiology of fatal crashes in an underdeveloped city forthe decade 2008 2017[J].International journal of injury control and safety promotion,2020,27(2):253⁃260.[4]宋英华,程灵希,刘丹,等.基于组合预测优化模型的交通事故预测研究[J].中国安全科学学报,2017,27(5):31⁃35.[5]韦凌翔,陈红,王龙飞,等.诱发道路交通事故的关键因子分析方法研究[J].交通信息与安全,2015,33(1):85⁃89,99.[6]Zheng Ming,Li Tong,Zhu Rui,et al.Traffic accident’s severity prediction:A deep⁃learning approach⁃based CNNnetwork[J].IEEE Access,2019,7:39897⁃39910.[7]王文博,陈红,韦凌翔.交通事故时间序列预测模型研究[J].中国安全科学学报,2016,26(6):52⁃56.[8]YU B,WANG Y T,YAO J B,et al.A comparison of theperformance of ann and SVM for the prediction of traffic accident duration [J ].Neural Network World Journal,2016,26(03):271⁃287.[9]谢学斌,孔令燕.基于ARIMA 和XGBoost 组合模型的交通事故预测[J].安全与环境学报,2021,21(1):277⁃284.[10]张逸飞,付玉慧.基于ARIMA⁃BP 神经网络的船舶交通事故预测[J].上海海事大学学报,2020,41(3):47⁃52.[11]李文书,邹涛涛,王洪雁,等.基于双尺度长短期记忆网络的交通事故量预测模型[J].浙江大学学报(工学版),2020,54(8):1613⁃1619.[12]张淑娟,邓秀勤,刘波.基于粒子群优化的最小二乘支持向量机税收预测模型研究[J].计算机科学,2017,44(S1):119⁃122.[13]王语园,李嘉波,张福.基于粒子群算法的最小二乘支持向量机电池状态估计[J].储能科学与技术,2020,9(4):1153⁃1158.[14]YUAN Qing,ZHAI Shihong,WU Li,et al.Blastingvibration velocity prediction based on least squares support vector machine with particle swarm optimization algorithm[J].Geosystem Engineering,2019,22(5):279⁃288.99。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
收稿日期:20050518;修回日期:20050816。
基金项目:武汉理工大学校基金(X JJ2004113);U IRT 计划(A156,A157)资助课题作者简介:高飞(1976),男,博士研究生,主要研究方向为最优化理论与方法,计算流体力学。
E 2mail :gaofei @基于改进粒子群优化的非线性最小二乘估计高 飞,童恒庆(武汉理工大学数学系,湖北武汉430070) 摘 要:针对测量数据处理中非线性模型参数估计理论广泛使用的传统牛顿类算法对初值的敏感性问题,提出了一种求解非线性最小二乘估计的改进粒子群优化算法。
该算法利用均匀设计方法在可行域内产生初始群体,无需未知参数θ的较好的近似作为迭代初值,而具有大范围收敛的性质;通过偏转、拉伸目标函数有效地抑制了粒子群优化算法易收敛到局部最优的缺陷。
给出应用该方法到NL SE 的具体步骤,通过仿真实验证明该算法的有效性。
关键词:统计学;参数估计;粒子群优化算法;非线性最小二乘估计中图分类号:TP301 文献标识码:ANonlinear least squares estimation based on improvedparticle sw arm optimizationG AO Fei ,TON G Heng 2qing(Dept.of Mathematics ,W uhan U niv.of Technology ,W uhan 430070,China ) Abstract :To investigate the sensitivity of the traditional Newton methods widely used in the theory of nonlinear least squares estimation (NLSE )in geodesic data processing to the initial point ,an improved particle swarm optimiza 2tion (PSO )algorithm is proposed.It generates the initial population in feasible field by uniform design method ,so it has the property of convergence in large scale without better approximation of the unknown parameter θas iterative ini 2tial point.It restrains PSO ’s local convergence limitation efficiently by deflection and stretching of objective function.Finally the detailled steps of the proposed method for NLSE are given ,and experiments done show the improved tech 2nique ’s effectiveness.K ey w ords :statistics ;parameter estimation ;particle swarm optimization ;nonlinear least squares estimation0 引 言 始于20世纪60年代的关于非线性模型参数估计理论的研究,直到1980年以后,Bates 和Watts 引入曲率度量以后,才得到较快的发展。
对于一些复杂的非线性模型,传统的方法如:直接搜索法、复合形法、梯度法、变尺度法等往往只对某一类特定问题有效,且对模型的限制比较多,如可导、单峰等特性。
要在测量数据处理中广泛使用非线性模型参数估计理论,必须进行大量深入细致的工作,寻找通用有效的算法[1-2]。
随研究的深入,我们发现群集智能研究的新进展粒子群优化(particle swarm optimization ,PSO )算法有其独特的优势[3-6],采用该算法的非线性最小二乘估计(nonlinear least squares es 2timation ,NLSE )问题能得到非常好的计算结果。
PSO 由Eberhart 和K ennedy 于1995年提出,起源于对一个简化社会模型的仿真,和人工生命理论以及鸟类或鱼类的群集现象有十分明显的联系;作为一种高效并行优化方法,已经得到了众多学者的重视和研究,可用于求解大量非线性、不可微和多峰值的复杂优化问题;而且其程序实现简洁,需要调整的参数少,发展很快,已应用于多个科学和工程领域[3-4]。
同时,鉴于PSO 收敛性能的局限,很多学者都致力于提高PSO 算法的性能[5-6]。
本文尝试探讨非线性最小二乘估计的相关理论,采用均匀设计方法设计群体[7]、偏转目标函数[8]以改善PSO 的收敛性能,在此基础上采用PSO 的求解非线性最小二乘估计问题,数值算例进一步说明了本文的主要结果。
1 非线性最小二乘估计已知{(X i ,Y i ),i =1,…,n}是模型的一组观测值,假第28卷 第5期系统工程与电子技术Vol.28 No.52006年5月Systems Engineering and Electronics May 2006 文章编号:10012506X (2006)0520775204定主要误差出现在变量Y的观测上,曲线拟合就是用数学分析的方法从观测数据中求得模型的最佳表达式。
设观测值Yi 的偏差δYi=Y i-f(X i,θ),i=1,…,n,偏差向量V=(δY1,…,δY n)T,记f i(θ)=f(X i,θ),f(θ)= (f1(θ),…,f n(θ))T,Y=(Y1,…,Y n)T,最小二乘法假定偏差独立服从同一正态分布,用最小二乘估计^θ=arg min V T V估计未知参数θ。
设观测值的权矩阵为n×n的对称正定矩阵P,则未知参数θ的非线性最小二乘估计为^θ=arg min V T PV又因为V T PV=(δY1,…,δY n)P(δY1,…,δY n)T=(f(θ)-Y)T P(f(θ)-Y)=(f(θ))T P(f(θ)-2Y)+Y T P Y且Y T P Y是常数,从而min(f(θ))T P(f(θ)-2Y)等价于min V T PV,所以θ的非线性最小二乘估计为^θ=arg min (f(θ))T P(f(θ)-2Y)。
用此方法确定的模型的可靠程度与观测值Yi 的偏差δi的大小有密切联系。
而且最小二乘法中常用的方法如:直接搜索法、梯度法、变尺度法、G auss2Newton法等虽具有收敛速度快的优点,但往往只对某些特定问题有效,存在计算复杂、预处理量大、不易收敛、对迭代初值敏感性大的缺点[1-2,8]。
2 粒子群优化算法及改进在分析PSO理论基础、实现方式的基础上,结合在计算数学中的一些常用手段,从初始点集的选取和目标函数的处理两个方面对PSO进行改进。
2.1 粒子群优化算法PSO是一种相对较新的基于群体的演化计算方法(EA),根据对环境的适应度将群体中的个体移动到好的区域;将每个个体看作D维搜索空间中的一个没有体积的微粒(点),所有的粒子都有一个由被优化的函数决定的适应值,主要特点为:(1)每一粒子都被赋予了初始随机速度并在解空间中流动;(2)个体具有记忆功能;(3)个体的进化主要是它本身的飞行经验以及同伴的飞行经验进行动态调整,通过迭代找到最优解[5-6]。
设k时刻,第i个微粒(i=1,…,M)表示为Xi(k)= (x i,1(k),…,x i,D(k)),它经历过的最好位置记为p best=P i (k)=(p i,1(k),…,p i,D(k));在群体所有微粒经历过的当前最好位置的索引号表示为g best=Q g(k)=((q g,1(k),…, q g,D(k));微粒i的速度用V i(k)=(v i,1(k),…,v i,D(k))表示。
设w为惯性权重,c1认知加速常数,c2为社会加速常数,rand(a,b)产生在[a,b]范围内变化的随机数,χ∈(0,1]为收缩因子,速度V i(t)被一个最大速度V M限制:如果当前对微粒的加速导致它在某维的速度vi,d ≤V Md,则vi,d:=V M d[3-4];X i(t)的第d维(1≤d≤D)根据如下方程[3]变化Tp i,d(k)=rand(0,c1)×[p i,d(k)-x i,d(k)]Tq i,d(k)=rand(0,c2)×[q g,d(k)-x i,d(k)]v i,d(k+1)=χ[w×v i,d(k)+Tp i,d(k)+Tq i,d(k)] x i,d(k+1)=x i,d(k)+v i,d(k+1) 按上述思想的PSO是全局版的,虽然收敛快,但有时会陷入局部最优。
而局部版PSO通过保持多个吸引子来避免早熟,对每一个粒子Xi:把所有粒子按序号排成一圈, X i两侧的各l个粒子和X i组成的共2×l+1个粒子的集合称为Xi的环状邻域Ni,从N i中选出最好的,标记为l best=L i(t)=(l i,1(t),…,l i,D(t)),设c3为邻域加速常数,其他参数与全局版PSO相同;Xi(t)的第d维(1≤d≤D)根据如下方程[5]变化Tl i,d(k)=rand(0,c3)×[l i,d(k)-x i,d(k)]tem p=w・v i,d(k)+Tp i,d(k)+Tq i,d(k)+Tl i,d(k) v i,d(k+1)=χ・tem px i,d(k+1)=x i,d(k)+v i,d(k+1) 实验表明,局部版比全局版收敛慢,但不容易陷入局部最优[5-6]。
PSO的优势在于算法的简洁性,易于实现,参数调整少,无需梯度信息;是非线性连续优化问题、组合优化问题的有效优化工具,已经广泛应用于函数优化、神经网络训练、车间作业调度、等[3,6]。
2.2 改进策略PSO与遗传算法(genetic algorithms,G A)的信息共享机制并不同的:G A的整个种群比较均匀的向最优区域移动;而在PSO中,只有g best(或l best)传递信息给其他粒子,更新过程是跟随当前最优解的单向过程。
而且,PSO算法对种群大小不十分敏感。
虽然在算法的早期,PSO收敛快,但若c2、V M等参数太大,粒子群可能错过最优解,造成不收敛;即使在收敛的情况下,由于粒子群趋于同一化,算法后期收敛速度明显变慢,同时算法收敛到一定精度时,无法继续优化;因此很多学者都致力于改进PSO算法,如:惯性权重法、压缩因子法、空间邻域法、社会趋同法、动态目标函数法、协同法、结合复杂系统的自组织临界性等[5-6]。