基于主成分分析和最小二乘支持向量机的
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
k =1 k =1 i p
(3)
若 ∀α ∈ (0,1) 且当 β s ≥ α 时， 则称 y1 , y2 , , ys 为 样本 x1 ,x2 , ,x p 的 显著 性 水平 为 α 的主成分。在 实际应用中可根据实际情况以能反映原样本空间的 绝大部分信息来决定选取主成分的个数。
2
最小二乘支持向量机
第 30 卷 第 21 期 2006 年 11 月 文章编号：1000-3673（2006）21-0075-03
电 网 技 术 Power System Technology 中图分类号：TM734；F123.9 文献标识码：A
Vol. 30 No. 21 Nov. 2006 学科代码：790·625
SVM 将每个样本点 用一个非线性函数 ϕ 映射
到高维特征空间并在该空间进行线性回归，从而取 得 在 原 空 间 非 线 性 回 归 的 效 果 [11] 。 设 样 本 集 S = {( xi , yi )}(i = 1,2, ⋅ ⋅⋅l ) ， xi 为输入矢量， yi 为对应 的目标输出数据。 SVM 采用下式来估计函数 f ( X ) = ωϕ ( X ) + b (4)
(1)
(6)
(8)
根据库恩-塔克(karush-kuhn-tucker，KKT)条件有 ∂L ∂L ∂L ∂L =0, =0， =0， =0 ∂ ξ ∂ω ∂b ∂α (9)
PDF 文件使用 "pdfFactory Pro" 试用版本创建 www.fineprint.com.cn
第 30 卷 第 21 期
式中： ϕ ( X ) 是从 输入空 间到高维 特征空 间的非 线 性映射； ω 为权值矢量；b 为偏置。系数 ω 和 b 可 以通过最小化下式来估计 1 1 2 J = ω + c ⋅ Remp (5) 2 2 式(2)中 ω 控制模型的复杂度； c 是正规化参数； Remp 为误差控制函数，即 ε 不敏感损失函数。选取 不同的损失函数，可构造不同形式的支持向量机。 LS-SVM 选择了误差 ξi 的二次项，其优化问题为 1 1 l min J = ω Τω + c ∑ξi2 2 2 i =1 约束条件为 yi = ωT ⋅ ϕ ( xi ) + b + ξi i = 1, 2, l (7) 通过其对偶形式可以求它的最优解，对偶形式 可以根据目标函数和约束条件建立拉格朗日函数 1 1 l L(ω , b, ξ , α ) = ω Tω + c ∑ ξi2 − 2 2 i =1
JIA Rong ，CAI Zhen-hua ，Liu Jing ，WANG Xiao-yu ，YANG Ke
1 1 2 1 1
（1．Department of Electrical Engineering，Xi’an University of Technology，Xi’an 710048，Shaanxi Province，China； 2．North China Electrical Power Research Institute，Xicheng District，Beijing 100045，China） ABSTRACT: Power state estimator plays an important role in energy management system (EMS). The authors propose a new method based on principal component analysis (PCA) and least square support vector machines (LS-SVM) for power system state estimation. In the proposed method, firstly the PCA for initial samples consisting of measured data is performed to make data compression and feature extraction, so the correlativity within the data is eliminated and the principal components containing enough information in initial samples are extracted. Then, the extracted principal components are used as the inputs for LS-SVM, so the dimensions of sample space are reduced. Case study results show that the proposed method can effectively improve the accuracy of power system state estimation. KEY WORDS: principal component analysis；least square support vector machines ； state estimation; power system； kernel function 摘要： 电力系统状态估计在能量管理系统中起着非常重要的 作用， 作者提出了基于主成分分析和最小二乘支持向量机的 状态估计方法。 首先对由量测量组成的初始样本进行主成分 分析，对初始样本进行数据压缩和特征提取，消除数据间的 相关性，提取出包含初始样本足够信息的主成分，然后将提 取出的主成分作为最小二乘支持向量机的输入， 降低了样本 空间的维数。 算例结果表明了所提出方法能有效地提高电力 系统状态估计的精度。 关键词：主成分分析；最小二乘支持向量机；状态估计；电 力系统；核函数
电 网 技 术
77
可得 ω − ∑ αiϕ ( xi ) = 0 i =1 l ∑ αi = 0 i =1 αi = cξ i T ω ϕ ( xi ) + b + ξi − yi = 0 利用核函数的方法，令
[2]
PDF 文件使用 "pdfFactory Pro" 试用版本创建 www.fineprint.com.cn
76
贾嵘等：基于主成分分析和最小二乘支持向量机的电力系统状态估计
Vol. 30 No. 21
最小化原则， 容易产生过学习而导致泛化能力下降， 同时神经网络还存在网络结构难以确定、易陷入局 部极小、训练速度慢等不足。 支持向量机(support vector machines，SVM)是 20 世纪 90 年代中期在统计学习理论基础上发展起 [7] 来的一种新的学习方法 ，与神经网络不同，SVM 是基于结构风险最小化原则的。 SVM 能够较好地解 决小样本、 非线性、 高维数和局部极小等实际问题， 具有良好的推广能力，成为继神经网络研究之后机 器学习界的研究热点[8-10]。Suykens 在 SVM 的基础 上 提出了最小二乘支持向量机 (least square support vector machines，LS-SVM)[11-14]。LS-SVM 采用二次 损失函数，将 SVM 中的二次规划问题转化为线性 方程组求解，在保证精度的同时大大降低了计算复 杂性，加快了求解速度，因而更适合于电力系统状 态估计。同时，考虑到电力系统量测量之间存在较 强 的 关 联 性 ， 本 文 通 过 主 成 分 分 析 (principal [15] component analysis， PCA) 对初始样本数据进行数 据压缩和特征提取，消除数据间的相关性，提取出 包含原来样本数据足够信息的主成分，并将提取出 的主成分作为 LS-SVM 的输入，降低了样本空间的 维 数，提 高 了 预 测 精度 。最后 以 标准 算例 验证 了 PCA 和 LS-SVM 方法在电力系统状态估计中的有效 性。
0
引言
近年来，随着我国电力工业的迅速发展，电力
系统调度自动化水平也越来越高。状态估计作为能 量管理系统(EMS)的重要组成部分， 它为 EMS 提供 完整可靠的系统运行状态实时数据和信息，并为其 它高级应用软件建立实时数据库。状态估计是一种 利用测量数据的相关度和冗余度结合计算机技术对 运行参数进行处理以获得电力系统实时状态信息的 计算方法。 多年来国内外学者对状态估计进行了研究并提 出 了 多种 状态 估 计 算 法。 其 中 加权 最小 二 乘 法 (weighted least squares，WLS)是电力系统状态估计 应用最多的算法。WLS 具有方差最小、模型简单， [1] 计算量小等优点 ，但却不具有抗粗差能力，为此， 许多学者研究了抗粗差状态估计，其中加权最小绝 对值(weighted least absolute value， WLAV)是广大学 者研究最多的一种抗粗差状态估计法 。文献[3]从 最小信息损失(minimum information loss，MIL)决策 原理出发，提出能够适用于各种概率分布的通用的 MIL 状态估计新原理。 文献[4]提出了一种基于分块 QR 分解(block QR decomposition)的状态估计方法。 但以上方法对不同的系统需要建立不同的数学模型, 而且计算量大。为此，文献[5]提出了一种采用神经 网 络 进行电力系统状态估计。文献 [6] 将 同伦 算 法 (homotopy algorithm)引入到神经网络的学习训练中 进行电力系统状态估计。但神经网络基于经验风险
基于主成分分析和最小二乘支持向量机的 电力系统状态估计
贾 嵘 1Байду номын сангаас蔡振华 1，刘 晶 2，王小宇 1，杨 可1
（1．西安理工大学 电力工程系，陕西省 西安市 710048； 2．华北电力科学研究院，北京市 西城区 100045）
Power System State Estimation Based on Principal Component Analysis and Least Square Support Vector Machines
i =1 T ∑ αi (ω ϕ ( xi ) − yi + b + ξi ) l 2
1
主成分分析
设 X = ( x1 ,x2 ,⋅⋅⋅ x p )T 为 P 维随机矢量，其每一
个分量均值为零，即 E ( xi ) = 0 (i = 1, 2, ⋅⋅⋅ p) ，它的 主成分 Y 满足下述两个条件： Y 是由经正交变换 U 得到的， （1） Y = UX 即： y1 = u11 x1 + u12 x2 + + u1 p x p y = u x + u x ++ u x 2 21 1 22 2 2p p y = u x + u p1 1 p 2 x2 + + u pp x p p 其中 uij 满足： p 2 ∑ uij = 1 j =1 (2) p u u =0 (i ≠ k ) ∑ ij kj i =1 （2）正交变换 U 必须使 y1 具有最大方差， y2 与 y1 独立且在 所有与 y1 独立的 随机变 量中， y2 具 有最大方差；y3 与 y1 ，y2 独立且在所有与 y1 ，y2 独 立 的随 机变 量中， y3 具有 最大方 差， 如此等等 。
这 样得 到 的 Y 的 各 分量 y1 , y2 ,, y p 分 别叫做 X 的 第 1、第 2、第 p 个主分量。 设 R 为随机矢量 X 的协方差矩阵， 它的特征值 特 征 矢 量 对 为 ( λ1 , e1 ),( λ2 , e2 ),,( λ p , e p ) ， 其 中 λ1 ≥ λ2 ≥ ≥ λ p ≥ 0 。 特征值的大小反映了对应的主 成分样本的离差程度，所选主成分个数可通过累计 贡献率来确定。第 i 主成分的累计贡献率为： β i = ∑ λk / ∑ λk
(3)
若 ∀α ∈ (0,1) 且当 β s ≥ α 时， 则称 y1 , y2 , , ys 为 样本 x1 ,x2 , ,x p 的 显著 性 水平 为 α 的主成分。在 实际应用中可根据实际情况以能反映原样本空间的 绝大部分信息来决定选取主成分的个数。
2
最小二乘支持向量机
第 30 卷 第 21 期 2006 年 11 月 文章编号：1000-3673（2006）21-0075-03
电 网 技 术 Power System Technology 中图分类号：TM734；F123.9 文献标识码：A
Vol. 30 No. 21 Nov. 2006 学科代码：790·625
SVM 将每个样本点 用一个非线性函数 ϕ 映射
到高维特征空间并在该空间进行线性回归，从而取 得 在 原 空 间 非 线 性 回 归 的 效 果 [11] 。 设 样 本 集 S = {( xi , yi )}(i = 1,2, ⋅ ⋅⋅l ) ， xi 为输入矢量， yi 为对应 的目标输出数据。 SVM 采用下式来估计函数 f ( X ) = ωϕ ( X ) + b (4)
(1)
(6)
(8)
根据库恩-塔克(karush-kuhn-tucker，KKT)条件有 ∂L ∂L ∂L ∂L =0, =0， =0， =0 ∂ ξ ∂ω ∂b ∂α (9)
PDF 文件使用 "pdfFactory Pro" 试用版本创建 www.fineprint.com.cn
第 30 卷 第 21 期
式中： ϕ ( X ) 是从 输入空 间到高维 特征空 间的非 线 性映射； ω 为权值矢量；b 为偏置。系数 ω 和 b 可 以通过最小化下式来估计 1 1 2 J = ω + c ⋅ Remp (5) 2 2 式(2)中 ω 控制模型的复杂度； c 是正规化参数； Remp 为误差控制函数，即 ε 不敏感损失函数。选取 不同的损失函数，可构造不同形式的支持向量机。 LS-SVM 选择了误差 ξi 的二次项，其优化问题为 1 1 l min J = ω Τω + c ∑ξi2 2 2 i =1 约束条件为 yi = ωT ⋅ ϕ ( xi ) + b + ξi i = 1, 2, l (7) 通过其对偶形式可以求它的最优解，对偶形式 可以根据目标函数和约束条件建立拉格朗日函数 1 1 l L(ω , b, ξ , α ) = ω Tω + c ∑ ξi2 − 2 2 i =1
JIA Rong ，CAI Zhen-hua ，Liu Jing ，WANG Xiao-yu ，YANG Ke
1 1 2 1 1
（1．Department of Electrical Engineering，Xi’an University of Technology，Xi’an 710048，Shaanxi Province，China； 2．North China Electrical Power Research Institute，Xicheng District，Beijing 100045，China） ABSTRACT: Power state estimator plays an important role in energy management system (EMS). The authors propose a new method based on principal component analysis (PCA) and least square support vector machines (LS-SVM) for power system state estimation. In the proposed method, firstly the PCA for initial samples consisting of measured data is performed to make data compression and feature extraction, so the correlativity within the data is eliminated and the principal components containing enough information in initial samples are extracted. Then, the extracted principal components are used as the inputs for LS-SVM, so the dimensions of sample space are reduced. Case study results show that the proposed method can effectively improve the accuracy of power system state estimation. KEY WORDS: principal component analysis；least square support vector machines ； state estimation; power system； kernel function 摘要： 电力系统状态估计在能量管理系统中起着非常重要的 作用， 作者提出了基于主成分分析和最小二乘支持向量机的 状态估计方法。 首先对由量测量组成的初始样本进行主成分 分析，对初始样本进行数据压缩和特征提取，消除数据间的 相关性，提取出包含初始样本足够信息的主成分，然后将提 取出的主成分作为最小二乘支持向量机的输入， 降低了样本 空间的维数。 算例结果表明了所提出方法能有效地提高电力 系统状态估计的精度。 关键词：主成分分析；最小二乘支持向量机；状态估计；电 力系统；核函数
电 网 技 术
77
可得 ω − ∑ αiϕ ( xi ) = 0 i =1 l ∑ αi = 0 i =1 αi = cξ i T ω ϕ ( xi ) + b + ξi − yi = 0 利用核函数的方法，令
[2]
PDF 文件使用 "pdfFactory Pro" 试用版本创建 www.fineprint.com.cn
76
贾嵘等：基于主成分分析和最小二乘支持向量机的电力系统状态估计
Vol. 30 No. 21
最小化原则， 容易产生过学习而导致泛化能力下降， 同时神经网络还存在网络结构难以确定、易陷入局 部极小、训练速度慢等不足。 支持向量机(support vector machines，SVM)是 20 世纪 90 年代中期在统计学习理论基础上发展起 [7] 来的一种新的学习方法 ，与神经网络不同，SVM 是基于结构风险最小化原则的。 SVM 能够较好地解 决小样本、 非线性、 高维数和局部极小等实际问题， 具有良好的推广能力，成为继神经网络研究之后机 器学习界的研究热点[8-10]。Suykens 在 SVM 的基础 上 提出了最小二乘支持向量机 (least square support vector machines，LS-SVM)[11-14]。LS-SVM 采用二次 损失函数，将 SVM 中的二次规划问题转化为线性 方程组求解，在保证精度的同时大大降低了计算复 杂性，加快了求解速度，因而更适合于电力系统状 态估计。同时，考虑到电力系统量测量之间存在较 强 的 关 联 性 ， 本 文 通 过 主 成 分 分 析 (principal [15] component analysis， PCA) 对初始样本数据进行数 据压缩和特征提取，消除数据间的相关性，提取出 包含原来样本数据足够信息的主成分，并将提取出 的主成分作为 LS-SVM 的输入，降低了样本空间的 维 数，提 高 了 预 测 精度 。最后 以 标准 算例 验证 了 PCA 和 LS-SVM 方法在电力系统状态估计中的有效 性。
0
引言
近年来，随着我国电力工业的迅速发展，电力
系统调度自动化水平也越来越高。状态估计作为能 量管理系统(EMS)的重要组成部分， 它为 EMS 提供 完整可靠的系统运行状态实时数据和信息，并为其 它高级应用软件建立实时数据库。状态估计是一种 利用测量数据的相关度和冗余度结合计算机技术对 运行参数进行处理以获得电力系统实时状态信息的 计算方法。 多年来国内外学者对状态估计进行了研究并提 出 了 多种 状态 估 计 算 法。 其 中 加权 最小 二 乘 法 (weighted least squares，WLS)是电力系统状态估计 应用最多的算法。WLS 具有方差最小、模型简单， [1] 计算量小等优点 ，但却不具有抗粗差能力，为此， 许多学者研究了抗粗差状态估计，其中加权最小绝 对值(weighted least absolute value， WLAV)是广大学 者研究最多的一种抗粗差状态估计法 。文献[3]从 最小信息损失(minimum information loss，MIL)决策 原理出发，提出能够适用于各种概率分布的通用的 MIL 状态估计新原理。 文献[4]提出了一种基于分块 QR 分解(block QR decomposition)的状态估计方法。 但以上方法对不同的系统需要建立不同的数学模型, 而且计算量大。为此，文献[5]提出了一种采用神经 网 络 进行电力系统状态估计。文献 [6] 将 同伦 算 法 (homotopy algorithm)引入到神经网络的学习训练中 进行电力系统状态估计。但神经网络基于经验风险
基于主成分分析和最小二乘支持向量机的 电力系统状态估计
贾 嵘 1Байду номын сангаас蔡振华 1，刘 晶 2，王小宇 1，杨 可1
（1．西安理工大学 电力工程系，陕西省 西安市 710048； 2．华北电力科学研究院，北京市 西城区 100045）
Power System State Estimation Based on Principal Component Analysis and Least Square Support Vector Machines
i =1 T ∑ αi (ω ϕ ( xi ) − yi + b + ξi ) l 2
1
主成分分析
设 X = ( x1 ,x2 ,⋅⋅⋅ x p )T 为 P 维随机矢量，其每一
个分量均值为零，即 E ( xi ) = 0 (i = 1, 2, ⋅⋅⋅ p) ，它的 主成分 Y 满足下述两个条件： Y 是由经正交变换 U 得到的， （1） Y = UX 即： y1 = u11 x1 + u12 x2 + + u1 p x p y = u x + u x ++ u x 2 21 1 22 2 2p p y = u x + u p1 1 p 2 x2 + + u pp x p p 其中 uij 满足： p 2 ∑ uij = 1 j =1 (2) p u u =0 (i ≠ k ) ∑ ij kj i =1 （2）正交变换 U 必须使 y1 具有最大方差， y2 与 y1 独立且在 所有与 y1 独立的 随机变 量中， y2 具 有最大方差；y3 与 y1 ，y2 独立且在所有与 y1 ，y2 独 立 的随 机变 量中， y3 具有 最大方 差， 如此等等 。
这 样得 到 的 Y 的 各 分量 y1 , y2 ,, y p 分 别叫做 X 的 第 1、第 2、第 p 个主分量。 设 R 为随机矢量 X 的协方差矩阵， 它的特征值 特 征 矢 量 对 为 ( λ1 , e1 ),( λ2 , e2 ),,( λ p , e p ) ， 其 中 λ1 ≥ λ2 ≥ ≥ λ p ≥ 0 。 特征值的大小反映了对应的主 成分样本的离差程度，所选主成分个数可通过累计 贡献率来确定。第 i 主成分的累计贡献率为： β i = ∑ λk / ∑ λk