短期负荷预测的支持向量机方法研究_李元诚
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
n
∑ (α
i =1
n
∗ i
− α i ) xi ，
必须找到最大化二次型 R(α i , α i∗ ) = −ε
∑
i =1 n
n
(α i∗ + α i ) +
∑ d (α
i i =1
n
∗ i
− αi ) −
入向量，ｄｉ 是期望值，ｎ 是数据点的总数。SVM 采 用下式来估计函数［７，８］ y = f ( x) = wϕ ( x ) + b （１） 式中 ϕ（ｘ）是从输入空间到高维特征空间的非线
LI Yuan-cheng1, FANG Ting-jian2, YU Er-keng3 (1. Department of Automation, University of Science and Technology of China, Hefei 230026,China; 2.The Institute of Intelligent Machines, Academia Sinica, Hefei 230021,China; 3.China Electric Power Research Institute, Beijing 100085,China)
1 引言
电力系统短期负荷预测对电力系统的可靠和 经济运行意义重大，尤其随着电力市场的发展，短
56
中
国
电 机
工 程
学 报
第 23 卷
误而泛化性能不强。同时，BP 网络还具有一些其 它难以克服的缺陷，如：隐单元的数目难以确定， 网络的最终权值受初始值影响大等。随着人工神经 网络研究的深入，人们更加认识到它存在的严重不 足。尽管众多的研究者已经提出了大量的学习算 法，但大都基于克服训练错误。从概率统计的角度 说，神经网络的学习算法采用经验风险最小化原理 (ERM)， 仅仅试图使经验风险最小化， 并没有使期 望风险最小化，与传统的最小二乘法相比，在原理 上缺乏实质性的突破， 同时也缺乏理论依据。 总之， 神经网络学习算法缺乏定量的分析与机理完备的 理论结果［５，６］。 最近，由贝尔实验室的 Vapnik 等提出了一种 被称为支持向量机(Support Vector Machines, SVM) 的机器学习算法［７］，它与传统的神经网络学习方法 不同，实现了结构风险最小化原理(SRM)，它同时 最小化经验风险与 VC 维的界，这就取得了较小的 实际风险，即对未来样本有较好的泛化性能。SVM 的另一个优点是它的训练等价于解决一个线性约 束的二次规划问题，存在唯一解，解中只有一部分 不为零，对应的样本就是支持向量。支持向量实际 上是训练集的子集，对支持向量的最低分类等价于 对训练集的分类。SVM 最初用来解决模式识别问 题，目的是发现泛化性能好的决策规则。然而，随 着 Vapnik 的ε 不敏感损失函数的引入，SVM 已经 扩展为解决非线性回归估计问题，而且与神经网络 方法相比， 有着显著的优越性，被认为是人工神经 网络方法的替代方法［８］。
2
2.1
SVM的回归估计算法
SVM 估计函数 SVM 用来估计回归函数时， 与神经网络回归算 子相比，有 ３ 个不同的特点：① SVM 利用在高维 空间中定义的线性函数集来估计回归；② SVM 利 用线性最小化来实现回归估计，这里的风险是用 Ｖａｐｎｉｋ 的ε 不敏感损失函数来度量的；③ SVM 采 用的风险函数是由经验误差和一个由结构风险最 小化原则导出的正则化部分组成的。 给定一数据点集 G = {( xi , d i )}i =1 ，其中 ｘ ｉ 是输
中图分类号：TM715；TP18
短期负荷预测的支持向量机方法研究
李元诚 1, 方廷健 2 , 于尔铿 3
(1.中国科学技术大学自动化系, 安徽 合肥 230026; 2.中国科学院智能机械研究所, 安徽 合肥 230031; 3. 中国电力科学研究院，北京 100085)
STUDY OF SUPPORT VECTOR MACHINES FOR SHORT-TERM LOAD FORECASTING
DOI:10.13334/j.0258-8013.pcsee.2003.06.049
第 23 卷 第 6 期 2003 年 6 月 文章编号：0258-8013 (2003) 06-0055-05
中
国 电 机 工 程 学 报 Proceedings of the CSEE 文献标识码：A
Vol.23 No.6 Jun. 2003 ©2003 Chin.Soc.for Elec.Eng. 学科分类号：470⋅4054
n பைடு நூலகம் 2 w + c (ξ i + ξi∗ ) （４） 2 i =1 2
∑
其约束条件是 wϕ ( x i ) + bi − d i ≤ ε + ξi∗ , ξi∗ ≥ 0 （５） d i − wϕ ( xi ) − bi ≤ ε + ξ i , ξ i ≥ 0 最后，依靠引入拉格朗日乘子，由式（１）给出 的决策函数就变成下面的精确形式： f ( x, α i , α i∗ ) =
∑ (α
i =1
n
i
− α i∗ )K ( x , x i ) + b （６）
2.2 拉格朗日乘子 在式 (6) 中引入的 α i 和 α i∗ 被称为拉格朗日乘 子 。 对 任 何 i = 1,L , n , 都 有 等 式 α i × α i∗ = 0 ， 要在约束条件式(5)下最小化 α i ≥ 0 ，α i∗ ≥ 0 成立。 式(4)，在引入拉格朗日乘子后，就可以把这一凸优 化问题简化为对一个二次优化问题寻找向量 w 的问 题，在这种情况下，要找到所求的向量 w=
ABSTRACT: A new methodology based on SVM for the electric power system load forecasting was presented. The proposed algorithm embodies the Structural Risk Minimization (SRM) principle is more generalized performance and accurate as compared to artificial neural network which embodies the Embodies Risk Minimization (ERM) principle. The theory of the SVM algorithm is based on statistical learning theory. Training of SVM leads to a quadratic programming problem. In order to improve forecast accuracy, the SVM interpolates among the load and temperature data in a training data set. Analysis of the experimental results proved that SVM could achieve greater accuracy than the BP neural network. KEY WORDS: Power system; Short-term load forecasting; Support Vector Machines(SVM); Structural risk minimiza-tion principle; Generalization. 摘要：提出了一种基于支持向量机(SVM)理论的电力系统短 期负荷预测方法。该方法采用结构风险最小化原则 (SRM) ， 与采用经验风险最小化原则 (ERM) 的传统神经网络方法相 比，具有更好的泛化性能和精度，减少了对经验的依赖。 SVM 算法以统计学习理论作为其理论基础，它的训练等价 于解决一个二次规划问题。 为了提高负荷预测精度，文中在 训练数据集中采用了负荷数据和温度数据。通过和多层 BP 神经网络进行比较的试验， 结果证明了其在短期负荷预测中 的有效性。 关键词：电力系统；短期负荷预测；支持向量机；结构风险 最小化原则；泛化性能
期负荷预测越来越受到重视。英国的研究结果表明 ［１］ ：短期负荷预测的误差每增加 １％，将导致每年运 行成本增加约 １７７０ 万元；在挪威，每增加 １％的短 期负荷预测误差将导致 ４５５ 万元￣９１０ 万元的附加运 行成本。 长期以来，国内外学者对负荷预测的理论和方 法做了大量的研究，提出了各种各样的预测方法， 这些方法大致可分为两大类：一类是以时间序列法 为代表的传统方法，另一类是以人工神经网络法为 代表的新型人工智能方法。传统方法中主要有时间 序列法、多元线性回归法及傅立叶展开法等［２］。传 统方法比较成熟，算法简单，速度快。然而，传统 方法都是线性模型方法，因此在遇到本质非线性问 题时就显得无能为力。人工智能方法中主要有专家 系统法、模糊逻辑法、模糊神经模型及人工神经网 络法等［３￣５］。在这些方法中，人工神经网络法无疑是 最引人关注的方法，也是近十年来研究和使用最多 的一种方法。由于神经网络具有并行分布信息、自 学习及任意逼近连续函数的能力，尤其能实现复杂 的非线性映射，因而能捕获电力负荷的各种变化趋 势，受到研究人员的青睐。 在短期负荷预测的研究中，应用最多的神经网 络模型是 BP 神经网络，因为它结构简单，处理问 题的能力却很强大［２］。然而，由于 BP 网络学习算 法实际上是利用梯度下降法调节权值使目标函数 达到极小，而目标函数仅为各给定输入和相应输出 差的平方和，导致了 BP 网络过分强调克服学习错
0 ≤ α i ≤ c, 0 ≤ α i∗ ≤ c,
通过在二次优化方法中控制 c 和ε 两个参数， 就可 (高维空间中亦可) 控制 SVM 的泛化能力。 根据二次规划中的库恩 -塔克条件，在式 (6) 中 系数 (αi − α i∗ ) 只有一部分数目是非零值，它们所对 应的数据点就是支持向量。这些数据点位于决策函 数的ε 边界上或在边界外。在式(6)中，由于其它数 据点的系数 (αi − α i∗ ) 都等于零，从而证实了在所有 的数据点中只有支持向量能够决定决策函数。 一般说来，ε 值越大，支持向量数目就越少， 因而解的表达就越稀疏。然而，大的 ε 值也能降低 数据点的逼近精度，从这一意义上讲，ε 也是解的 表达的稀疏程度与数据点密度之间的平衡因子。 2.3 参数计算 通过式（７），可以得到拉格朗日乘子 α i 和 α i∗ 的 计算方法。要合理地得到参数 ｂ，必须直接采用如 上所述的导致二次规划问题的库恩 -塔克条件。其 主要思想是挑选那些使预测误差 δ k = f ( xk ) − yk 能 ∗ 被唯一确定的拉格朗日乘子 α k 和 α k 。在 Ｖａｐｎｉｋ 的ε不敏感损失函数情况下， 这就意味着在边界上挑 ∗ 值，因为我们知道预 选点 x k ，得到相应的 α k 和 α k ∗ ) 的精确值。 测误差 δ k = ε sign (α k − α k 从稳定性的角 度考虑， 可以采用取边界上所有 ｘｋ 点的平均值 ak 来 得到 ｂ，即 b = ak = δ k + yk − (α i − α i∗ ) k ( xi , xk )
性映射，系数 ｗ 和 ｂ 由最小化式（２）来估计： 1 n 1 2 RSVM (c) = c Lε ( d i , wϕ ( x i ) + b) + w n i =1 2
∑
（２） d − y ≤ε 0 Lε ( d , y ) = （３） d − y − ε d − y > ε 在式（２）给出的正则化风险泛函中，第一部分 c 1 n
1 (α i∗ − α i )(α ∗ j − α j ) K ( xi , x j ) （７） 2 i , j =1
∑
的参数 α i 和 α i∗ ， i = 1,L , n ，其约束条件是：
∑
i =1
n
α i∗ =
∑α
i =1
n
i
第6期
李元诚等： 基于 SVM 的短期负荷预测方法
57
∑ L (d , y ) 是经验风险，它们由式（３）给出的
ε i i i =1
n
ε 不敏感损失函数来度量。损失函数的用途在于， 它能够用稀疏数据点来表现由式（１）给出的决策函 数。ｃ 是正常数，它决定着经验风险与正则化部分 之间的平衡。第二部分 1 / 2 w 是正则化部分。 为了寻找系数 ｗ 和 ｂ，需要引入松弛变量 ξ i 和 ξ i∗ ，使式（４）最小化： RSVM (w, ξ (∗) ) =
∑ (α
i =1
n
∗ i
− α i ) xi ，
必须找到最大化二次型 R(α i , α i∗ ) = −ε
∑
i =1 n
n
(α i∗ + α i ) +
∑ d (α
i i =1
n
∗ i
− αi ) −
入向量，ｄｉ 是期望值，ｎ 是数据点的总数。SVM 采 用下式来估计函数［７，８］ y = f ( x) = wϕ ( x ) + b （１） 式中 ϕ（ｘ）是从输入空间到高维特征空间的非线
LI Yuan-cheng1, FANG Ting-jian2, YU Er-keng3 (1. Department of Automation, University of Science and Technology of China, Hefei 230026,China; 2.The Institute of Intelligent Machines, Academia Sinica, Hefei 230021,China; 3.China Electric Power Research Institute, Beijing 100085,China)
1 引言
电力系统短期负荷预测对电力系统的可靠和 经济运行意义重大，尤其随着电力市场的发展，短
56
中
国
电 机
工 程
学 报
第 23 卷
误而泛化性能不强。同时，BP 网络还具有一些其 它难以克服的缺陷，如：隐单元的数目难以确定， 网络的最终权值受初始值影响大等。随着人工神经 网络研究的深入，人们更加认识到它存在的严重不 足。尽管众多的研究者已经提出了大量的学习算 法，但大都基于克服训练错误。从概率统计的角度 说，神经网络的学习算法采用经验风险最小化原理 (ERM)， 仅仅试图使经验风险最小化， 并没有使期 望风险最小化，与传统的最小二乘法相比，在原理 上缺乏实质性的突破， 同时也缺乏理论依据。 总之， 神经网络学习算法缺乏定量的分析与机理完备的 理论结果［５，６］。 最近，由贝尔实验室的 Vapnik 等提出了一种 被称为支持向量机(Support Vector Machines, SVM) 的机器学习算法［７］，它与传统的神经网络学习方法 不同，实现了结构风险最小化原理(SRM)，它同时 最小化经验风险与 VC 维的界，这就取得了较小的 实际风险，即对未来样本有较好的泛化性能。SVM 的另一个优点是它的训练等价于解决一个线性约 束的二次规划问题，存在唯一解，解中只有一部分 不为零，对应的样本就是支持向量。支持向量实际 上是训练集的子集，对支持向量的最低分类等价于 对训练集的分类。SVM 最初用来解决模式识别问 题，目的是发现泛化性能好的决策规则。然而，随 着 Vapnik 的ε 不敏感损失函数的引入，SVM 已经 扩展为解决非线性回归估计问题，而且与神经网络 方法相比， 有着显著的优越性，被认为是人工神经 网络方法的替代方法［８］。
2
2.1
SVM的回归估计算法
SVM 估计函数 SVM 用来估计回归函数时， 与神经网络回归算 子相比，有 ３ 个不同的特点：① SVM 利用在高维 空间中定义的线性函数集来估计回归；② SVM 利 用线性最小化来实现回归估计，这里的风险是用 Ｖａｐｎｉｋ 的ε 不敏感损失函数来度量的；③ SVM 采 用的风险函数是由经验误差和一个由结构风险最 小化原则导出的正则化部分组成的。 给定一数据点集 G = {( xi , d i )}i =1 ，其中 ｘ ｉ 是输
中图分类号：TM715；TP18
短期负荷预测的支持向量机方法研究
李元诚 1, 方廷健 2 , 于尔铿 3
(1.中国科学技术大学自动化系, 安徽 合肥 230026; 2.中国科学院智能机械研究所, 安徽 合肥 230031; 3. 中国电力科学研究院，北京 100085)
STUDY OF SUPPORT VECTOR MACHINES FOR SHORT-TERM LOAD FORECASTING
DOI:10.13334/j.0258-8013.pcsee.2003.06.049
第 23 卷 第 6 期 2003 年 6 月 文章编号：0258-8013 (2003) 06-0055-05
中
国 电 机 工 程 学 报 Proceedings of the CSEE 文献标识码：A
Vol.23 No.6 Jun. 2003 ©2003 Chin.Soc.for Elec.Eng. 学科分类号：470⋅4054
n பைடு நூலகம் 2 w + c (ξ i + ξi∗ ) （４） 2 i =1 2
∑
其约束条件是 wϕ ( x i ) + bi − d i ≤ ε + ξi∗ , ξi∗ ≥ 0 （５） d i − wϕ ( xi ) − bi ≤ ε + ξ i , ξ i ≥ 0 最后，依靠引入拉格朗日乘子，由式（１）给出 的决策函数就变成下面的精确形式： f ( x, α i , α i∗ ) =
∑ (α
i =1
n
i
− α i∗ )K ( x , x i ) + b （６）
2.2 拉格朗日乘子 在式 (6) 中引入的 α i 和 α i∗ 被称为拉格朗日乘 子 。 对 任 何 i = 1,L , n , 都 有 等 式 α i × α i∗ = 0 ， 要在约束条件式(5)下最小化 α i ≥ 0 ，α i∗ ≥ 0 成立。 式(4)，在引入拉格朗日乘子后，就可以把这一凸优 化问题简化为对一个二次优化问题寻找向量 w 的问 题，在这种情况下，要找到所求的向量 w=
ABSTRACT: A new methodology based on SVM for the electric power system load forecasting was presented. The proposed algorithm embodies the Structural Risk Minimization (SRM) principle is more generalized performance and accurate as compared to artificial neural network which embodies the Embodies Risk Minimization (ERM) principle. The theory of the SVM algorithm is based on statistical learning theory. Training of SVM leads to a quadratic programming problem. In order to improve forecast accuracy, the SVM interpolates among the load and temperature data in a training data set. Analysis of the experimental results proved that SVM could achieve greater accuracy than the BP neural network. KEY WORDS: Power system; Short-term load forecasting; Support Vector Machines(SVM); Structural risk minimiza-tion principle; Generalization. 摘要：提出了一种基于支持向量机(SVM)理论的电力系统短 期负荷预测方法。该方法采用结构风险最小化原则 (SRM) ， 与采用经验风险最小化原则 (ERM) 的传统神经网络方法相 比，具有更好的泛化性能和精度，减少了对经验的依赖。 SVM 算法以统计学习理论作为其理论基础，它的训练等价 于解决一个二次规划问题。 为了提高负荷预测精度，文中在 训练数据集中采用了负荷数据和温度数据。通过和多层 BP 神经网络进行比较的试验， 结果证明了其在短期负荷预测中 的有效性。 关键词：电力系统；短期负荷预测；支持向量机；结构风险 最小化原则；泛化性能
期负荷预测越来越受到重视。英国的研究结果表明 ［１］ ：短期负荷预测的误差每增加 １％，将导致每年运 行成本增加约 １７７０ 万元；在挪威，每增加 １％的短 期负荷预测误差将导致 ４５５ 万元￣９１０ 万元的附加运 行成本。 长期以来，国内外学者对负荷预测的理论和方 法做了大量的研究，提出了各种各样的预测方法， 这些方法大致可分为两大类：一类是以时间序列法 为代表的传统方法，另一类是以人工神经网络法为 代表的新型人工智能方法。传统方法中主要有时间 序列法、多元线性回归法及傅立叶展开法等［２］。传 统方法比较成熟，算法简单，速度快。然而，传统 方法都是线性模型方法，因此在遇到本质非线性问 题时就显得无能为力。人工智能方法中主要有专家 系统法、模糊逻辑法、模糊神经模型及人工神经网 络法等［３￣５］。在这些方法中，人工神经网络法无疑是 最引人关注的方法，也是近十年来研究和使用最多 的一种方法。由于神经网络具有并行分布信息、自 学习及任意逼近连续函数的能力，尤其能实现复杂 的非线性映射，因而能捕获电力负荷的各种变化趋 势，受到研究人员的青睐。 在短期负荷预测的研究中，应用最多的神经网 络模型是 BP 神经网络，因为它结构简单，处理问 题的能力却很强大［２］。然而，由于 BP 网络学习算 法实际上是利用梯度下降法调节权值使目标函数 达到极小，而目标函数仅为各给定输入和相应输出 差的平方和，导致了 BP 网络过分强调克服学习错
0 ≤ α i ≤ c, 0 ≤ α i∗ ≤ c,
通过在二次优化方法中控制 c 和ε 两个参数， 就可 (高维空间中亦可) 控制 SVM 的泛化能力。 根据二次规划中的库恩 -塔克条件，在式 (6) 中 系数 (αi − α i∗ ) 只有一部分数目是非零值，它们所对 应的数据点就是支持向量。这些数据点位于决策函 数的ε 边界上或在边界外。在式(6)中，由于其它数 据点的系数 (αi − α i∗ ) 都等于零，从而证实了在所有 的数据点中只有支持向量能够决定决策函数。 一般说来，ε 值越大，支持向量数目就越少， 因而解的表达就越稀疏。然而，大的 ε 值也能降低 数据点的逼近精度，从这一意义上讲，ε 也是解的 表达的稀疏程度与数据点密度之间的平衡因子。 2.3 参数计算 通过式（７），可以得到拉格朗日乘子 α i 和 α i∗ 的 计算方法。要合理地得到参数 ｂ，必须直接采用如 上所述的导致二次规划问题的库恩 -塔克条件。其 主要思想是挑选那些使预测误差 δ k = f ( xk ) − yk 能 ∗ 被唯一确定的拉格朗日乘子 α k 和 α k 。在 Ｖａｐｎｉｋ 的ε不敏感损失函数情况下， 这就意味着在边界上挑 ∗ 值，因为我们知道预 选点 x k ，得到相应的 α k 和 α k ∗ ) 的精确值。 测误差 δ k = ε sign (α k − α k 从稳定性的角 度考虑， 可以采用取边界上所有 ｘｋ 点的平均值 ak 来 得到 ｂ，即 b = ak = δ k + yk − (α i − α i∗ ) k ( xi , xk )
性映射，系数 ｗ 和 ｂ 由最小化式（２）来估计： 1 n 1 2 RSVM (c) = c Lε ( d i , wϕ ( x i ) + b) + w n i =1 2
∑
（２） d − y ≤ε 0 Lε ( d , y ) = （３） d − y − ε d − y > ε 在式（２）给出的正则化风险泛函中，第一部分 c 1 n
1 (α i∗ − α i )(α ∗ j − α j ) K ( xi , x j ) （７） 2 i , j =1
∑
的参数 α i 和 α i∗ ， i = 1,L , n ，其约束条件是：
∑
i =1
n
α i∗ =
∑α
i =1
n
i
第6期
李元诚等： 基于 SVM 的短期负荷预测方法
57
∑ L (d , y ) 是经验风险，它们由式（３）给出的
ε i i i =1
n
ε 不敏感损失函数来度量。损失函数的用途在于， 它能够用稀疏数据点来表现由式（１）给出的决策函 数。ｃ 是正常数，它决定着经验风险与正则化部分 之间的平衡。第二部分 1 / 2 w 是正则化部分。 为了寻找系数 ｗ 和 ｂ，需要引入松弛变量 ξ i 和 ξ i∗ ，使式（４）最小化： RSVM (w, ξ (∗) ) =