基于动态规划的电池储能系统削峰填谷实时优化

ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００－１０２６．２０１２．１２．００３基于动态规划的电池储能系统削峰填谷实时优化鲍冠南，陆　超，袁志昌，韩英铎（电力系统国家重点实验室，清华大学电机系，北京市１０００８４）摘要：削峰填谷是电池储能系统的基本功能之一。

为了更好地发挥储能系统作用、延长电池使用寿命，削峰填谷优化需综合考虑电池容量和充放电次数、变流器出力、实时负荷曲线、与储能系统其他控制功能相配合等因素。

文中提出一种基于动态规划的实时修正优化控制策略，可在优化模型中引入充放电次数限制和放电深度限制等非连续约束条件，并通过将电池电量离散化等方法解决含有非连续约束的优化问题。

同时，针对电网扰动等因素引起的储能系统其他控制功能动作导致的电池可用容量不确定变化，通过在线修正的方法加以解决。

上述控制算法已成功应用于南方电网兆瓦级锂离子电池储能示范工程。

以该系统所在的深圳碧岭站负荷实测数据为基础，对所设计控制策略进行了验证，说明了其良好的优化效果。

关键词：电池储能；削峰填谷；实时优化；动态规划收稿日期：２０１２－０２－２７。

国家高技术研究发展计划（８６３计划）资助项目（２０１１ＡＡ０５Ａ１１１）；国家重点基础研究发展计划（９７３计划）资助项目（２０１２ＣＢ２１５２０６）。

０　引言大规模电池储能系统（ｂａｔｔｅｒｙ　ｅｎｅｒｇｙ　ｓｔｏｒａｇｅｓｙｓｔｅｍ，ＢＥＳＳ）通过在负荷高峰时放电，在负荷低谷时充电，可以实现对负荷的削峰填谷功能。

电网公司利用ＢＥＳＳ削峰填谷，能够推迟设备容量升级，提高设备利用率，节省设备更新的费用；电力用户利用ＢＥＳＳ削峰填谷，可以利用峰谷电价差获得经济效益。

在国外已有许多大规模ＢＥＳＳ在运行；在国内，南方电网开展了兆瓦级ＢＥＳＳ示范项目。

本文的研究基于南方电网兆瓦级电池储能项目，并应用于监控系统的高级应用控制部分。

如何利用有限的电池容量达到最优的削峰填谷效果，并满足一组约束条件的限制，需要借助于优化算法来实现。

求解储能系统充放电策略的优化算法可分为智能优化算法和经典优化算法２类。

文献［１－７］中采用智能算法来求解，包括遗传算法［１－５］、粒子群算法［６］和模拟退火算法［７］。

智能算法的优点是模型中可以包含不连续、非线性的约束；其缺点是对于含有多个局部最优解的问题，智能算法无法保证收敛到全局最优解，且参数选取困难。

求解储能系统充放电策略的经典优化算法包括梯度类算法［８－１０］和动态规划算法［１１－１２］。

梯度类算法无法处理不连续的约束条件，对初值的依赖性强。

采用动态规划算法则可以在模型中考虑不连续、非线性的约束，且方便使用计算机求解。

文献［１１－１２］中提出用动态规划方法求解ＢＥＳＳ削峰填谷离线优化问题，以电池剩余电量或荷电状态（ＳＯＣ）为状态变量。

本文进一步提出了基于动态规划的削峰填谷实时控制方法，能够在线修正优化结果，并且考虑到了充放电次数和放电深度对电池寿命的影响。

１　削峰填谷实时优化建模ＢＥＳＳ的充放电功率可以快速、灵活地改变，不需要考虑爬坡速率约束。

忽略电池组的内部损耗，可以将电池看做恒压源模型。

若储能系统的拥有者为电力用户，在市场电价体系下，用户的目标为最大化储能系统给用户带来的经济利益；若储能系统的拥有者为电网，为了减少常规发电机组的开停机次数以及旋转备用的容量，电网的目标为负荷曲线尽量平坦。

在数学上，方差可以反映随机变量偏离其均值的程度。

负荷的方差可以反映负荷曲线的平坦程度。

在本文中选取最小化负荷曲线的方差作为目标函数： ｍｉｎ　ｆ（ｂ）＝１Ｎ∑Ｎｉ＝［１（Ｄ（ｉ）＋ｂ（ｉ））－１Ｎ∑Ｎｊ＝１（Ｄ（ｊ）＋ｂ（ｊ］））２（１）式中：Ｎ为一日中负荷数据点的个数，由预测负荷数据决定，设当前时刻对应于第ｎ个负荷数据（１≤ｎ≤Ｎ）；Ｄ（ｉ）为时刻ｉ的负荷，为已知量，且１≤ｉ≤ｎ时—１１—第３６卷　第１２期２０１２年６月２５日为实际负荷，ｉ＞ｎ时为预测负荷；ｂ（ｉ）为时刻ｉ到时刻ｉ＋１之间ＢＥＳＳ的输出功率，电池充电为正，放电为负，且１≤ｉ＜ｎ时为已知量，ｉ≥ｎ时为控制变量。

实时优化模型中包含以下几类约束条件。

１）电池容量约束。

各时刻的电池电量不超出电池容量的上下限：Ｓｌｏｗ≤ｓ（ｉ）≤Ｓｈｉｇｈ ｉ＝０，１，…，Ｎ（２）式中：Ｓｌｏｗ和Ｓｈｉｇｈ分别为电池剩余电量的下限和上限；ｓ（ｉ）为时刻ｉ电池的电量，０≤ｉ≤ｎ时为已知量，ｉ＞ｎ时为状态变量。

在线计算时，当前时刻的电量ｓ（ｎ）为初值，Ｎ时刻的电量ｓ（Ｎ）为终值。

忽略电池的损耗后，电池在Δｔ时间内减少的电量与这段时间内输出的电量相等：ｓ（ｎ）＝Ｓｉｎｉｔｉａｌ（３）ｓ（ｉ）＝ｓ（ｉ－１）＋ｂ（ｉ）Δｔｉ＝ｎ＋１，ｎ＋２，…，｛Ｎ（４）ｓ（Ｎ）＝Ｓｆｉｎａｌ（５）式中：Δｔ为相邻负荷数据的间隔时间；Ｓｉｎｉｔｉａｌ和Ｓｆｉｎａｌ分别为电池剩余电量的初值和终值。

当电池容量的初值Ｓｉｎｉｔｉａｌ和终值Ｓｆｉｎａｌ确定后，１Ｎ∑Ｎｊ＝１（Ｄ（ｊ）＋ｂ（ｊ））为常数，式（１）可以简化为：ｍｉｎ　ｆ（ｂ）＝∑Ｎｉ＝１（Ｄ（ｉ）＋ｂ（ｉ））２（６）目标函数具有分离性，满足动态规划方法对指标函数的要求。

２）功率约束。

由于电力电子变流器（ＰＣＳ）及电池本体的限制，电池各时刻的输出功率不能超过功率的上下限：－Ｐｍａｘ≤ｂ（ｉ）≤Ｐｍａｘ ｉ＝１，２，…，Ｎ（７）式中：Ｐｍａｘ为最大充放电功率限值。

电池的寿命与电池的充放电次数、放电深度（ＤＯＤ）有关。

为了研究不同的充放电次数和放电深度对电池寿命的影响，延长电池使用寿命，需要在模型中加入充放电次数约束和放电深度约束。

３）充放电次数约束。

电池的状态可以分为充电、放电、空闲３种。

将空闲状态看做以零功率进行充电或放电，因此，在一日当中，充电阶段和放电阶段交替出现。

若将一个充电阶段加上一个放电阶段算做一次充放电，则充放电次数约束可以描述为：一日中的充放电次数限制为ｋ次，ｋ为已知的正整数。

４）放电深度约束。

电池组每一次放电的放电深度不应超过限制值。

在第ｊ次放电时，各时刻的电池电量不应小于ＳＤＯＤ（ｊ），其中，ｊ＝１，２，…，ｋ；Ｓ为电池组总容量；ＤＯＤ（ｊ）为已知的第ｊ次放电时的放电深度限制值，０≤ＤＯＤ（ｊ）＜１，ＤＯＤ（ｊ）＝０表示在第ｊ次放电时可以将电池电量全部放出。

如果优化模型中只包含容量约束和功率约束，则约束为线性约束，目标函数为二次函数，优化模型符合二次规划的模型要求，可以采用有效集算法进行求解。

加入充放电次数约束和放电深度约束后，由于约束条件不连续，无法采用基于连续模型的优化算法。

本文提出的基于动态规划的实时控制方法可以用来求解此模型。

２　基于动态规划的实时优化模型求解方法２．１　经典动态规划算法［１３］动态规划算法的基础是最优性理论：最优策略包含的子策略一定是最优子策略。

在动态规划顺推解法中，从初始状态开始，根据初始条件ｆ（ｒ０）＝０和第ｎ阶段的递推方程ｆ（ｒｎ）＝ｍｉｎｕｎ∈ｄ（ｒｎ）｛ｆ（ｒｎ－１）＋ｖｎ（ｒｎ，ｕｎ）｝由前向后推算，直至求得目标函数的最优解。

其中：ｒｎ为ｎ时刻的状态；ｕｎ为第ｎ阶段的决策变量；ｄ（ｒｎ）是由ｒｎ确定的允许决策集合；ｖｎ（ｒｎ，ｕｎ）为第ｎ阶段的阶段指标。

顺推解法的路径如图１所示。

采用动态规划算法可以避免对所有的路径进行计算。

图１　动态规划算法的路径Ｆｉｇ．１　Ｐａｔｈ　ｏｆ　ｄｙｎａｍｉｃ　ｐｒｏｇｒａｍｍｉｎｇ２．２　实时优化模型求解方法ＢＥＳＳ中的高级应用模块通过动态规划算法求得储能系统的充放电策略，并实时控制每组ＰＣＳ的出力值。

采用动态规划方法求解储能系统充放电策略的方法如下：将一日划分为Ｎ个阶段，相邻阶段的时间差为Δｔ。

选择电池电量Ｓ为状态，将其离散化，相邻２个状态的电量差为Δｓ。

在线控制时，初始状态Ｓｉｎｉｔｉａｌ为当前时刻电池电量，在当前时刻阶段；终值状态Ｓｆｉｎａｌ在第Ｎ阶段。

最优策略可以看做从初始状态到终值状态的最优路径。

第Ｎ阶段的递推方程ｆ（ｒＮ）＝ｍｉｎｕＮ∈ｄ（ｒＮ）｛ｆ（ｒＮ－１）＋ｖＮ（ｒＮ，ｕＮ）｝为实时优化模型的目标函数。

由此可见，优化模型中的目标函数应满足递推特性。

—２１—２０１２，３６（１２）为了满足充放电次数约束和放电深度约束，图１中每个时刻的状态被划分为２ｋ个组。

假设电池首先进行充电，Ｓｉｎｉｔｉａｌ≥ＳＤＯＤ（ｊ），ｊ＝１，２，…，ｋ，在每日的００：００时刻，各阶段的状态与可行路径如图２所示。

　表示向上取整；　表示向下取整ｘ｜Δｓ＝ｘΔｓΔｓ；ｘ｜Δｓ＝ｘΔｓΔｓ图２　求解储能系统充放电策略的动态规划算法路径图Ｆｉｇ．２　Ｐａｔｈ　ｏｆ　ｄｙｎａｍｉｃ　ｐｒｏｇｒａｍｍｉｎｇ　ｆｏｒＢＥＳＳ　ｃｈａｒｇｅ　ｓｃｈｅｄｕｌｉｎｇ在充电组中，电池可以空闲、充电或者跳转到上面的放电组，所有状态都满足电量上下限的要求；在放电组中，电池可以空闲、放电或者跳转到上面的充电组，所有状态都满足本次放电的放电深度要求及容量上下限的要求。

图中：一个箭头代表一个可行的决策。

箭头所连接的２个状态的电量之差不超过ＰｍａｘΔｔ。

沿着箭头所示的路径走，可以保证满足容量约束、功率约束、充放电次数约束和放电深度约束。

从第ｎ－１阶段的状态ｌ到第ｎ阶段的状态ｍ，Δｔ时间内的充电功率为Ｐｌｍ，阶段决策指标ｖｎ（ｌ，ｍ）＝（Ｄ（ｎ）＋Ｐｌｍ）２。

从初始状态到第ｎ阶段的状态ｍ，最优指标函数ｆ（ｎ，ｍ）＝ｍｉｎ｛ｌ∈Ｅ（ｎ，ｍ）ｆ（ｎ－１，ｌ）＋ｖｎ（ｌ，ｍ）｝，其中Ｅ（ｎ，ｍ）为指向第ｎ阶段的状态ｍ的所有决策的起始点组成的集合。

３　仿真结果以深圳碧岭站某日的负荷作为测试用的实时负荷。

假设预测负荷与实时负荷相同。

负荷曲线在上午、下午和晚上各有一次负荷高峰，其中前２次为工业用电高峰，第３次属于民用电高峰。

曲线在凌晨、中午、傍晚各有一次负荷低谷，以凌晨时的低谷期最长，负荷值最小。

采用ｉ５－２４１０Ｍ处理器，采用Ｃ＋＋编程。

优化模型的参数如下：Δｔ为５ｍｉｎ，Ｎ＝２８８。

电池容量为２０ＭＷ·ｈ，最大充放电功率为５ＭＷ。

原始负荷数据的方差为２２．７２０　８。

假设００：００时刻电池的状态为０，终止状态Ｓｆｉｎａｌ也取为０。

３．１　基于动态规划的实时优化控制结果３．１．１　充放电次数限制对优化结果的影响假设电池仅执行削峰填谷功能，放电深度限制ＤＯＤ（ｊ）都设为０，电量差Δｓ为０．２ＭＷ×５ｍｉｎ。

不同的充放电次数约束下求得的优化结果如表１所示。

在不同的充放电次数约束下的优化结果曲线如图３所示。

其中，每个子图的上图的虚线为原始负荷曲线，实线为经过储能削峰填谷后的负荷曲线；每个子图的下图表示储能系统出力。

图４中给出了负荷方差随优化阶段的推移由大到小的变化曲线。

表１　不同充放电次数约束下的优化结果Ｔａｂｌｅ　１　Ｒｅｓｕｌｔｓ　ｏｆ　ｄｉｆｆｅｒｅｎｔ　ｃｈａｒｇｅ－ｄｉｓｃｈａｒｇｅ　ｃｙｃｌｅｓ充放电次数负荷方差００：００优化用时／ｍｓ图形１充１放７．５４２　３　１　８７２图４（ａ）２充２放７．２１２　２　４　３８３图４（ｂ）３充３放７．１２８　６６９１０图４（ｃ）４充４放７．１２８　６　９　３４４图４（ｄ）图３　不同充放电次数约束下的优化结果Ｆｉｇ．３　Ｏｐｔｉｍｉｚａｔｉｏｎ　ｒｅｓｕｌｔｓ　ｗｉｔｈ　ｄｉｆｆｅｒｅｎｔ　ｃｏｎｓｔｒａｉｎｔｓ—３１—·绿色电力自动化·　鲍冠南，等　基于动态规划的电池储能系统削峰填谷实时优化图４　负荷方差变化曲线Ｆｉｇ．４　Ｖａｒｉａｎｃｅ　ｃｕｒｖｅｓ可见，通过削峰填谷后的负荷方差比原始负荷方差明显减小。