基于Spark大数据平台的风功率预测模型研究
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
２ ０ １ ７年 ｌ ２月 第 ２ ０卷 第 １ ２期
Ｄｅ ｃ ｅ ｍｂｅ ｒ ． ２ ０１ ７，Ｖｏ １ ． ２ ０，Ｎｏ ．１ ２
电力 大 数 据
Ｐ ｏＷ ＥＲ Ｓ ＹＳ Ｔ ＥＭ Ｓ ＡＮＤ ＢＩ Ｇ ＤＡＴＡ
电 网技 术
Ｐ ｏ ｗ ｅ ｒ Ｇｒ ｉ ｄ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ
１ Ｓ ｐ ａ ｒ ｋ大数 据平 台简介
Ｓ ｐ ａ ｒ ｋ云 计 算 技 术 是 对 现 有 云 计 算 的改 进 ， 它
Ｓ ｐ ａ ｒ ｋ中的应用 ， 都是 由若 干驱动程序 组成 ， 这些 驱动程序都运行使用者用户构建的 ｍ ａ ｉ ｎ函数内， 使 其 能够 在 一 个 计算 集 群 上 进行 不 同的 的并 行操 作 。
Ｓ ｐ ａ ｒ ｋ
误差作为各个神经网络的权重的决策参数， 得到最终
的预测结 果 。将 改进 的算 法 称为 将该 方 法成 为基 于 Ｓ ｐ ａ ｒ ｋ的菌群一 神经 网络算 法 （ Ｂ Ｃ Ｏ— Ｎ Ｎ） 。
Ｄ丑 ｔ ａ
ｐｌ ＇ ｏ￣ ｃ ￥ ￥ ｜ ｎｇ
ｌ 叫
Ｔ ａ ｚ ｈ ｙ ｌ
Ａｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ
￣ ｔ ｙｌ ｔ ｒ ｉ ｔ ｏ『 ｘ Ｍ ＬＢ－ ｌ ＂ｋ
参数 。之 后通过 测 试数 据集 对 整个 菌群 一神 经 网络 进 行衡量 ， 将 神经 网络 的预测结果 的精确 度和均方 根
Ｂ ｔ ｅ － ｍ ｔ ｎ ■
ｆ ｑ 百度文库‘ 。 。
优 化算 法与神 经网络 算法结合提 高风 电功 率预测 的能力。
关键词 ： 风电 ； 大数 据 ； 电力 ； Ｓ ｐ ａ ｒ ｋ
文章编号 ： ２ ０ ９ ６— ４ ６ ３ ３ （ ２ ０ １ ７ ） １ ２— ０ ０ ０ １— ０ ３ 中图分类号 ： Ｔ Ｐ ３ １ 文献标 志码 ： Ｂ
中 间数据 进行 存储 或 者放 弃 。并 行化 设 计 主要包 括
三部分 ， 数 据分 区 、 任 务并 行 和 结果 决策 。数 据分 区 是 在算法 开始阶段 ， 将输 入数据集 按照一 定 的规则 进 行分区， 作 为多个 菌群一 神经 网络 的输入 训练数 据集 和测试数 据集 。随之 每一 个 神经 网络 并 行进 行数 据
统 的数据 源 ， 包括 Ｈ Ｄ Ｆ Ｓ 、 Ｈｂ ａ ｓ ｅ和 Ｃ ａ ｓ ｓ ａ ｎ ｄ ｒ ａ ； Ａ Ｐ Ｉ 是 操作 Ｓ ｐ ａ ｒ ｋ的接 口， 可 以通 过 调 用 对应 的 Ａ Ｐ Ｉ实 现
对输人数据流的操作转变为对 Ｒ Ｄ Ｄ的操作， 之后可
以将 Ｒ Ｄ Ｄ获 得 的输 出结 果储存在外 部存储 中。整个 计 算过程 会一直产 生 中间数据 ， 可 以根据 具体需 要将
Ｓ ｐ ａ ｒ ｋ平 台 所 有 操 作 和 调 度 的 入 口 为
在 速度 、 易 用性 和复 杂 分 析 构 建 方 面 较 现有 云计 算
Ｓ ｐ ａ ｒ ｋ Ｃ ｏ ｎ ｔ ｅ ｘ ｔ， 因 而 驱 动 程 序 都 要 通 过
Ｓ ｐ ａ ｒ ｋ Ｃ ｏ ｎ ｔ ｅ ｘ ｔ 来 对 Ｓ ｐ ａ ｒ ｋ进 行 操 作 和 调 度 ，在
训练和测 试 ， 迭代规定 次数之后获 得神经 网络 的相关
Ｓ ｐ ａ ｒ ｋ的 编 程 ， Ｓ ｐ ａ ｒ ｋ主要 提供 了 Ｓ ｃ ａ ｌ ａ 、 Ｊ ａ ｖ ａ 和
Ｐ ｙ ｔ ｈ ｏ ｎ三种 编程语 言 的 Ａ Ｐ Ｉ ， 其 中又 以 Ｓ ｃ ａ ｌ ａ为 主 ；
Ｓ ｐ ａ ｒ ｋ是 一个 完 整 计 算 框 架 ， 既 可 以部 署 在 一 个 服 务 器上也 可 以部署 在 分布式 计 算框 架上 。 …
Ｈ Ｄ ＦＳ ， Ｈｉｄ 口０ 口Ｓ ｔ ￣ｒ ｑｔ
口
用 的并行 框 架 ， 运用 Ｓ ｐ ａ ｒ ｋ平 台主要是为 了实现大规
模 数据 的并行化 。Ｓ ｐ ａ ｒ ｋ进行 分布式计算 时首先需要 通过 Ｓ ｔ ｒ ｅ ａ ｍ ｉ ｎ ｇ是将 输入数据分 解成一个个批处 理 片 段 然后再 将 这 些 数 据段 都 转 换成 Ｓ ｐ ａ ｒ ｋ中 的 Ｒ Ｄ Ｄ 。
计算 平 台 ， 因 而 它 具 有 Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ的所 有 优 点 ， 但
是因为 Ｓ ｐ ａ ｒ ｋ是基于 内存 的计算 ， 其 中间输 出和结 果都 是保 存 在在 内存 中 ， 不需 要 对 Ｈ Ｄ Ｆ Ｓ进 行 操 作
大大 减少 了 运算 所 需 的时 间 ， Ｓ ｐ ａ ｒ ｋ包 括 主要 的 三 个组 件 ， 数 据 存储 、 Ａ Ｐ Ｉ 和资 源管 理 。数 据 存储 指 的 是Ｓ ｐ ａ ｒ ｋ能够 兼 容 Ｈ ａ ｄ ｏ ｏ ｐ的 Ｈ Ｄ Ｆ Ｓ分 布式 存 储 系
框架有很大程度提高。因为 Ｓ ｐ ａ ｒ ｋ是基于内存的计
算方 式 ， 所 以运算 速 度 快使 其最 为 明显 的优 势。
Ｓ ｐ ａ ｒ ｋ最 开始 由加 州 大 学 伯 克利 分 校 的 Ａ ＭＰ Ｌ ａ ｂ实 验室 设计 开发 的开发 ， 并于 ２ ０ １ ０年 成 为 Ａ ｐ ａ ｃ ｈ ｅ公
司 开源 项 目一 部 分 。Ｓ ｐ ａ ｒ ｋ框 架 是 基 于 Ｈ ａ ｄ ｏ ｏ ｐ云
进 行 初 始 化 时 能够进 行Ｄ Ａ Ｇ Ｓ ｃ ｈ ｅ ｄ ｕ ｌ ｅ ｒ作业 的 调度 和 Ｔ ａ ｓ ｋ Ｓ ｃ ｈ ｅ ｄ ｕ ｌ ｅ ｒ 任 务 的调 度 。Ｓ ｐ ａ ｒ ｋ是 一种 通
基于 Ｓ ｐ ａ ｒ ｋ大 数 据 平 台 的 风 功 率 预 测 模 型 研 究
赵 志鹏 ， 张海超
（ 辽宁大唐 国际新 能源有 限公 司 ， 辽 宁 沈 阳 １ １ ０ ０ １ ６ ）
摘 要： 引入 Ｓ ｐ ａ ｒ ｋ云计算技 术进 行并行化计算 ， 提 高处理大规模数据 的能力。改进传 统 Ｂ Ｐ神 经网络算 法， 将菌群
Ｄｅ ｃ ｅ ｍｂｅ ｒ ． ２ ０１ ７，Ｖｏ １ ． ２ ０，Ｎｏ ．１ ２
电力 大 数 据
Ｐ ｏＷ ＥＲ Ｓ ＹＳ Ｔ ＥＭ Ｓ ＡＮＤ ＢＩ Ｇ ＤＡＴＡ
电 网技 术
Ｐ ｏ ｗ ｅ ｒ Ｇｒ ｉ ｄ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ
１ Ｓ ｐ ａ ｒ ｋ大数 据平 台简介
Ｓ ｐ ａ ｒ ｋ云 计 算 技 术 是 对 现 有 云 计 算 的改 进 ， 它
Ｓ ｐ ａ ｒ ｋ中的应用 ， 都是 由若 干驱动程序 组成 ， 这些 驱动程序都运行使用者用户构建的 ｍ ａ ｉ ｎ函数内， 使 其 能够 在 一 个 计算 集 群 上 进行 不 同的 的并 行操 作 。
Ｓ ｐ ａ ｒ ｋ
误差作为各个神经网络的权重的决策参数， 得到最终
的预测结 果 。将 改进 的算 法 称为 将该 方 法成 为基 于 Ｓ ｐ ａ ｒ ｋ的菌群一 神经 网络算 法 （ Ｂ Ｃ Ｏ— Ｎ Ｎ） 。
Ｄ丑 ｔ ａ
ｐｌ ＇ ｏ￣ ｃ ￥ ￥ ｜ ｎｇ
ｌ 叫
Ｔ ａ ｚ ｈ ｙ ｌ
Ａｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ
￣ ｔ ｙｌ ｔ ｒ ｉ ｔ ｏ『 ｘ Ｍ ＬＢ－ ｌ ＂ｋ
参数 。之 后通过 测 试数 据集 对 整个 菌群 一神 经 网络 进 行衡量 ， 将 神经 网络 的预测结果 的精确 度和均方 根
Ｂ ｔ ｅ － ｍ ｔ ｎ ■
ｆ ｑ 百度文库‘ 。 。
优 化算 法与神 经网络 算法结合提 高风 电功 率预测 的能力。
关键词 ： 风电 ； 大数 据 ； 电力 ； Ｓ ｐ ａ ｒ ｋ
文章编号 ： ２ ０ ９ ６— ４ ６ ３ ３ （ ２ ０ １ ７ ） １ ２— ０ ０ ０ １— ０ ３ 中图分类号 ： Ｔ Ｐ ３ １ 文献标 志码 ： Ｂ
中 间数据 进行 存储 或 者放 弃 。并 行化 设 计 主要包 括
三部分 ， 数 据分 区 、 任 务并 行 和 结果 决策 。数 据分 区 是 在算法 开始阶段 ， 将输 入数据集 按照一 定 的规则 进 行分区， 作 为多个 菌群一 神经 网络 的输入 训练数 据集 和测试数 据集 。随之 每一 个 神经 网络 并 行进 行数 据
统 的数据 源 ， 包括 Ｈ Ｄ Ｆ Ｓ 、 Ｈｂ ａ ｓ ｅ和 Ｃ ａ ｓ ｓ ａ ｎ ｄ ｒ ａ ； Ａ Ｐ Ｉ 是 操作 Ｓ ｐ ａ ｒ ｋ的接 口， 可 以通 过 调 用 对应 的 Ａ Ｐ Ｉ实 现
对输人数据流的操作转变为对 Ｒ Ｄ Ｄ的操作， 之后可
以将 Ｒ Ｄ Ｄ获 得 的输 出结 果储存在外 部存储 中。整个 计 算过程 会一直产 生 中间数据 ， 可 以根据 具体需 要将
Ｓ ｐ ａ ｒ ｋ平 台 所 有 操 作 和 调 度 的 入 口 为
在 速度 、 易 用性 和复 杂 分 析 构 建 方 面 较 现有 云计 算
Ｓ ｐ ａ ｒ ｋ Ｃ ｏ ｎ ｔ ｅ ｘ ｔ， 因 而 驱 动 程 序 都 要 通 过
Ｓ ｐ ａ ｒ ｋ Ｃ ｏ ｎ ｔ ｅ ｘ ｔ 来 对 Ｓ ｐ ａ ｒ ｋ进 行 操 作 和 调 度 ，在
训练和测 试 ， 迭代规定 次数之后获 得神经 网络 的相关
Ｓ ｐ ａ ｒ ｋ的 编 程 ， Ｓ ｐ ａ ｒ ｋ主要 提供 了 Ｓ ｃ ａ ｌ ａ 、 Ｊ ａ ｖ ａ 和
Ｐ ｙ ｔ ｈ ｏ ｎ三种 编程语 言 的 Ａ Ｐ Ｉ ， 其 中又 以 Ｓ ｃ ａ ｌ ａ为 主 ；
Ｓ ｐ ａ ｒ ｋ是 一个 完 整 计 算 框 架 ， 既 可 以部 署 在 一 个 服 务 器上也 可 以部署 在 分布式 计 算框 架上 。 …
Ｈ Ｄ ＦＳ ， Ｈｉｄ 口０ 口Ｓ ｔ ￣ｒ ｑｔ
口
用 的并行 框 架 ， 运用 Ｓ ｐ ａ ｒ ｋ平 台主要是为 了实现大规
模 数据 的并行化 。Ｓ ｐ ａ ｒ ｋ进行 分布式计算 时首先需要 通过 Ｓ ｔ ｒ ｅ ａ ｍ ｉ ｎ ｇ是将 输入数据分 解成一个个批处 理 片 段 然后再 将 这 些 数 据段 都 转 换成 Ｓ ｐ ａ ｒ ｋ中 的 Ｒ Ｄ Ｄ 。
计算 平 台 ， 因 而 它 具 有 Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ的所 有 优 点 ， 但
是因为 Ｓ ｐ ａ ｒ ｋ是基于 内存 的计算 ， 其 中间输 出和结 果都 是保 存 在在 内存 中 ， 不需 要 对 Ｈ Ｄ Ｆ Ｓ进 行 操 作
大大 减少 了 运算 所 需 的时 间 ， Ｓ ｐ ａ ｒ ｋ包 括 主要 的 三 个组 件 ， 数 据 存储 、 Ａ Ｐ Ｉ 和资 源管 理 。数 据 存储 指 的 是Ｓ ｐ ａ ｒ ｋ能够 兼 容 Ｈ ａ ｄ ｏ ｏ ｐ的 Ｈ Ｄ Ｆ Ｓ分 布式 存 储 系
框架有很大程度提高。因为 Ｓ ｐ ａ ｒ ｋ是基于内存的计
算方 式 ， 所 以运算 速 度 快使 其最 为 明显 的优 势。
Ｓ ｐ ａ ｒ ｋ最 开始 由加 州 大 学 伯 克利 分 校 的 Ａ ＭＰ Ｌ ａ ｂ实 验室 设计 开发 的开发 ， 并于 ２ ０ １ ０年 成 为 Ａ ｐ ａ ｃ ｈ ｅ公
司 开源 项 目一 部 分 。Ｓ ｐ ａ ｒ ｋ框 架 是 基 于 Ｈ ａ ｄ ｏ ｏ ｐ云
进 行 初 始 化 时 能够进 行Ｄ Ａ Ｇ Ｓ ｃ ｈ ｅ ｄ ｕ ｌ ｅ ｒ作业 的 调度 和 Ｔ ａ ｓ ｋ Ｓ ｃ ｈ ｅ ｄ ｕ ｌ ｅ ｒ 任 务 的调 度 。Ｓ ｐ ａ ｒ ｋ是 一种 通
基于 Ｓ ｐ ａ ｒ ｋ大 数 据 平 台 的 风 功 率 预 测 模 型 研 究
赵 志鹏 ， 张海超
（ 辽宁大唐 国际新 能源有 限公 司 ， 辽 宁 沈 阳 １ １ ０ ０ １ ６ ）
摘 要： 引入 Ｓ ｐ ａ ｒ ｋ云计算技 术进 行并行化计算 ， 提 高处理大规模数据 的能力。改进传 统 Ｂ Ｐ神 经网络算 法， 将菌群