电网业务中的海量数据存储技术
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Ｋｅ ｙ ｗｏｒ ｄｓ ： ｐｏ ｗｅ ｒ ｇ ｒ ｉ ｄ ｓ ｅ ｖｉ ｒ ｃ ｅ ｓ ； ｍａ ｓ ｓ ｉ ｖ ｅ — ｄ ａ ｔ ａ ； ｄ ｉ ｓ ｔ ｒ ｉ ｂ ｕ ｔ ｅ ｄ ｓ ｔ ｏ ｒ ａ ｇ ｅ ； ａ ｃ ｃ ｅ ｓ ｓ ｃ ｏ ｎ ｔ ｒ ｏ ｌ
随着智 能电网建设的不断推进与各行 业对 电力依
ＬＩ Ｐｅ ｉ ． Ｊ ｕ ｎ １ ， ２ ＬＶ Ｌｉ ＬＩ Ｘｉ — Ｗａ ｎ ｇ ２ ＭＡ Ｃｕ ｎ ， 一
， ，
Ｙ Ｕ Ｘｉ — Ｑ ｉ ｎ ｇ ， 。
（ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ｏ ｆ Ｃ ｈ ｉ ｎ ｅ ｓ ｅ Ａ ｃ ａ ｄ ｅ ｍｙ ｏ ｆ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ｓ ， Ｂ ｅ ｉ ｊ ｉ ｎ ｇ １ ０ ０ ０ ４ ９ ， Ｃ ｈ ｉ ｎ ａ ） （ Ｓ ｈ ｅ ｎ ｙ ａ ｎ ｇ Ｉ ｎ ｓ ｔ ｉ ｔ ｕ ｔ ｅ ｏ ｆ Ｃ ｏ ｍｐ ｕ ｔ ｉ ｎ ｇ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ ｏ ｆ Ｃ ｈ ｉ ｎ ｅ ｓ ｅ Ａｃ ａ ｄ ｅ ｍｙ ｏ ｆ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ｓ ， Ｓ ｈ ｅ ｎ ｙ ａ ｎ ｇ １ １ ０ １ ６ ８ ， Ｃ ｈ ｉ ｎ ａ ）
式存储 已难 以满足各项业 务与 电网管理 的需要．目前 ，
海量 数据存储系统 的数据 都是通过分布式文件系 统实 现 的，但是通用 的存储装 置并不 能合 理解决 当前 电网
赖 度 的不 断增加，导致 电网运行过程 中产生 的数据量 成 指数级增长，并 已经逐渐 成为广受关注 的海量数 据，
ｄａ ｔ ａ ｂ ａ ｓ ｅ ｏ ｆ ｌ ａ ｒ ｇ ｅ — ｓ ｃ ａ ｌ ｅ Ｐｏ ｗｅ ｒ Ｇｒ ｉ ｄ ｓ ｔ ｏ ｒ ａ ｇ ｅ ｔ ｅ ｃ ｈ ｎｏ ｌ ｏ ｇ ｙ ｉ ｓ ｄ ｉ ｉｃ ｆ ｕｌ ｔ ｔ ｏ ｍｅ ｅ ｔ ｔ ｈ ｅ ｄ ｅ ｍａ ｎ ｄ ｏ ｆ ｅ ａ ｃ ｈ ｓ ｅ ｖｉ ｒ ｃ ｅ ａ ｎ ｄ ｍａ ｎ ａ ｇ ｅ ｍｅ ｎ ｔ ．
摘
பைடு நூலகம்
要 ：随着 电网业 务 中海量 数据 的增 多， 其 所采用 的集 中式数据 库或大 电网统一数据库 的数据 存储方式 已难
以满足 电网业 务与管理 的需要．本文首先着 重分析 了 电网业 务 中的数据类 型与特 性，然后在综合 考虑 国家 电网 当前 旧设备与通信 网络结 构的基础 上， 提 出 了一种适 用于 电网业务 的分 布式存储方 案，并对其数 据访 问控 制进
Ａｂ ｓ ｔ ｒ ａ ｃ ｔ ：Ｗ ｉ ｔ ｈ ｔ ｈ ｅ ｉ ｎｃ ｒ ｅ ａ ｓ ｉ ｎ ｇ ｏ ｆ ｍａ ｓ ｓ ｉ ｖ ｅ — ｄ ａ ｔ ａ ｉ ｎ Ｐｏ ｗｅ ｒ Ｇｒ ｉ ｄ ｓ ｅ ｒ ｖ ｉ ｃ ｅ ｓ ， ｗｈ ｉ ｃ ｈ ｕｓ ｅ ｄ ｔ ｈ ｅ ｃ ｅ ｎ ｔ ｒ ａ ｌ ｉ ｚ ｅ ｄ ｄ ａ ｔ ａ ｂ ａ ｓ ｅ ｏ ｒ ｕ ｎ ｉ ｉｅ ｆ ｄ
Ｇｒ ｉｄ ｃ ｕ ｒ ｒ ｅ ｎ ｔ ｓ ｔ ｒ ｕ ｃ ｔ ｕ ｒ ｅ ｏ ｆ ｏｌ ｄ ｅ ｑ ｕｉ ｐ ｍｅ ｎ ｔ ａ ｎ ｄ ｃ ｏ ｍｍｕ ｎｉ ｃ ａ ｔ ｉ ｏ ｎ ｎ ｅ ｔ ｗｏ ｒ ｋｓ ，ｔ ｈ ｅ ｎ ｂａ ｓ ｅ ｄ ｏ ｎ ｔ ｈ ａ ｔ ，ｗｅ ｐ ｒ ｏ ｐ ｏｓ ｅ ａ ｄ ｉ ｓ ｔ ｒ ｉ ｂ ｕ ｔ ｅ ｄ ｓ ｔ ｏ ｒ ａ ｇ ｅ ｓ ｏ ｌ ｕ ｔ ｉ ｏ ｎｓ ｔ ｈａ ｔ ａ ｐ ｐｌ ｉ ｅ ｄ ｔ ｏ Ｐｏ ｗｅ ｒ Ｇｒ ｉｄ Ｓ ｅ ｒ ｖ ｉ ｃ ｅ ｓ ， ａ ｎ ｄ ａ ｌ ｓ ｏ ｄ ｅ ｓ ｉ ｇ ｎ ｔ ｈ ｅ ｄ ａ ｔ ａ ａ ｃ ｃ ｅ ｓ ｓ ｃ ｏ ｎ ｔ ｒ ｏ ｌ ；ｆ ｉｎ ａ ｌ ｌ ｙ ， ｗｅ ｃ ａ ｒ ｒ ｙ ｏ ｎ ａ ｎ ｉ ｎ ｉ ｔ ｉ ａ ｌ ｖａ ｌ ｉ ｄ ａ ｔ ｉ ｏ ｎ ａ ｎｄ ｃ ｏ ｍｐａ ｒ ａ ｔ ｉ ｖｅ ａ ｎａ ｌ ｙ ｓ ｉ ｓ ．
Ｆｉ ｒ ｓ ｔ ｌ ｙ ，ｔ ｈ ｅ ｐ ａ ｐ ｅ ｒ ｆ ｏ ｃ ｕｓ ｅ ｓ ｏ ｎ ａ ｎ ａ ｌ ｙ ｓ ｉ ｓ ｏ ｆ ｄ ａ ｔ ａ ｔ ｙ ｐｅ ａ ｎ ｄ ｃ ｈ ａ ｒ ａ ｃ ｔ ｅ ｒ ｉ ｓ ｔ ｉ ｃ ｓ ｉ ｎ ｈｅ ｔ Ｐｏ ｗｅ ｒ Ｇｒ ｉ ｄ ｓ ｅ ｒ ｖ ｉ ｃ ｅ ｓ ，ｉ ｎ ｔ ｅ ｇ ｒ ａ ｔ ｅ ｄ ｔ ｈ ｅ Ｓ ｔ ａ ｔ ｅ
计 算 机 系 统 应 用
ｈ ｔ ｔ ｐ ： ｌ ｌ ｗ ￣ ． ｃ － Ｓ — ａ ． ｏ 唱． ｃ ｎ
２ ０ １ ４年 第 ２ ３卷 第 ４ 期
电网业务 中的海量数据存储技术①
李培军 １ ， ２ ，１ ７ 口 ｑ 立 ，李喜 旺 ， 马 存 ， 一 ， 于喜清 ，
（ 中国科 学院大学，北京 １ ０ ０ ０ ４ ９ ） （ 中 国科学院沈阳计算技术研究所，沈 阳 １ １ ０ １ ６ ８ ）
行 了设计；最后， 进行 了初步验证 与对 比分析 ．
关键词：电网业务；海量数据；分布 式存储 ： 访 问控制
Ｍａ ｓ ｓ ｉ ｖｅ — ｄａ ｔ ａ Ｓ ｔ ｏ ｒ ａ ｇ ｅ Ｔ ｅ ｃ ｈｎ ｏ ｌ ｏ ｇ ｙ ｉ ｎ Ｐｏ ｗｅ ｒ Ｇｒ ｉ ｄ Ｓｅ ｒ ｖｉ ｃ ｅ ｓ
同时 国家 电 网公司各 部 门开始 追求精益化 管理 其 目
随着智 能电网建设的不断推进与各行 业对 电力依
ＬＩ Ｐｅ ｉ ． Ｊ ｕ ｎ １ ， ２ ＬＶ Ｌｉ ＬＩ Ｘｉ — Ｗａ ｎ ｇ ２ ＭＡ Ｃｕ ｎ ， 一
， ，
Ｙ Ｕ Ｘｉ — Ｑ ｉ ｎ ｇ ， 。
（ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ｏ ｆ Ｃ ｈ ｉ ｎ ｅ ｓ ｅ Ａ ｃ ａ ｄ ｅ ｍｙ ｏ ｆ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ｓ ， Ｂ ｅ ｉ ｊ ｉ ｎ ｇ １ ０ ０ ０ ４ ９ ， Ｃ ｈ ｉ ｎ ａ ） （ Ｓ ｈ ｅ ｎ ｙ ａ ｎ ｇ Ｉ ｎ ｓ ｔ ｉ ｔ ｕ ｔ ｅ ｏ ｆ Ｃ ｏ ｍｐ ｕ ｔ ｉ ｎ ｇ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ ｏ ｆ Ｃ ｈ ｉ ｎ ｅ ｓ ｅ Ａｃ ａ ｄ ｅ ｍｙ ｏ ｆ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ｓ ， Ｓ ｈ ｅ ｎ ｙ ａ ｎ ｇ １ １ ０ １ ６ ８ ， Ｃ ｈ ｉ ｎ ａ ）
式存储 已难 以满足各项业 务与 电网管理 的需要．目前 ，
海量 数据存储系统 的数据 都是通过分布式文件系 统实 现 的，但是通用 的存储装 置并不 能合 理解决 当前 电网
赖 度 的不 断增加，导致 电网运行过程 中产生 的数据量 成 指数级增长，并 已经逐渐 成为广受关注 的海量数 据，
ｄａ ｔ ａ ｂ ａ ｓ ｅ ｏ ｆ ｌ ａ ｒ ｇ ｅ — ｓ ｃ ａ ｌ ｅ Ｐｏ ｗｅ ｒ Ｇｒ ｉ ｄ ｓ ｔ ｏ ｒ ａ ｇ ｅ ｔ ｅ ｃ ｈ ｎｏ ｌ ｏ ｇ ｙ ｉ ｓ ｄ ｉ ｉｃ ｆ ｕｌ ｔ ｔ ｏ ｍｅ ｅ ｔ ｔ ｈ ｅ ｄ ｅ ｍａ ｎ ｄ ｏ ｆ ｅ ａ ｃ ｈ ｓ ｅ ｖｉ ｒ ｃ ｅ ａ ｎ ｄ ｍａ ｎ ａ ｇ ｅ ｍｅ ｎ ｔ ．
摘
பைடு நூலகம்
要 ：随着 电网业 务 中海量 数据 的增 多， 其 所采用 的集 中式数据 库或大 电网统一数据库 的数据 存储方式 已难
以满足 电网业 务与管理 的需要．本文首先着 重分析 了 电网业 务 中的数据类 型与特 性，然后在综合 考虑 国家 电网 当前 旧设备与通信 网络结 构的基础 上， 提 出 了一种适 用于 电网业务 的分 布式存储方 案，并对其数 据访 问控 制进
Ａｂ ｓ ｔ ｒ ａ ｃ ｔ ：Ｗ ｉ ｔ ｈ ｔ ｈ ｅ ｉ ｎｃ ｒ ｅ ａ ｓ ｉ ｎ ｇ ｏ ｆ ｍａ ｓ ｓ ｉ ｖ ｅ — ｄ ａ ｔ ａ ｉ ｎ Ｐｏ ｗｅ ｒ Ｇｒ ｉ ｄ ｓ ｅ ｒ ｖ ｉ ｃ ｅ ｓ ， ｗｈ ｉ ｃ ｈ ｕｓ ｅ ｄ ｔ ｈ ｅ ｃ ｅ ｎ ｔ ｒ ａ ｌ ｉ ｚ ｅ ｄ ｄ ａ ｔ ａ ｂ ａ ｓ ｅ ｏ ｒ ｕ ｎ ｉ ｉｅ ｆ ｄ
Ｇｒ ｉｄ ｃ ｕ ｒ ｒ ｅ ｎ ｔ ｓ ｔ ｒ ｕ ｃ ｔ ｕ ｒ ｅ ｏ ｆ ｏｌ ｄ ｅ ｑ ｕｉ ｐ ｍｅ ｎ ｔ ａ ｎ ｄ ｃ ｏ ｍｍｕ ｎｉ ｃ ａ ｔ ｉ ｏ ｎ ｎ ｅ ｔ ｗｏ ｒ ｋｓ ，ｔ ｈ ｅ ｎ ｂａ ｓ ｅ ｄ ｏ ｎ ｔ ｈ ａ ｔ ，ｗｅ ｐ ｒ ｏ ｐ ｏｓ ｅ ａ ｄ ｉ ｓ ｔ ｒ ｉ ｂ ｕ ｔ ｅ ｄ ｓ ｔ ｏ ｒ ａ ｇ ｅ ｓ ｏ ｌ ｕ ｔ ｉ ｏ ｎｓ ｔ ｈａ ｔ ａ ｐ ｐｌ ｉ ｅ ｄ ｔ ｏ Ｐｏ ｗｅ ｒ Ｇｒ ｉｄ Ｓ ｅ ｒ ｖ ｉ ｃ ｅ ｓ ， ａ ｎ ｄ ａ ｌ ｓ ｏ ｄ ｅ ｓ ｉ ｇ ｎ ｔ ｈ ｅ ｄ ａ ｔ ａ ａ ｃ ｃ ｅ ｓ ｓ ｃ ｏ ｎ ｔ ｒ ｏ ｌ ；ｆ ｉｎ ａ ｌ ｌ ｙ ， ｗｅ ｃ ａ ｒ ｒ ｙ ｏ ｎ ａ ｎ ｉ ｎ ｉ ｔ ｉ ａ ｌ ｖａ ｌ ｉ ｄ ａ ｔ ｉ ｏ ｎ ａ ｎｄ ｃ ｏ ｍｐａ ｒ ａ ｔ ｉ ｖｅ ａ ｎａ ｌ ｙ ｓ ｉ ｓ ．
Ｆｉ ｒ ｓ ｔ ｌ ｙ ，ｔ ｈ ｅ ｐ ａ ｐ ｅ ｒ ｆ ｏ ｃ ｕｓ ｅ ｓ ｏ ｎ ａ ｎ ａ ｌ ｙ ｓ ｉ ｓ ｏ ｆ ｄ ａ ｔ ａ ｔ ｙ ｐｅ ａ ｎ ｄ ｃ ｈ ａ ｒ ａ ｃ ｔ ｅ ｒ ｉ ｓ ｔ ｉ ｃ ｓ ｉ ｎ ｈｅ ｔ Ｐｏ ｗｅ ｒ Ｇｒ ｉ ｄ ｓ ｅ ｒ ｖ ｉ ｃ ｅ ｓ ，ｉ ｎ ｔ ｅ ｇ ｒ ａ ｔ ｅ ｄ ｔ ｈ ｅ Ｓ ｔ ａ ｔ ｅ
计 算 机 系 统 应 用
ｈ ｔ ｔ ｐ ： ｌ ｌ ｗ ￣ ． ｃ － Ｓ — ａ ． ｏ 唱． ｃ ｎ
２ ０ １ ４年 第 ２ ３卷 第 ４ 期
电网业务 中的海量数据存储技术①
李培军 １ ， ２ ，１ ７ 口 ｑ 立 ，李喜 旺 ， 马 存 ， 一 ， 于喜清 ，
（ 中国科 学院大学，北京 １ ０ ０ ０ ４ ９ ） （ 中 国科学院沈阳计算技术研究所，沈 阳 １ １ ０ １ ６ ８ ）
行 了设计；最后， 进行 了初步验证 与对 比分析 ．
关键词：电网业务；海量数据；分布 式存储 ： 访 问控制
Ｍａ ｓ ｓ ｉ ｖｅ — ｄａ ｔ ａ Ｓ ｔ ｏ ｒ ａ ｇ ｅ Ｔ ｅ ｃ ｈｎ ｏ ｌ ｏ ｇ ｙ ｉ ｎ Ｐｏ ｗｅ ｒ Ｇｒ ｉ ｄ Ｓｅ ｒ ｖｉ ｃ ｅ ｓ
同时 国家 电 网公司各 部 门开始 追求精益化 管理 其 目