大数据时代的地铁能耗管理平台
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2. 数字化
通过建设 地 铁 能耗统计与监测平台，实现全路网能耗数据从采集端到管理端全过程数 字 化、自动化、减少人工干预因素。同时实现能耗信息的线网级、线路级、车站级三级管 理，线路级、车站级、就地级三级监测。
3. 智能化
运用大数据等先进技术手段，实现地铁能源管理的智能化。为地铁能源管理策略 制定提 供全面的数据支持，全面提升公司能源管理水平。
可实现TB级数据动态采集、处理和存储管理，目前每天处 理数据1亿条，每日新增数据大小1G。按照远期规划22条 线路，能耗数据存储10年，平台配置了100TB的磁盘阵列 。 为满足后续新线接入及系统升级，配套开发了软件测试 系 统和网络管理系统。
可以支持通用工业数据通信协议（Modbus），实 时数据采集模式（MQ），离线数据采集（FTP） 以 及其他常见的数据接入方式，通过上述多口协 议的 应用，使得大数据平台产品可以更好的集成 轨道交 通行业的数据，从而建立统一的数据仓储 平台，为 用户提供丰富的应用服务
地铁能耗平台-产品选型
针对轨道交通行业多信息系统的现况，大数 据平台从数据采集、数据整合、数据存储、 数据模型、数据分析、可视化展现进行了定 制和优化，使得大数据平台可以支持多通信 协议，对数据进行统一的加工、存储和应用
使得轨道交通行业各系统数据具有统 一的数据结构与标准，实现各个分离 的系统的数据共享，从而找到数据间 的相互联系，对数据挖掘出更有价值 的信息，避免了数据孤岛的出现
大数据时代的地铁能耗管理平台
技术创新，变革未来
目录 Content
1 地铁能耗平台建设背景 2 地铁能耗平台建设目标 3 地铁能和平台建设规划 4 地铁能耗平台产品选型 5 实施过程及系统核心功能 6 能耗平台建设成效 7 能耗平台建设经验总结
大数据时代
• 计算机网络技术不断进步 • 大数据在各领域都得到应用，提升了管理
ETL
数据迁移
实时采集
地铁能耗平台-产品选型
数据中心包含四大子系统：数据采集系统、数据处理系统、数据分析系统、数据输出系统
一个中心
数据采集系统
数据处理系统
数据中心 数据分析系统
数据输出系统
采集、存储多元异构数据
IQ
ISC
运
OS
SБайду номын сангаас
营
……
建立基础数据模型，整合数 据
智能分析、深度学习、AI
数据供给智能应用
水平 • 地铁步入大规模网络化的运营，运维 管
理需要智能化
3
公司基本情况
年客运量超30.82亿人次，安全行车4.62亿车公里；两次延误5分钟以上事故
间平均车公里达到771万车公里。
4
地铁能耗平台-建设背景
为响应国家和北京市节能减排号召，地铁公司建设能耗平台，建立覆盖地铁网各条线路能源计量与管理系统，不仅提升企业能源 管 理信息化、精细化水平，并为提升轨道交通行业信息化水平提供必要的决策支撑。
平台建设采用B/S架构，基于Hadoop分布式集群处理技术，利用其高容错性、高吞吐量等优势，通过多样化的数据接口，从多个数据 源采集数据，进行统一整合，为多个平台与系统提供数据服务。平台产品强大的数据挖掘与分析能力，实现了能耗数据分析与展示， 对地铁能耗进行预测，为制定节能减排的改进方案提供数据支持。
数据中心
数据中心
数据标准 数据质量 数据管理
数据 查询
智能 告警
智能 预测
辅助 解决
能源 报表
大屏 展示
➢ 临时数据层：从各专业源系统抽取而来的数据，加载至临时数据层落地 ➢ 汇总数据层：结合业务标准，从基础数据层进行数据指标汇。 ➢ 基础数据层：建立统一数据模型，对各专业源系统数据进行整合存储。 ➢ 专用数据层：为下游应用提供数据访问和数据支持。
运维平台 用户管理 资源管理 系统监控 部署管理 安全管理 资源调度 日志审计
数据治理平台
API／SDK
用户画像 搜索引擎 推荐引擎
反欺诈
图像识别 语音识别 智能管理
…
数据地图
可视化平台UE
根因分析
关联分析
数据共享 数据质量 数据治理
数据交换汇集
数据洞察Insight
数据集成 数据分析
知识库
知识点
人工智能Miner
大数据历史数据规范，AI相关算法分类、聚类 、 回归等，实现能耗分析、预测、预警，有利 于 更为精细化和动态的测算城市轨道交通能源 消 耗。通过对地铁能耗设备的数据进行机器 学 习和数据挖掘，建立数学模型，分析地铁能 耗 变动因素，预测在不同环境因素下的地铁能 耗 ，深度发掘能耗和相关因数的关联关系，为 决 策提供支撑
北京市
1
重点行业
4
重点单位
N
全市统筹 联动节能 监测服务
平台
设备运行 电能数据 运营数据
地铁能耗统计与监测平台
监测 统计 分析
上报
地铁能耗平台-建设目标
1. 标准
研究构建能耗模型，数据接入标准。面对地铁种类繁多的设施设备，从分类、分项和分户 三个维度构建能耗统计模型，梳理 地 铁 智能表计覆盖原则，制定数据采集接口标准。 使 地铁在未来能耗系统建设、管理、运营的过程中，做到有标准，有规范，有原则。
采集区
MQ
交换区
Flume/FEP
(数据轮询
MQ
与采集)
Kafka MQ
FTP
(实时数据
缓存)
地铁能源管控应用能系统
算法库
模型库
数据挖掘
深度学习
流计算Stream
实时分析 实时数据库
知识库
知识点
Hive Impala Maho
Spar
（SQL
（In-
ut
k
）
memory SQL （
（Mlib
）
MapReduce分布式计算
M LeaacrhniinnegYARN）计算调
HDFS分布式）存 度
储
Pig
（Scripting ）
地铁能耗平台-建设规划
平台规划一个能耗数据中心，三个应用平台，数据统计、大数据分析、碳排放管理等八个功能模块。应用分类、聚类、回归等不同
算法，特别是在能耗大数据挖掘分析和可视化方面做了重点提升。
数据查询 智能告警
八大功能模块
统计分析
电能质量
辅助决策
能源报表
碳排放 智能预测
一个大数据中心
84%
地铁能耗平台-产品选型
地铁能耗平台-系统技术逻辑架构
ETL调度--Automation 监控与管理—Ambari/Ganglia
实时数据
1号线PQSS Modbus Slave
……
非实时数据
ISCS
Modbus Slave
1号线
PQSS Databas
e
……
ISCS
Databas e
小营 信息中心
数据采集与交换
Modbus
通过建设 地 铁 能耗统计与监测平台，实现全路网能耗数据从采集端到管理端全过程数 字 化、自动化、减少人工干预因素。同时实现能耗信息的线网级、线路级、车站级三级管 理，线路级、车站级、就地级三级监测。
3. 智能化
运用大数据等先进技术手段，实现地铁能源管理的智能化。为地铁能源管理策略 制定提 供全面的数据支持，全面提升公司能源管理水平。
可实现TB级数据动态采集、处理和存储管理，目前每天处 理数据1亿条，每日新增数据大小1G。按照远期规划22条 线路，能耗数据存储10年，平台配置了100TB的磁盘阵列 。 为满足后续新线接入及系统升级，配套开发了软件测试 系 统和网络管理系统。
可以支持通用工业数据通信协议（Modbus），实 时数据采集模式（MQ），离线数据采集（FTP） 以 及其他常见的数据接入方式，通过上述多口协 议的 应用，使得大数据平台产品可以更好的集成 轨道交 通行业的数据，从而建立统一的数据仓储 平台，为 用户提供丰富的应用服务
地铁能耗平台-产品选型
针对轨道交通行业多信息系统的现况，大数 据平台从数据采集、数据整合、数据存储、 数据模型、数据分析、可视化展现进行了定 制和优化，使得大数据平台可以支持多通信 协议，对数据进行统一的加工、存储和应用
使得轨道交通行业各系统数据具有统 一的数据结构与标准，实现各个分离 的系统的数据共享，从而找到数据间 的相互联系，对数据挖掘出更有价值 的信息，避免了数据孤岛的出现
大数据时代的地铁能耗管理平台
技术创新，变革未来
目录 Content
1 地铁能耗平台建设背景 2 地铁能耗平台建设目标 3 地铁能和平台建设规划 4 地铁能耗平台产品选型 5 实施过程及系统核心功能 6 能耗平台建设成效 7 能耗平台建设经验总结
大数据时代
• 计算机网络技术不断进步 • 大数据在各领域都得到应用，提升了管理
ETL
数据迁移
实时采集
地铁能耗平台-产品选型
数据中心包含四大子系统：数据采集系统、数据处理系统、数据分析系统、数据输出系统
一个中心
数据采集系统
数据处理系统
数据中心 数据分析系统
数据输出系统
采集、存储多元异构数据
IQ
ISC
运
OS
SБайду номын сангаас
营
……
建立基础数据模型，整合数 据
智能分析、深度学习、AI
数据供给智能应用
水平 • 地铁步入大规模网络化的运营，运维 管
理需要智能化
3
公司基本情况
年客运量超30.82亿人次，安全行车4.62亿车公里；两次延误5分钟以上事故
间平均车公里达到771万车公里。
4
地铁能耗平台-建设背景
为响应国家和北京市节能减排号召，地铁公司建设能耗平台，建立覆盖地铁网各条线路能源计量与管理系统，不仅提升企业能源 管 理信息化、精细化水平，并为提升轨道交通行业信息化水平提供必要的决策支撑。
平台建设采用B/S架构，基于Hadoop分布式集群处理技术，利用其高容错性、高吞吐量等优势，通过多样化的数据接口，从多个数据 源采集数据，进行统一整合，为多个平台与系统提供数据服务。平台产品强大的数据挖掘与分析能力，实现了能耗数据分析与展示， 对地铁能耗进行预测，为制定节能减排的改进方案提供数据支持。
数据中心
数据中心
数据标准 数据质量 数据管理
数据 查询
智能 告警
智能 预测
辅助 解决
能源 报表
大屏 展示
➢ 临时数据层：从各专业源系统抽取而来的数据，加载至临时数据层落地 ➢ 汇总数据层：结合业务标准，从基础数据层进行数据指标汇。 ➢ 基础数据层：建立统一数据模型，对各专业源系统数据进行整合存储。 ➢ 专用数据层：为下游应用提供数据访问和数据支持。
运维平台 用户管理 资源管理 系统监控 部署管理 安全管理 资源调度 日志审计
数据治理平台
API／SDK
用户画像 搜索引擎 推荐引擎
反欺诈
图像识别 语音识别 智能管理
…
数据地图
可视化平台UE
根因分析
关联分析
数据共享 数据质量 数据治理
数据交换汇集
数据洞察Insight
数据集成 数据分析
知识库
知识点
人工智能Miner
大数据历史数据规范，AI相关算法分类、聚类 、 回归等，实现能耗分析、预测、预警，有利 于 更为精细化和动态的测算城市轨道交通能源 消 耗。通过对地铁能耗设备的数据进行机器 学 习和数据挖掘，建立数学模型，分析地铁能 耗 变动因素，预测在不同环境因素下的地铁能 耗 ，深度发掘能耗和相关因数的关联关系，为 决 策提供支撑
北京市
1
重点行业
4
重点单位
N
全市统筹 联动节能 监测服务
平台
设备运行 电能数据 运营数据
地铁能耗统计与监测平台
监测 统计 分析
上报
地铁能耗平台-建设目标
1. 标准
研究构建能耗模型，数据接入标准。面对地铁种类繁多的设施设备，从分类、分项和分户 三个维度构建能耗统计模型，梳理 地 铁 智能表计覆盖原则，制定数据采集接口标准。 使 地铁在未来能耗系统建设、管理、运营的过程中，做到有标准，有规范，有原则。
采集区
MQ
交换区
Flume/FEP
(数据轮询
MQ
与采集)
Kafka MQ
FTP
(实时数据
缓存)
地铁能源管控应用能系统
算法库
模型库
数据挖掘
深度学习
流计算Stream
实时分析 实时数据库
知识库
知识点
Hive Impala Maho
Spar
（SQL
（In-
ut
k
）
memory SQL （
（Mlib
）
MapReduce分布式计算
M LeaacrhniinnegYARN）计算调
HDFS分布式）存 度
储
Pig
（Scripting ）
地铁能耗平台-建设规划
平台规划一个能耗数据中心，三个应用平台，数据统计、大数据分析、碳排放管理等八个功能模块。应用分类、聚类、回归等不同
算法，特别是在能耗大数据挖掘分析和可视化方面做了重点提升。
数据查询 智能告警
八大功能模块
统计分析
电能质量
辅助决策
能源报表
碳排放 智能预测
一个大数据中心
84%
地铁能耗平台-产品选型
地铁能耗平台-系统技术逻辑架构
ETL调度--Automation 监控与管理—Ambari/Ganglia
实时数据
1号线PQSS Modbus Slave
……
非实时数据
ISCS
Modbus Slave
1号线
PQSS Databas
e
……
ISCS
Databas e
小营 信息中心
数据采集与交换
Modbus