以云计算技术构建环境数据中心
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
三、环境数据中心技术架构
2. 基于Web Service的数据调用机制
➢ Web Services是指以一种松散的服务捆绑 集合形式,能够快速、低代价地开发、发 布、发现和动态绑定应用;
➢ Web Services可以实现应用程序之间的函 数或方法级的集成。
三、环境数据中心技术架构
3. 基于XML的数据交换规范
➢ ETL过程是环境数据中心建设的关键步骤,利 用ETL工具实现各业务的异构数据库系统和文 本、电子表格等文件系统格式的数据整合和集 成,并针对具体的每个分系统编写具体的数据 转换代码,来一起完成从原始数据采集、错误 数据清理、异构数据整合、数据结构转换、数 据转储和数据定期刷新的全部过程。
三、环境数据中心技术架构
➢ XML是一种数据交换格式,允许在不同的系统 或应用程序之间交换数据,通过一种网络化的 处理机构来遍历数据,每个网络节点存储或处 理数据并且将结果传输给相邻的节点;
➢ 是一组用于设计数据格式和结构的规则和方法, 易于生成便于不同的计算机和应用程序读取的 数据文件。
三、环境数据中心技术架构
4. 基于ETL过程实现数据的有效整合
共享和综合利用,解决“信息孤岛”问题。通过虚拟
化与云计算技术,实现IT资源的按需动态分配,并将
各种计算资源以服务的形式提供给业务系统,解决“
资源孤岛”问题,节约大量投资,减少系统运行成本
。
2
以云计算技术构建环境数据中心
引言
➢随着我国经济的高速发展,环境质量整体恶化,污染 物排放总量居高不下,大大超出环境容量。
六、云计算环境数据中心的应用意义
相较传统的业务系统建设和环境数据应用模 式,云计算环境数据中心具有如下的优势:
1. 提供集中化、基于策略的环境数据和IT资源管理模 式,节约了系统管理成本和人力投资;
2. 将IT基础资源虚拟化,可智能的调配IT资源来支持 环境业务系统的运行,既能快速应对业务需求变化, 又能最大化利用IT基础资源,减少软硬件的重复采 购投资;
四川环境信息资源中心建设总体 思路探讨
——以云计算技术构建环境数据中心
以云计算技术构建环境数据中心
摘要
➢以云计算技术构建环境数据中心,可以实现整合来自
各种环境业务应用系统中的数据,以建设数据仓库为
基础,利用ETL、OLAP 等数据处理和加工工具,对
数据进行整理、转换、匹配、校验、整合和分析,使
环境数据标准化,并通过统一的接口实现环境数据的
完成数据资源规划,收集、采集各类数据 源,完成公共代码、污染源代码、污染源主数 据梳理,通过共享接口、基础档案应用等功能 实现环境基础信息的充分共享利用。
3. 完成数据分析应用
通过数据仓库和BI技术,建设各类分析 专题,为各级环境管理应用提供决策数据支持。
四、环境数据中心建设内容
4. 无缝集成业务数据与空间数据
➢ 云计算技术能提高IT基础设施资源的利用效 率,提升基础设施的应用和管理水平,实现 计算资源的动态优化。
五、云计算技术构建环境数据中心
云计算技术构建数据中心主要有以下特点:
➢ 集中管理环境数据中心的硬件资源,包括服务器, 存储和网络等;
➢ 可以动态分配服务资源; ➢ 用户可以根据需求自助申请计算资源,平台根据
将GIS的空间数据和环境业务数据通过业 务对象的唯一编码实现空间数据和业务属性数 据的关联,从而实现空间数据和环境业务数据 的无缝集成。
5. 采用开放式体系结构确保其可扩展性
环境数据中心建设应统筹规划,分步实施, 与未来环境信息化的宏观发展规划相适应。
以云计算技术构建环境数据中心
第五章
析
云计算技术构建环境数据中心
六、云计算环境数据中心的应源自文库意义
相较传统的业务系统建设和环境数据应用模 式,云计算环境数据中心具有如下的优势:
3. 云平台将保证环境业务系统的不间断运行,并提供 多重的数据存储和灾难恢复机制,使应用系统和数 据资源获得更多的安全保障;
4. 提供统一的数据集成和管理方案,通过跨区域的数 据整合共享,形成环境管理的数据基础,使用业务 系统及相关的报表分析工具,为领导决策与应急处 理工作提供定量化与精细化的管理依据。
五、云计算技术构建环境数据中心
简而言之,云计算就是信息技术作为服务(IT as a Service)的一种计算供应和消费方式。 其特征主要表现在如下几个方面:
➢ 云计算强调资源的共享,而不是独占; ➢ 云计算强调的是资源集中,而不是分散; ➢ 云计算强调的是一种服务,而不是技术; ➢ 云计算强调动态资源配置,而不是静态资源分配; ➢ 云计算强调的是专业分工,而不是事必躬亲。
以云计算技术构建环境数据中心
第二章
析
环境数据中心定义及建设目标
二、环境数据中心定义及建设目标
1. 环境数据中心是环境信息资源整合的核心
环境数据中心建设重点强调环境数据集中管理 和环境信息资源整合,其采用集中与分布相结合的 方式管理环境数据,是环境信息资源数据的存储中 心、管理服务中心、共享交换中心以及环境管理决 策的支持中心。
六、云计算环境数据中心的应用意义
相较传统的业务系统建设和环境数据应用模 式,云计算环境数据中心具有如下的优势:
5. 提供统一的数据发布平台,可及时发布污染源防 控信息,解释相关法律政策,普及环保基础知识, 发动公众监督力量,实现环保部门与社会公众的 交流沟通,提升环保部门的社会服务形象。
以云计算技术构建环境数据中心
四、环境数据中心建设内容
环境数据中心建设是一项复杂的系统工程, 其建设内容如下: 1. 完成基础信息采集及共享
完成数据资源规划,收集、采集各类数 据源,完成公共代码、污染源代码、污染源 主数据梳理,通过共享接口、基础档案应用 等功能实现环境基础信息的充分共享利用。
四、环境数据中心建设内容
2. 建立数据仓库整合环境数据资 源
以云计算技术构建环境数据中心
第六章
析
云计算环境数据中心在环境保护 工作中的应用和意义
六、云计算环境数据中心的应用意义
提升各级环保部门对环境数据管理和应用的 综合水平,可实现如下应用:
➢ 环境数据资源目录服务、环境数据资源目录管理系 统;
➢ “一源一档”的污染源档案管理系统; ➢ 环境质量分析系统; ➢ 污染源分析系统; ➢ 基于环保“一张图”理念的空间信息共享服务平台
第七章
析
云计算技术展望
七、云计算技术展望
云计算技术是未来信息资源整合、系统动 态部署的潮流和趋势,在将来,更多的“环保 云”将为环境保护工作增加助力
传统数据中心的不足
3. 增加资源管理开销
传统数据中心资源配置和部署过程多采用 人工方式,没有相应的平台支持,使大量人力 资源耗费在繁重的重复性工作上,没有自服务 和自动部署的能力。因此,对业务部门的需求 往往无法做到及时响应和准确有效,并极大的 增加了资源管理的难度和投入。
五、云计算技术构建环境数据中心
根据业务系统的要求建设相应软硬件设施 的传统数据中心建设模式,则从系统资源上导 致了“资源孤岛”。传统数据中心建设模式很 难从整体基础架构的角度来考虑资源分配及使 用的合理性,因此从基础设施的角度来看应用 系统,它们还是一个个独立的“烟囱”。
五、云计算技术构建环境数据中心
“烟囱”型的基础设施
五、云计算技术构建环境数据中心
一、环境信息化建设现状分析
从信息化的角度出发,环境信息化所面临的最大问 题是“信息孤岛”,主要表现在以下几个方面:
➢数据难以共享,不一致,真实性、可靠性低; ➢缺乏统一的标准; ➢数据分散存放,不安全; ➢数据难以转化为信息和知识,难以在环境管理中发
挥应有的作用。
一、环境信息化建设现状分析
利用当前较成熟的IT技术手段来建设环境数据中心, 能够全面整合环境数据,彻底消除“信息孤岛”, 实现环境数据的和谐共享,同时可以纠正数据自身 的问题,避免“数出多门”,真正摸清“家底”。
一、环境信息化建设现状分析
从环境管理业务的角度来看,现有的环境数据管理 和应用主要存在如下两方面的问题:
➢环境数据来源复杂,多数环境数据分散于各部门,没有 统一的元数据标准,缺乏应有的处理和加工,难以进行 共享和应用;
➢不同的环境管理业务涉及的管理对象存在不同程度的重 叠,但对应的信息系统却相互独立,造成系统内数出多 门、一数多源,相互矛盾的事情时有发生。
➢党中央、国务院从治国理念的高度把环境保护摆上了 更加突出的重要位置。
➢“十一五”期间一系列重大建设项目的实施,环境信 息化建设取得了显著成效。
以云计算技术构建环境数据中心
➢本文是在以环保的核心问题“数据来源”基础上, 结合当前环境信息化的实际情况,提出构建标准统 一、接口开放、可持续扩展的环境数据中心,并探 讨依托当前信息技术发展主流趋势的“云计算”技 术来构建环境数据中心的建设思路和方法。
SLA和用户付费情况,决定审批结果; ➢ 应用管理,服务度量计费和SLA(Service-Level
Agreement)等; ➢ 提供高效的数据存储和安全的灾备服务。
五、云计算技术构建环境数据中心
云计算技术构建环境数据中心的逻辑架构
五、云计算技术构建环境数据中心
云计算环境数据中心的建设思路:
二、环境数据中心定义及建设目标
二、环境数据中心定义及建设目标
2. 环境数据中心建设的目标 ➢建立统一的标准规范; ➢实现数据的和谐共享; ➢联合监管污染源; ➢提供更有效、有力、科学的决策依据。
以云计算技术构建环境数据中心
第三章
析
环境数据中心技术架构
三、环境数据中心技术架构
环境数据中心的技术架构设计如下图:
5. 基于数据仓库技术的建模机制
➢ 环境数据中心已经集成了相对丰富的各类环境 业务数据,这些业务系统大多是OLTP系统(联 机事务处理系统),这些系统中积累了大量的历 史环境数据;
➢ 关键问题:环境数据中心在现有数据库系统的 基础上应用数据仓库技术
以云计算技术构建环境数据中心
第四章
析
环境数据中心建设内容
五、云计算技术构建环境数据中心
云计算的技术架构
五、云计算技术构建环境数据中心
传统IT的资源使用模型
五、云计算技术构建环境数据中心
云计算的资源使用模型
五、云计算技术构建环境数据中心
使用云计算技术构建环境数据中心
➢ 数据中心建设的未来发展方向是对传统数据 中心进行虚拟化和云计算架构的转型,不断 提高IT基础设施的灵活性,降低硬件、能源 和空间等成本,从而让用户能够快速响应业 务需求,提高业务敏捷性;
五、云计算技术构建环境数据中心
传统数据中心的不足 1. 资源利用率低 造成服务器资源利用率低的主要原因是 各个业务部门在提出业务应用需求时,都在 单独规划、设计其业务应用的运行环境,并 且按照最大业务规模的要求进行系统容量的 规划和设计。
五、云计算技术构建环境数据中心
传统数据中心的不足
2. 资源孤岛
在省、市已建成并投入运行的“国控重点污染 源自动监控中心”基础上,使用虚拟化和云计算技 术,在建设“省控重点污染源自动监控中心”的过 程中,将现有的软、硬件IT基础资源进行整合,建 成省、市两级环保部门的私有云,并将环境数据中 心虚拟化和云化,在整合IT基础资源的私有云平台 上,建成四川省“云计算环境数据中心”。
三、环境数据中心技术架构
1. SOA面向服务的体系结构
➢ 环境数据中心的建设是一项大型和复杂的系统 工程,需要实现多个应用系统的集成,各个应 用系统之间需要进行数据交换和整合,因此每 个子系统的设计应该遵循面向服务的体系结构, 使各个子系统之间可以完整地集成在一起;
➢ 面向服务的体系结构(SOA)表示如何合理的 使用 Web 服务。
以云计算技术构建环境数据中心
第一章
析
环境信息化建设现状分析
一、环境信息化建设现状分析
➢建成了涵盖部、省、市三级的“国控重点污染源自 动监控系统”;
➢建成了覆盖“部、省、市、县”四级联通的环保专 网;
➢即将建成:“减排应用支撑平台”、“建设项目管 理”、“环境统计业务系统”、“数据传输与交换 平台”、“GIS地理信息系统平台”。
什么是云计算
美国国家技术和标准研究院(NIST,National Institute of Standards and Technology)将云计算定义为: “云计算是一个提供便捷的可通过网络访问一个可 定制的计算资源共享池能力的模式(计算资源包括 网络,服务器,存储,应用和服务);这些资源能 够快速部署,并只需要很少的管理工作或与服务供 应商很少的交互。”