人大金仓大数据平台解决方案32

大数据： 1、容量大 2、类型多 3、存取速度快 4、应用价值高
数据采集 数据存储 关联分析
发现新知识 创造新价值 提升新能力
新一代信息技术和服务业态
大数据平台的建设目标
建设内容
1
数据集中与整合
2
数据存储与处理
3
数据交换与共享
4
数据管控与治理
大数据 平台
建设目的
资源整合、信息共享、业务协同 形成国家政府数据统一开放平台 提高服务能力与水平 促进创新服务优化管理 提升决策和风险防范水平 提高社会治理的精准性和有效性
。20.1 1.2520. 11.250 0:14:42 00:14:4 2November 25, 2020
生活总会给你谢另一个谢机会，大这个机家会叫明天 6、
。2 020年1 1月25 日星期 三上午1 2时14 分42秒0 0:14:42 20.11.2 5
人生就像骑单车，想保持平衡就得往前走
数据质量报告分析系统
分析（分析问题）
问题分析、数据质量问题报告、知识库积累
• 依据各系统的监控信息，对异常指标进行跟踪，提交相关数据质量问题报告，注重对分析过程 中知识的积累
数据质量监控系统
监控（发现问题）
及时性、完善性、合法性、准确性、唯一性监控
• 依据数据质量度量标准对其的数据实体和数据处理过程建立有效的监控机制，在第一时间发现数据质量问题，为数据 质量问题分析提供原始依据
大数据平台建设内容
ETL架构与工具 数据库软件平台
仓ETL流程结构图
金仓ETL — 全面的数据访问与平台支撑
支持符合ODBC/JDBC 接口规范的46种数据库系统
支持主流的国内外操作系统 Windows 系列/Linux系列
Oracle KingbaseES
MySQL
SQL Server Sybase
每天只看目标，别老想障碍
•
3、
。20.1 1.2500: 14:420 0:14Nov -2025-Nov-20
宁愿辛苦一阵子，不要辛苦一辈子
•
4、
。00:1 4:4200: 14:420 0:14We dnesd态，是成功者的最基本要素 5、
关系表
R语言 高级分析
数
内置数据挖 据
掘算法
处
理
外部表
结构化数据
数
非结构化数据
据
HDFS
存
储
大数据平台建设内容
统一应用平台 应用架构设计 典型应用（管理驾驶仓、报表系统等）
KingbaseSmartBI — 应用功能体系
所有 访问终端
Smartbi Mobile
Smartbi Office Addin（开发）
5 成功案例
基于大数据技术的智能医疗整合分析系统 —沈阳军区总医院
项目概述
1、数据量：单张门诊数据表达 160G，每天的数据量新增2个T； 数据仓库总共有接近2000张表
3、大数据平台： KingbaseDBCloud、 KingbaseDI、KingbaseSmartBI
4. 医院每年30亿的营业额
元数据来源
业务系统
外部文件
手工补录 源数据层
系统运行结构 技术数据结构 业务数据结构
ETL服务器
ETL过程层 DW映射关系 ETL程序信息 数据转换规则 数据清洗规则
EDW/ODS /数据集市
数据仓库层
数据处理过程 物理模型数据结构 数据字典及敏感级别 程序库 数据库目录
OLAP服务器
WEB服务器
业务支持期
技术主导 业务参与
- 专题应用 - 数据集市 - 数据管理
管理优化期
业务需求 技术支持
- 数据开放 - 创新业务
业务创新期 业务主动 技术服务
➢业务价值驱动
➢从技术“推” 到 业 务“拉” 的转变
➢养育数据、由小而大、 分期建设
➢规划勾画骨架；项目 填充血肉
人大金仓-全面的数据管理与服务的产品和解决方案提供商
数据质量管理方法
数据质量BUG管理系统
• 关键：编号、解决期限、责任人
跟踪(执行监督)
• 对于每一份数据质量问题报告都会进入问题跟踪库，确保数据质量问 题可查、可跟踪
数据质量修正系统
修正(解决问题)
源系统、数据平台、应用系统 • 提出相应的解决方案和解决期限，方案和期限经评审通过后将正式进入修正过程
流数据 实时采集
结构化数据仓库
非结构化数据 分布式存储集群
分析数据集市
数据共享 数据交换 数据分发 数据分析
门户 管理驾驶舱 查询/检索
统计分析 预警告警 数据挖掘 大数据分析
分析决策人员 开发人员 运维人员
体制与机制
规范与流程
配置与变更
系统运维 调度与监控
灾备与恢复
安全与审计
通信网络
主机
存储
基础设施
打造医院大数据综合管理分析智能平台
医疗数据源 HIS
医疗数据仓库
智能分析处理
PACS
多维分析报表
决策支持应用 管理决策支持
临床决策支持
LIS
绩效评价管理
数据集成
数据分析
平台化智能化 - 实时数据分析平台 - 数据深度挖掘 - 数据预警决策分析 - 个性化定制服务 个性化移动医疗
数据应用
Thanks!
人大金仓大数据管理平台
目录
1 建设背景及目标
2 平台规划及架构 3 平台建设内容 4 建设策略与方法 5 成功案列
大数据发展意义
（一）大数据成为推动经济转型发展 的新动力。 （二）大数据成为重塑国家竞争优势 的新机遇。 （三）大数据成为提升政府治理能力 的新途径。
工信部在《基于云计算的电子政务公共平台顶层设 计指南》中明确提出，要求“各地充分发挥既有资源作 用和新一代信息技术潜能，积极开展基于云计算的电子 政务公共平台顶层设计，继续深化电子政务应用，全面 提升电子政务服务能力和水平，进一步提高电子政务发 展质量”。
运行态： 运维管理、现场值守、巡查检测、售后升级
BI类产品
开发态：产品培训、产品咨询、技术支持、BI实施、模型开发 运行态：新需求实施、现场值守、售后升级
解决方案类
开发态：方案咨询、方案开发、方案实施、应用开发支持、系统测试 运行态：运维管理、新需求实现、现场值守、巡查检测
目录
1 背景及目标 2 平台规划及架构 3 平台建设内容 4 建设策略与方法
数据整合域 数据集中
实时数据集中 批量数据集中 数据集中策略
数据整合
数据整合模型 数据转换与清洗
数据加工
数据存储
数据标准
标准定义 标准映射 标准执行 标准维护
元数据
业务 元数据
技术 元数据
元数据 维护
元数据 应用
数据管控域 技术体系
数据质量
数据质量指标体系
数据质量检核
数据质量分析
数据质量改进
数据安全
数据仓库
Smartbi绝不是个报表设计器，而是个集成、扩展的平台
直观的图形展现
• 表现形式丰富：内置全国地图（到区县级）、表格、油量图、泡泡图、雷达图、 地图、柱图、饼图、曲线图等丰富的数据展示形式
• 动态画图效果，生动形象
大数据平台建设内容
数据管控体系框架 数据标准 数据质量 元数据
数据管控体系框架
新一代信息技术和服务业态大数据平台的建设目标数据集中与整合1数据存储与处理2数据交换与共享3数据管控与治理4提升决策和风险防范水平提高社会治理的精准性和有效性提高服务能力与水平促进创新服务优化管理资源整合信息共享业务协同形成国家政府数据统一开放平台建设内容建设目的大数据平台目录建设背景及目标平台规划及架构平台建设内容123建设策略与方法4成功案列5大数据管理平台规划系统运维分析决策人员数据服务数据采集结构化及非结构化数据非实时采集系统运维规范与流程调度与监控配置与变更体制与机制数据存储数据管理数据标准元数据数据质量数据安全非结构化数据分布式存储集群灾备与恢复
Informix
DB2
Hadoop
大数据平台建设内容
数据库软件平台 数据架构设计 数据模型设计
KingbaseDBCloud — 系统架构
KingbaseDBCloud是顺应大数据和云计算时代 PB级海量数据处理而推出的高性 能、高可用、高 扩展和支持全局事务的并 行分布式云数据库系 统。
操作系统
数据库
虚拟化
大数据管理平台架构
数据采集
云平台
业务 数据
Oracle
E
T
DB2
L
MangoD
B
……
数据交换 信息共享
数据 分析
KingbaseSmartBI
数据 挖掘
多维 分析
灵活 报表
Smartbi dataIn Smartbi Mobile
数据 应用
决策仪 表盘
地图 分析
数
据 自助 分 分析 析
服务宗旨 — 您的问题我们来解决！
全方位，周全细致
服务内容包括产品相关服务（如培训、产品支持、移植测试、部署调优、定制开发、售 后升级、运维巡检等）和解决方案相关服务（如方案咨询、方案设计、数据治理、数据 集成、BI交付等）
多层次，快速高效
服务方式分为非现场技术支持与现场技术支持，非现场技术支持 采用电话、传真、互联网、邮件、远程登录等多种方式
KingbaseDI ✓ 数据采集，ETL软件。对数据进行抽取、清洗、转换和加载。 KingbaseDBCloud ✓ 数据采集，对各种数据源的数据进行采集。 ✓ 数据存储，对采集后的数据进行存储，包括结构化数据和非结构化数据。 ✓ 提供数据分析功能，通过标准SQL以及内置R支持，进行数据分析。 ✓ 提供数据挖掘功能，通过内置的挖掘算法，进行数据建模、验证、挖掘分析。 ✓ 提供标准程序接口（ODBC、JDBC等），供应用程序开发调用。 ✓ 提供丰富的数据类型支持，除SQL基本类型外，还提供XML、JSON等类型。 KingbaseSmartBI ✓ 统计分析 ✓ 报表展现
•
7、
。202 0年11 月上午1 2时14 分20.11. 2500:14 November 25, 2020
•
8、业余生活要有意义，不要越轨。20 20年11 月25日 星期三 12时14 分42秒 00:14:4 225 November 2020
KingbaseDBCloud
MPP
标准应用接口JDBC、ODBC等
数
据
并行
水平分区
R语言
内置数据 计
SQL
垂直分区
高级分析
挖掘算法 算
关系表
结构化数 据
外部表
数
据
非结构化数
存
据HDFS
储
数据 治理
数据 安全
数据 质量
数据 标准
元数 据
目录
1 背景及目标 2 平台规划及架构
3 平台建设内容
4 建设策略与方法 5 成功案列
在KingbaseDBCloud架构基础上，增加对HDFS 文件存储的支持，实现SQL和NoSQL统一访问接 口，同时支持SQL和NoSQL查询处理
KingbaseDBCloud-系统功能
KingbaseDBCloud
数据共享（标准应用接口JDBC、ODBC等）
MPP
并行SQL
水平分区 垂直分区
Smartbi 信息交付门户（在线报表、报告、仪表盘）
Smartbi dataIn
Smartbi 数据补录
3rd SDK
3rd Tool
Smartbi BI处理引擎
Smartbi xQuery 灵活报表 决策仪表盘 多维分析
统一语义模型
++
地图分析
任务调度
+
+
所有 数据源
监控视频
多维数据库 关系数据库 Nosql数据库
支持 OLTP 和 OLAP两种典型应用场景，使党政 军及企业 级应用在处理业务的同时具有大数据分 析 能力,可以有效构建100TB-PB级海量云数据中 心。
采用Share-Nothing架构，包括负载均衡节点、 协调节点、存储执行节点 和全局事务管理节点四 大组件，每个组件均可以根据实际情况按需添 加。
目录
1 建设背景及目标
2 平台规划及架构
3 平台建设内容 4 建设策略与方法 5 成功案列
大数据管理平台规划
数据资产管理规划
信息源
数据资源
数据采集
数据中心整体架构 数据标准
统一规划与运营
数据管理 元数据
数据存储
实施路线图规划
BIU建设
数据质量 数据服务
应用功能
数据安全 系统运维
结构化及非结构化数据 非实时采集
统一认证 权限管理 数据防护 安全审计
组织体系
组织架构
角色 与技能
分工 与职责
管理体系
制度
流程
方法
数据服务域 数据服务
配置数据 服务
定制数据 服务
数据目录
数据检索
数据服务管理
服务配置
服务目录
服务审计
数据标准建设流程
标准范围包 目前的状况 标准应该是 这些内容都 标准应该 如何维护
含哪些？ 如何？
什么样？ 在哪儿？ 如何执行？ 管理标准？
应用服务器 应用服务层
KPI关键业务指标 数据分析模型 数据库目录
用户
门户服务器
门户层
安全认证 访问控制 帮助文档结构
用户
元数据应用
数据地图
影响分析 血缘分析
数据管控体系建设策略
目录
1 背景及目标 2 平台规划及架构 3 平台建设内容
4 建设策略与方法
5 成功案列
数据平台建设思路建议
- 平台搭建 - 数据整合 - 报表支持
高品质，灵活适用
服务团队由数据领域资深工程师承担，技术出众、经验丰富、 尽职尽责。服务项目围绕技术发展和需求变化，并可灵活组合
全全方方位位
多层次
以客户为中心
高品质
服务体系-服务项目（包括但不限于）
数据库类产品
开发态：产品培训、产品咨询、技术支持、配置优化、应用迁移、系统测试、安装调试、 实施部署、产品定制
国产数据库第一品牌
每一个成功者都有一个开始。勇于开始，才能找到成
•
1、
功的路 。20.11.2520.11.25Wednesday, November 25, 2020
成功源于不懈的努力，人生最大的敌人是自己怯懦
•
2、
。0 0:14:42 00:14:4 200:141 1/25/2 020 12:14:42 AM