大数据可视化平台建设及应用案例分析

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

数据质量报告
数据资产地图
数据资产目录
四方优势
平台优势
品牌优势
服务优势
数据治理产品一般分为两类:一类是单个工具 构成,另一类是集成平台,四方伟业基于元数 据智能驱动集成平台的设计思路构建大数据治 理平台,极大提高了平台的易用性和降低了用 户成本。
公司5名数据治理专家参与国内首个《数据资 产实践管理白皮书》编写
大数据产品架构
建立大数据的数据之源
SDC ETL 大数据采集平台
产品定位及产品特色 产品定位
SDC 融合数据ETL 以元数据智能驱动,通过流程设计器快速构建数据处理模型,完成数据库、半结 构化、非结构化数据之间的ETL工作,支持多人协作,大大节约了开发周期以及开发难度。提供强大 的调度能力,使得相关部门全面地了解数据处理模型的运行情况,有助于迅速定位和排除故障。提 供高可用集群管理以及HA能力,使得数据处理过程高效稳定。
四方伟业数据治理 平台以元数据智能驱动,由数据标准、数据质量、数据服务 等端到端的一站式数据服务管理平台,提供统一的用户管理、数据源管理、建模 设计、任务管理、数据权限等基础模块,面向 “政务、教育、交通、政法、电 力、能源、健康、金融”八大重点领域,实现快速、自动、稳定、持续的数据质 量提升,保证信息的可用性、一致性及安全性,确保及时、准确的数据支持和服 务,加快数据开发人员、数据实施人员、数据分析人员等针对数据采集、数据架 构、数据质量、主数据等数据管理项目的开发和部署速度。
定义指定任务的报警规则 定制指定任务的报警渠道 指定报警信息的接收者 根据需要控制告警规则的启用与关闭
构造大数据运行基石
SDC Hadoop 大数据存储计算平台
产品架构
SDC 企业级一站式大数据基础平台 大数据领域 --- 存储计算为核心的基础平台
组件融合
统一存储
全文检索
交互式分析 实时流计算
运维管理
参与工信部牵头起草《数据管理平台》技术要 求测试方法标准制定
数据管理软件第一名
数据资产管理工具 主数据管理工具
元数据管理工具
VS
主数据管理
资产生命周期
数据标准管理 元数据管理 数据质量管理 数据服务管理
数据标准管理工具
数据质量管理来自百度文库具
SDC 大数据治理平台
以治理产品为基础的“铁三角“运行机制; 提供咨询规划、项目实施和标准产品服务;
实施服务
咨询规划服务 产品运行保障服务
大数据治理平台
项目案例
截止2017年12月,已完成40多个数据治理项目的实施
典型项目
贵州检察院数据治理
成都市中院数据治理
黔西南公安数据治理 区域政府数据治理 国家气象数据治理
批量数据非实时 分析能力
秒级实时交互分 析能力
实时数据查询能 力
亚秒级,低延时的 实时流处理
高可用的、基于内 存计算的流计算引 擎
性能业界领先
一键式安装 可视化运维监控 按需部署 简单易用 全生态安全加固
产品功能-运维管理子系统
产品功能-日志分析子系统
可视化效果
快速检索,性能高效
自动部署能力
500T 数据
业务访问负载均衡能力
可视化,资源使用情况查看
海量数据智能分发存储
集群节点自动伸缩能力
可视化管理
20+ 节点
检索速度 平均小于<5s
大数据治理提升数据管控能力
SDC Govern 数据治理平台
产品定位
数据治理 SDC GOVERN 智能 高效 数据驱动价值
核心特色
复杂异构数据源
实时性传输
兼容大数据技术栈
多人协作开发
高效稳定
操作智能便捷
产品介绍(设计界面)
产品介绍(调度页面)
任务执行一览无余
可视化手段多角度作业监控 作业执行状态与成功率监控 对作业进行多角度排序
全方位洞察一项任务执行
单一业务的任务详情 图形化展示任务执行日志 任务运行情况变化曲线
告警帮你随时把握任务异常
产品功能-设备可视化监控
SDC平台技术创新-命令解析工具
产品测试
性能评测场景
30T数据情况下测试:
场景1:复杂SQL语句查询。 • 在30T数据情况5条不同SQL语句5次查询,
分别执行时间为:202.7s ,258.0s, 50.8s,132.7s,53.1s.
• 最好执行速度为:1.7s/T 最坏情况:6.7s/T
大数据可视化平台建设及应用案例分析
服务能力
大数据可视化平台及案例分析
服务能力
政府
金融
能源
交通
军工
企业
行业应用
咨询
设计
算法
定制
提供专业服务能力
实施
运维
业务价值导向 业务价值实现
交换汇集
融合治理
存储计算
挖掘分析
提供一站式大数据应用支撑平台产品能力
可视化
大数据 基础平台
服务能力
大数据可视化平台及案例分析
Hadoop+Spark 数据收集及整合
生态组件融合;
萃取能力
MPP+Hadoop混 横向扩展能力
合框架;
数据备份、安全
国内组件支持最多
存储能力
,最丰富。
数据按策略存储
能力
基于数据的检索 对结构化、半结构
化、非结构化数据 的全类型检索支持 支持按类型分类呈 现检索结果,在线 播放音视频文件。
场景2:简单SQL语句查询。 • 在30T数据情况5条不同SQL语句5次查询,
分别执行时间为:52.9s ,34.9s, 66.3s,92.5s,79.8s.
• 最好执行速度为:1.1s/T 最坏情况:3s/T
通过了权威机构性能评测
2017年6月,四方伟业SDC大数据基础平台参加 了中国信息通信研究院大数据性能评测,取得了以 下成绩:
比规定测试时间提前2天跑出性能结果。
第一梯队 与其它参评的企业相比,数据查询性能处于行业

国家版权云项目案例
项目背景
难点
原数据的种类多样,大小不同,大数据平台存储方 式不同,对后续用户检索效率有影响,需要按类型, 大小存储到不同的组件,提升检索效率。
解决思路
1.大文件存放HDFS,建立索引,将索引存入关系型数据库,小文件 直接放入NoSQL数据库。 2.提前配置好分类存储策略,自动分类存储: Size>100M && Video 存储#001, 10M< Size <= 100M && Video || Voice || Picture 存储#002, 0M< Size <=10M&& Video || Voice || Picture 存储#003
相关文档
最新文档