大数据可视化平台建设及应用案例分析综合解决方案

大数据可视化平台建设及应用案例分析综合解决方案
解决思路
1.大文件存放HDFS，建立索引，将索引存入关系型数据库，小文件 直接放入NoSQL数据库。 2.提前配置好分类存储策略，自动分类存储： Size>100M && Video 存储#001， 10M< Size <= 100M && Video || Voice || Picture 存储#002， 0M< Size <=10M&& Video || Voice || Picture 存储#003
大数据可视化平台建设及应用案例分析综合解决方案
大数据可视化平台建设及应用案例分析综合解决方案
大数据可视化平台建设及应用案例分析综合解决方案
服务能力
大数据可视化平台及案例分析
服务能力
大数据可视化平台建设及应用案例分析综合解决方案
政府
金融
能源
交通
军工
企业
行业应用
咨询
设计
算法
定制
提供专业服务能力
实施
运维
全方位洞察一项任务执行
单一业务的任务详情 图形化展示任务执行日志 任务运行情况变化曲线
告警帮你随时把握任务异常
定义指定任务的报警规则 定制指定任务的报警渠道 指定报警信息的接收者 根据需要控制告警规则的启用与关闭
构造大数据运行基石
大数据可视化平台建设及应用案例分析综合解决方案
SDC Hadoop 大数据存储计算平台
核心特色
复杂异构数据源
实时性传输
兼容大数据技术栈
多人协作开发
高效稳定
操作智能便捷
产品介绍（设计界面）
大数据可视化平台建设及应用案例分析综合解决方案
产品介绍（调度页面）
大数据可视化平台建设及应用案例分析综合解决方案
任务执行一览无余 可视化手段多角度作业监控 作业执行状态与成功率监控 对作业进行多角度排序
✓ 高可用的、基于内 存计算的流计算引 擎
✓ 性能业界领先
✓ 一键式安装 ✓ 可视化运维监控 ✓ 按需部署 ✓ 简单易用 ✓ 全生态安全加固
产品功能-运维管理子系统
大数据可视化平台建设及应用案例分析综合解决方案
产品功能-日志分析子系统
大数据可视化平台建设及应用案例分析综合解决方案
产品功能-设备可视化监控
可视化效果
大数据可视化平台建设及应用案例分析综合解决方案
快速检索，性能高效
自动部署能力
500T 数据
业务访问负载均衡能力
可视化，资源使用情况查看
海量数据智能分发存储
集群节点自动伸缩能力
可视化管理
20+ 节点
检索速度 平均小于<5s
大数据治理提升数据管控能力
大数据可视化平台建设及应用案例分析综合解决方案
SDC ETL 大数据采集平台
产品定位及产品特色
大数据可视化平台建设及应用案例分析综合解决方案
产品定位
SDC 融合数据ETL 以元数据智能驱动，通过流程设计器快速构建数据处理模型，完成数据库、半结 构化、非结构化数据之间的ETL工作，支持多人协作，大大节约了开发周期以及开发难度。提供强大 的调度能力，使得相关部门全面地了解数据处理模型的运行情况，有助于迅速定位和排除故障。提 供高可用集群管理以及HA能力，使得数据处理过程高效稳定。
• 最好执行速度为：1.7s/T 最坏情况：6.7s/T
➢ 场景2：简单SQL语句查询。 • 在30T数据情况5条不同SQL语句5次查询，
分别执行时间为：52.9s ,34.9s, 66.3s,92.5s,79.8s.
• 最好执行速度为：1.1s/T 最坏情况：3s/T
大数据可视化平台建设及应用案例分析综合解决方案 ➢ 通过了权威机构性能评测
业务价值导向 业务价值实现
交换汇集
融合治理
存储计算
挖掘分析
提供一站式大数据应用支撑平台产品能力
可视化
大数据 基础平台
大数据可视化平台建设及应用案例分析综合解决方案
服务能力
大数据可视化平台及案例分析
大数据产品架构
大数据可视化平台建设及应用案例分析综合解决方案
建立大数据的数据之源
大数据可视化平台建设及应用案例分析综合解决方案
合框架；
✓ 数据备份、安全
✓ 国内组件支持最多
存储能力
，最丰富。
✓ 数据按策略存储
能力
✓ 基于数据的检索 ✓ 对结构化、半结构
化、非结构化数据 的全类型检索支持 ✓ 支持按类型分类呈 现检索结果，在线 播放音视频文件。
✓ 批量数据非实时 分析能力
✓ 秒级实时交互分 析能力
✓ 实时数据查询能 力
✓ 亚秒级，低延时的 实时流处理
产品架构
大数据可视化平台建设及应用案例分析综合解决方案
SDC 企业级一站式大数据基础平台 大数据领域 --- 存储计算为核心的基础平台
组件融合
统一存储
全文检索
交互式分析 实时流计算
运维管理
✓ Hadoop+Spark ✓ 数据收集及整合
生态组件融合；
萃取能力
✓ MPP+Hadoop混 ✓ 横向扩展能力
大数据可视化平台建设及应用案例分析综合解决方案
SDC平台技术创新-命令解析工具
大数据可视化平台建设及应用案例分析综合解决方案
产品测试
➢ 性能评测场景
30T数据情况下测试：
➢ 场景1：复杂SQL语句查询。 • 在30T数据情况5条不同SQL语句5次查询，
分别执行时间为：202.7s ,258.0s, 50.8s,132.7s,53.1s.
SDC Govern 数据治理平台
产品定位
ຫໍສະໝຸດ Baidu
大数据可视化平台建设及应用案例分析综合解决方案
数据治理 SDC GOVERN 智能 高效 数据驱动价值
四方伟业数据治理 平台以元数据智能驱动，由数据标准、数据质量、数据服务 等端到端的一站式数据服务管理平台，提供统一的用户管理、数据源管理、建模 设计、任务管理、数据权限等基础模块，面向 “政务、教育、交通、政法、电 力、能源、健康、金融”八大重点领域，实现快速、自动、稳定、持续的数据质 量提升，保证信息的可用性、一致性及安全性，确保及时、准确的数据支持和服 务，加快数据开发人员、数据实施人员、数据分析人员等针对数据采集、数据架 构、数据质量、主数据等数据管理项目的开发和部署速度。
2017年6月，四方伟业SDC大数据基础平台参加 了中国信息通信研究院大数据性能评测，取得了以 下成绩：
➢ 比规定测试时间提前2天跑出性能结果。
第一梯队 ➢ 与其它参评的企业相比，数据查询性能处于行业
。
大数据可视化平台建设及应用案例分析综合解决方案
国家版权云项目案例
项目背景
难点
原数据的种类多样，大小不同，大数据平台存储方 式不同，对后续用户检索效率有影响，需要按类型， 大小存储到不同的组件，提升检索效率。