大数据可视化产品设计方案

数据可视化
实时检索引擎
数据实时检索
数据挖掘
数据分析
数据分析缓存
数据分析&检索
数据索引&缓存 持久化存储
Hadoop非实时检索引擎 Hadoop分布式持久化存储
知识库标签化
结构化处理 数据清洗过滤引擎
数据标签化 数据清洗
Kafka/Redis
ETL/Flume/Sqoop
内部数据源
非结构化数据源
弹性爬虫引擎集群 外部数据源 数据获取
系统特点: 1. 图像特征预提取、结构化识别。 2. 支持多区域特征复合搜索。 3. 支持相似度、车型、车牌号、车身颜色
检 索排序。
17
车辆特征识别系统 夜间车辆特征识别
以图搜车系统针对夜间车辆图片的特点，设计了独特的夜间车辆图片识别算法，通过对夜间各种 光照条件 下的卡口图片特征进行机器学习，构建夜间车辆特征模型。保证夜间车辆识别具有极强的鲁 棒性(抗干扰性) 和适应性。
设备状态、MTC、气象等多源异构海量数据的抽
取整合管理及基于Hadoop的存储计算，彻底打 破了河北高速各类数据的信息孤岛现象。 • 平台还实现了路况数据、收费数据、气象等数据 间多维度关联分析和挖掘应用，为保障路网运行 和决策调度提供多层次实时、有力的数据支撑。
14
【解决方案】交通大数据——车辆特征识别系统
大数据可视化产品设计方案
1
1
公司介绍 大数据产品介绍 教育大数据解决方案 交通大数据解决方案 政府大数据解决方案 医疗大数据解决方案
2
目录
3 4
5
6
大数据产品介绍
PRODUCT FEATURES
3
4
数据产品架构
解决方案
交通
教育
医疗
政府
公安
电力
工业4.0
运营商
……
数据可视化
业务分析建模
算法模型库
10
基础产品——非结构数据采集
• 合规性要求 ——满足网络安全法的合规性要 求，实现网络日志采集、存储、管理、检索 • 日志作为数据资产 ——将日志数据作为数据 资产进行管理，为数据综合开发进行数据储备 • 日志分析展示 ——直接利用分析展示功能， 进行对日志分析、处理、可视化展现 • 日志预处理 ——将日志工具作为日志的预处 理工具， 为其他应用程序提供数据支持。
7
基础产品——大数据共享平台
• 银河超算数据共享平台价值在于帮助客户建设数据中心，
实现业务系统与数据中心对接，促进数据融通共享，为状 态数据的实时采集与动态分析提供保障，解决数据孤岛问
题，为数据分析、维护提供最佳基础；
• 以大数据技术（Hadoop、Spark）为底层架构，集合大 数据全部技术模块，运算速度是传统数据处理的1000倍。
银河超算从数据采集、存储、计算、调度、高级搜索等核
心功能，并基于云计算科学管理数据，保证数据的安全性 和稳定性，同时针对实时计算业务应用特别调优，追求极 致的运算速度，为大规模数据的管理和计算而生。
业务分析平台
API
DMP
行业解决方案
最终交付
MySQL / Redis / Mongo / Pig， ElasticSearch Spark / Hive
……
大数据基础产品
5
6
基础产品
以大数据技术（Hadoop、Spark）为底层 架构，集合大数据全部技术模块，运算速 度是传统数据处理的1000倍。银河超算从 数据采集、存储、计算、调度、高级搜索 等核心功能，并基于云计算科学管理数据， 保证数据的安全性和稳定性，同时针对实 时计算业务应用特别调优，追求极致的运 算速度，为大规模数据的管理和计算而生。
非结构化数据是数据结构不规则或不完 整，没有预定义的数据模型，不方便用 数据库二维逻辑表来表现的数据。包括 所有格式的办公文档、文本、图片、 XML, HTML、各类报表、图像和音频/ 视频信息等等。 除银河超算数据平台的非结构数据采集 工具外，还针对机器日志数据专门设计
将结构或非结构数据转换成适当的可视 化图表，然后将隐藏在数据中的信息直 接展现于人们面前，在可视化图表工具 的表现形式方面，图表类型表现的更加 多样化，丰富化。 数据可视化系统底层与银河超算数据平 台对接，上层与业务模型算法对接，通 过托拉拽的形式轻松完成数据可视化
11
基础产品——数据可视化
交通行业解决方案
TRANSPORTATION INDUSTRY SOLUTIONS
Baidu Nhomakorabea
12
13
【解决方案】交通大数据——河北高速公路
• 该项目是国内高速公路交通领域首个大数据平台 应用。项目以推进“互联网+”在高速公路运营 管理和公众出行服务中的运用为目标，结合河北 高速本地信息化建设现状及实际用户需求，制定 项目策略规划，并实现了路况、微波车检、 ETC、
1. 检测速度快，可支持海量卡口图片 分析，普通 服务器每天可处理50万张左 右的高清图片 2. 自动过滤有争议图片，降低人工复 审核成本。 系统准确率高，大于90% 3. 违章图片数据实时推送给交警违章 处罚平台可 处罚
基于车辆品牌的落脚点分析、首次入城、同行车辆分析、频繁过车、套牌车辆筛选、行车轨迹重 现、包围圈查 询等经过实战检验的公安实战功能。
15
交通大数据——车辆特征识别系统
数据架构图
16
车辆特征识别系统
以图搜车，快速检索
对于有明显特征的嫌疑车辆，比如年检标志、纸 盒、吊坠挂件、碰撞标记等进行以图搜车。
图形化报表
运维管理
可视化的 集群管理
多样的 部署方式 多维度的 监控
基础产品
银河数据平台
数据采集系统 大数据资源管理系统
数据质量监控系统 数仓建模系统 实时数据采集
可编程API 工作流调度系统
ETL数据采集
非结构化数据
ETL工具
数据源
信息系统 ERP CRM SCM 机器日志 音视频 非结构数据 社交媒体 物联网
9
基础产品——非结构数据采集
• 非结构化数据采集是将不规则或不完整，
没有预定义模型的数据进行采集并清洗翻 译，。包括所有格式的办公文档、文本、 图片、XML, HTML、各类报表、图像和音 频/视频信息等等。
• 除银河超算数据平台的非结构数据采集工
具外，还针对机器日志数据专门设计了日 志采集工具，使机器数据更加方便的管理
18
车辆特征识别系统
面部遮挡检测
系统自动检测车辆驾驶员放下遮阳板或者遮挡面部的异常行为， 特别是夜间放下遮阳板的车辆是作案重点 排查对象。
19
车辆特征识别系统
不系安全带自动检测
不系安全带检测系统，利用机器深度学习的算法，通过对卡口图片的多种特征进行分析， 全自动检测驾驶员是否佩戴安 全带
解决方案: