intel 智能交通 大数据应用

10
议程
• 中国智能交通展望 • 智能交通系统架构 • 大数据简介及其对于智能交通系统的益处 • 智能交通系统中基于英特尔®架构的产品方案 • 中国智能交通系统应用案例分析
11
垂直扩展或水平扩展
智能交通 数据爆增
关系数据库 朝左走
分布型数据库 朝右走
12
智能交通的软件架构
MapReduce 离线分析 在线/互动应用 数据挖掘
17
1
数据来源: Internal Team Analysis based on IHS* Research Report
智能交通中视频分析NVR的主要特征
闯红灯// Run the red light 逆行 // Retrogradation 车牌识别 // Plate Recognition 车流统计// Vehicle counting 禁停// No parking 禁左禁右 // No turn right or left 占道(不按规定车道行使) 变道 // Lane Change 压线 // Line crossing 车牌颜色识别 // Plate colour recognition 车身颜色识别 // Vehicle colour recognition 交通拥堵 // Traffic jam 行使缓慢 // Run slowly 行使超速 // Speeding 行人横穿//Jaywalk 车标识别//Auto logo recognition 机动车抓拍 // Abnormality quick shot 超速 // Speeding 车辆特征识别 路口车辆抓拍
• 万兆以太网及业界领先的FDR InfiniBand* • 高带宽、低延迟的新型网络传输协议 • SSD、PCI Express* SSD、混合存储模式 • 先进的存储控制子系统 • 面向系统资源平衡的优化
高能效技术 80 PLUS白金版电源 “冷”冗余 节点主板的散列式设计 ACPI S3的引入 ACPI S4 的引入 磁盘的延迟启动 智能磁盘启停控制 数据中心、机架、节点能耗监控 贡献者 硬件 硬件 硬件 硬件+软件 硬件+软件 硬件+固件 硬件+软件 硬件+软件+固件 阈值（40%） 冷冗余电源示意 负载（%） 转换效率（%） 80 PLUS 认证 负载（% ） 80 PLUS 铜版 80 PLUS 银版 80 PLUS 金版 80 PLUS 白金版 230V 交直转换效率 20% 81% 85% 88% 90% 50% 85% 89% 92% 94% 100% 81% 85% 88% 91%
3
中国市场环境
政府目标
• 中国十二五规划/和谐社会 • 确立在(IoT)物联网建设中处于领先地位
‒ 建立新技术国际标准
“感知中国” (IoT) 战略 -- 温家宝总理，2009
交通
‒ $8亿的政府资金支持
大趋势所面临的挑战和政府解决方案
• 城市化
‒ 城市人口目前的从6.9亿 到2025年的9亿 “中国未来最大发展潜力在城镇化.” -- 新任总理李克强， 2012
• •
对分布式数据库里的结构化数据提供全文本搜索的能力 内建索引以确保交通数据和索引始终同步
在Hbase里加入高效大对象存储 在Hadoop*里加入R 语言统计支持
• • •
采用标准的Hbase接口，提升了交通图像数据的存储性 能 将成熟的 R 语言库引入 MapReduce, HDFS 和HBase 降低了开发复杂的数据挖掘逻辑的工作量
车速 & 拥挤度 历史摄像图像 & 统计
– 旅行信息
支持旅行者多样的终端设备 前瞻性地建议旅行计划
• •
商用车辆监管
– 商用车辆管理和追踪
公共安全
– 视频监控 (视频搜索)
8
智能交通端到端方案
NVR/DVR/ Hybrid NVR Decoder
Edge Video Analytic
基于大数据的英特尔智能系统助力 智能交通
王晓栋，大数据解决方案部经理，英特尔 王华斌，平台架构师，英特尔 胡潇，解决方案架构工程师，英特尔
EMBS001
议程
• 中国智能交通展望 • 智能交通系统架构 • 大数据简介及其对于智能交通系统的益处 • 智能交通系统中基于英特尔®架构的产品方案 • 中国智能交通系统应用案例分析
37%
21% 3% 4%
7% 3% 7%
Education Government Industrial, Manufacturing, & Utilities Retail
交通 Transport
Other
针对智能交通系统应用，怎样有 效地采集，管理和分析数据？
数据来源: IMS 全球视频监控应用中，企业和IP存储使用 – World-2012
HBase* 支持文本&图像的分布式 数据库
Sqoop* 数据整合
关系数 据库
聚合的结果
传统应用
13
Apache Hadoop* 软件的英特尔® 分发版
优化过的软件堆栈
• •
稳定的企业级Hadoop*发行版 Hbase*改进和创新，为Hadoop提供实时数据处理能力
• •
利用硬件新技术进行优化 针对行业的功能增强，应对不同行业的大数据挑战
高速公路
4,500,000km 到2020年总车辆数将超 过2亿
铁路 水路
126,000km 120,000km
城市公共交通
394,000km 8% 4% 6% 10%
2011-2015 复合增长率(道路长度)
2%
基础设施建设趋于稳定，关键的挑战在于大规模的基础设施网络，持续增长的车辆 数量，居高不下的的出行者，车辆与基础设施的密度: 安全性，基础设施和出行效率，环境问题。
• 物联网和智慧城市是解决这些问题的一条途径
‒ 物联网市场规模到2015年达$800~1200亿 ‒ 规划中智慧城市超过90个 ‒ 不足：核心技术，标准，生态系统不成熟，部署模式
4
中国交通基础设施建设展望
1600
1 2
2011 投资额(10亿 RMB)
1400 1200 1000 800 600 400 200 0 -200 -2% 0%
分布式计算框架
Flume* 1.3.0
日志收集工具
HBase 0.94.1
实时、分布式、高维数据库
HDFS* 1.0.3
分布式文件系统
14
分布式协作服务
MapReduce 1.0.3
Zookeeper* 3.4.5
Apache Hadoop* 软件的英特尔® 分发版 针对智能交通应用的增强特性
增强的特性
接入层服务 器
收集, 存储, 变形, 分 析和挖掘
数据中心形态 • • • • 嵌入式 云服务 专属自有的 高性能的
数据中心解决方案 终端设备
丰富的形象化的数据 数据分析和缓存 分布式文件系统– HDFS 分布式数据分析– Hadoop* 分布式实时数据库 – HBase*
9
智能交通系统跨地域的实现
Apache Hadoop* 软件的英特尔® 管理器 2.3
安装、部署、配置、监控、告警和访问控制
关系型数据库同步工具
Sqoop* 1.4.1
Mahout* 0.7 数据挖掘
R - statistics 数据分析
Hive* 0.9.0 数据仓库
Pig* 0.9.2 数据流处理
Oozie* 3.3.0 工作流调度
6
议程
• 中国智能交通展望 • 智能交通系统架构 • 大数据简介及其对于智能交通系统的益处 • 智能交通系统中基于英特尔®架构的产品方案 • 中国智能交通系统应用案例分析
7
智能交通系统的目标
• 交通管理 – 完善交通法规 – 支持交通流量计划 – 自适应式交通控制 – 事故调查 • 旅行者信息系统服务 – 实时道路状况
HDFS数据节点 • 大容量存储 • 大内存容量 • 领先高能效 • 高速互连技术 • 灵活I/O扩展能力 • 搭配高速SSD或PCI Express* SSD
InfiniBand*及 以太网交换机 英特尔®服务器主板 S2600JF “Jefferson Pass” 英特尔®服务器系统 H2000 “Bobcat Peak”
(视频采集)
车 视频/索引/分析/转码
(图片抽取和元数据生成)
数据中心/云
数据服务
Smart
卡口
区
市
边缘视频分析的价值

(私有/公有)
省

(VSaaS, VAaaS)
全国
到2017年底
1
到2017年底交通系统每 天产生457 PB 视频原 始数据
1
每天76 PB 元数据 人，车，车牌
实时视频分析所得元数据是原视频的数据量 的1/6 减少整体尺寸到原先的1/8 ~ 1/12 解决了带宽和后端存储容量问题
高性能
• 万兆以太网、InfiniBand* • 先进的存储控制子系统 • SSD和PCI Express* SSD • 提供性能优化参考，如数据块大小、 Reducer数目等参数调节规则
一体化解决方案是大数据行业软件商、集成商、及终端用户的一致需求
21
英特尔®大数据一体机参考设计 高性能、低能耗技术优势
1 x 4G DDR3 Memory 2 x 100M/1000M LAN 8 x SATA3.0; 1 x MSATA; 2U rack-mounted Chassis
19
英特尔®大数据一体机参考设计
英特尔®服务器主板 S2600GZ “Grizzly Pass” 英特尔®服务器系统 R2000 “Big Horn Peak”
5 1 数据来源: 《交通运输“十二五”发展规划》 2 数据来源: ISH* 报告
交通系统中的大数据
视频监控应用中，全球最终用户所使用的企业和 IP 存储分配(2016) 智慧城市每天产生0.3PB ~ 6.7PB视 频数据
2016
2% 3% 13%
Banking & Finance Casinos & Gaming City Surveillance Commercial
HDFS名字节点 • 高密度设计 • 高访存带宽 • 高速互连技术 • 搭配高速SSD或PCI Express* SSD
在计算密集型大数据业务中也可以用作数据节点
20
英特尔®大数据一体机参考设计： 面向ISV/SI/LOEM的Turnkey解决方案平台
易用性
• 简便快捷部署 • 简便快捷扩容 • 易于管理 • 缩短项目实施周期 • 方便客户二次开发中的问题调试
跨地域的Hbase*大表
对智能交通的价值
• • 数据存储在不同地域的多个数据中心中。 用户所见为 虚拟的一个单一数据中心 每个数据中心互为备份， 全局范围提供更高可用性 对大量交通数据提供实时分析 对同一组数据同时支持互动式查询和离线统计
在Hbase顶部加入SQL 层
• •
在Hbase中加入全文本索引和近实时搜索
高质量
• 方案各组件的整合验证 • 操作系统及设备驱动的兼容性保证 • 软件模块、英特尔Hadoop发行版的 兼容性保证 • BIOS及服务器固件的整合 • 集成的用户接受测试 • 整合的磁盘监控
低能耗
• 节点主板的散列式布局设计 • 冷冗余80 Plus白金版电源 • 智能磁盘启停技术 • ACPI* S3/S4休眠状态支持 • 机架内集成英特尔DCM*
酷睿 CPU
- 4 x 8G DDR3 Memory - 2 x 10M/100M/1000M Base-T LAN - 8 x SATA3.0 or 16 x SATA3.0 - 1 x MSATA - 2U or 3U rack-mounted Chassis
凌动 CPU, NM10 chipset
18
基于英特尔架构的NVR(网络硬盘录像机)方案
至强 E3 CPU, C216 chipset
-Up to 32G DDR3 Memory -4 x 10M/100M/1000M Base-T LAN -16 x SATA3.0 or 24 x SATA3.0 -2 x MSATA; -3U or 4U rack-mounted Chassis15 Nhomakorabea议程
• 中国智能交通展望 • 智能交通系统架构 • 大数据简介及其对于智能交通系统的益处 • 智能交通系统中基于英特尔®架构的产品方案 • 中国智能交通系统应用案例分析
16
视频采集 视频分析 视频完整存储 视频元数据存储
边缘视频分析的价值
视频存储
(分布式或者集中存储) 私有云 公有云
摄像头
管理系统 单兵 客户端
本课程演示文稿（PDF）发布在技术课程目录网站: /go/idfsessionsBJ 该网址同时打印于会议指南中专题讲座日程页的上方
2
议程
• 中国智能交通展望 • 智能交通系统架构 • 大数据简介及其对于智能交通系统的益处 • 智能交通系统中基于英特尔®架构的产品方案 • 中国智能交通系统应用案例分析