大数据与大数据技术

Back Office Supply Chain
Things
Things
DocumentDB External Storage
that you that enable you to understand,cahpapnlgye your rules, modelbsuasnindess… more…
车辆行驶日志
车辆行驶日志
急加速、加速日志
车载系统日志
实时数据计算
36
驾驶行为评分
第1步：建模变量的选择
•
从所有变量中，选取建模选定的变量
第2步：衍生建模变量计算
•
基于TP类别的变量，进行用户驾驶风险的初步计算
第3步：用户出险概率计算
•
基于第2步计算结果，结合HAHB类别变量，进行用户出险概率的计算
前端应用
报表
下游系统 外部应用
用工具取代代码作坊
MapReduce Performance
(runs on disk)
Spark Performance
20X (ruFnsains-mteemr ory &
on disk)
One Click
同时处理实时与批次
实时，流数据
推荐引擎
转换
Spark Streaming/Kafka
便捷的开发及报表展现工具
图形化 ETL，数据挖掘开发 便捷报表展现分析工具 建模过程100% 用户参与 IT基础架构与用户数据准备、探查、分析、预测分离
Advanced Analytic Service All Rights Reserved 2016
19
大数据团队组织建设
内部团队与专业伙伴紧密合作
保险车联网 Telematics Insurance
保险 Insurance
产品规划 Planning
车生活 In-Car Life
• 车内LBS服务 In-Car LBS
• 车载4G热点 Onboard 4G WIFI
二手车 Used Car
• 车况分析报告 Assess Report
• 二手车联合鉴定 United Assessment
雅加达
业务1 业务2
提供基于大数据技术的预测性分析及商务智能解决方案
• 300+ 技术服务人员 • 端到端的大数据平台 • 数据集成、数据挖掘与预测性分析、高级分析 • 企业级大数据仓库、企业绩效管理、商务智能
提供全球顶尖的大数据软件产品
• 大数据平台、数据集成与准备工具、开源开发技术 • 自助式分析工具、数据可视化工具
清洗
流式处理 治理
批次处理
Spark
转换
清洗
数据库，文件，批次数据
治理
数据流 输出
HDFS 文件
基于用户数据理解地模型预测
图形化数据准备挖掘 运用Spark Mlib 等进行计算 结果回写入Impala或者HIVE
非结构化数据为存储的新型SQL
基于落地HDFS的文件或HBASE进行SQL建表解析 提供工业MPP级别查询性能 线性可扩展 标准JDBC SQL界面，直连BO，Tableau ，
• 新车销售线索 Sales Leeds
• 客制化服务 Customization
试驾 Test Drive
• 车辆防盗，财产保护
Property Protection
•
金融 Finance
售后保障 After Sales
持续改进 Keep Improve
市场营销 Marketing
车辆全生命周期 Car Full Life Cycle
数据
创新
追踪吸收和引进行业内最先 进的技术，产品和应用经验。 世界顶尖数据技术公司在中 国地区的首选合作伙伴。
在一大批竞争行业（汽车、 制药、快消、家电、物流等） 内拥有深厚的客户基础和众 多行业成功案例。
经验
融合
追求行业业务能力和技术能力的 融合以及企业系统架构与解决业 务问题间的平衡，具有扎实的项 目实施能力。
Advanced Analytic Services
音智达
专注于分析预测与行业应用的的大数据公司
虞强 2016.10
议程 公司简介 大数据与大数据技术 大数据技术应用 大数据案例分享 问题讨论
Advanced Analytic Service All Rights Reserved 2016
基于大数据技术的数据分析处理
SQL 分析
时间、用户、地理位置、 事件 等标签
挖掘预测
辅助技术：
Kwk.baidu.comfka, HBase, Cassandra, Accumulo
Hadoop 核心层
图形化数据分析 智能搜索
大数据技术的顾虑
技术更迭过快 开源产品成熟度 开发效率 与现有架构的关系 运维与安全
Qlikview, MSTR等报表工具
技术方案：特点小结
基于开源系统的成熟商用插件方案
部署简便 提高开发效率 降低实施风险 基于内存的计算 性能优异
全部基于唯一Hadoop集群内，统一存储统一计算
减少数据传输迁移的同步问题 维护便捷：一套集群,维护简单 扩展性：无限扩展 线性提升
• 驾驶行为分析 • 燃油分析 • 二手车评估 • 车况鉴定报告
问题： • 缺少数据主题 • 重复开发和浪费成本 • 数据质量不可控 • 数据缺少管控 • BI 开发成本高,周期长 • 缺少业务分析平台 • 车辆数据采集能力有限 • 业务数据无法有效支持
大数据平台逻辑架构
数 据 管 理 系 统 管 理
Calculate the score
38
驾驶行为评分
用车轨迹--用户画像
When 何时 Where 何地 Who 是谁 What 做什么
商务人士
Biz Man
上班族
Commuter
家庭主妇
Housewife
夜晚活动族
Night Owls
用车轨迹 – 交叉销售
售后维修保养机会点 Opportunities for A/S Maintenance
大数据平台计算框架
Y
SQL
A R
N
传统数仓功能
非结构化流式挖掘分析
DATA PLATFORM(HDFS)
软件架构 （举例）
数据安全以及认证（Portal集成） 管理控制台 （CloudEra、Talend、KNIME）
灵活数据准备
SQL in Hadoop 数据挖掘与预测
S Q L（ODBC、 API：Java, JDBC、、。NET） C/++, Python
Hadoop
Event Hub (Service Bus)
Predictive Maintenance
Command and Control Machine Learning
Query and reporting
Command and Control
IoT 的本质
本质是基于“信息物理系统”实现“智能化…”
大数据管理员
数据科学家 Evan
数据与业务的结合
咨询团队
大数据开发团队
业务人员 技术平台支持
大数据技术应用
2019/10/3
Advanced Analytic Service All Rights Reserved 2016
Advanced Analytic Services
音智达
21
Internet of Customers and Internet of Things
二、工业4.0时代的智能制造
IoT--智能工厂
二、工业4.0时代的智能制造
360 Customer Profile Micro-Segmentation Next Best Action Customer Sentiment


客户画像
关联
CRM账户信息及 客户特征
通过API与CRM 相连
第一阶段
CRM账户信息及客 户特征
EDW交易历史
购买周期趋势
购买人口特征
客户画像参考架构
关联
集成引擎
API链接 数据库链接
文本分割链接
固定文本链接
分析
ACTIAN分析平台 数据库分析
低延迟查询
数据库集群/服务器
HDFS/NFS
数据流引擎
数据混合与浓缩 创建客户档案
HDFS API
购买家庭信息
文本分割链接
2
公司简介
公司概况&发展历史 主要客户&大数据产品
2019/10/3
Advanced Analytic Service All Rights Reserved 2016
Advanced Analytic Services
音智达
3
公司概况
专注于分析预测与行业应用的的大数据公司
北京 青岛
上海
深圳
新加坡
Advanced Analytic Services
音智达
31
项目背景
围绕车辆全生命周期，数据驱动的车联网与跨行业融合，可衍生出多样的商业模式与创
新服务；基于丰富的车联数据、多样的服务平台，可对行业、社会热点展开洞见分析，
同时挖掘更多的商业价值，拓展新的业务
新车销售 Car Sales
• 消费者画像 User Portrait
IoT 解决方案
You have devices on the network edge…
Basic Sensors Intelligent Devices
that provide you data…
Table Storage Blob Storage
SQL Databases
Plant Floor Things
大数据软件产品
以
HadooHpa do op
以
Text here
为
核
心
为的 大
流计算
机器学习
核数
心的大数据据 产 品 系 列
Vortex
产
品
SQL on Hadoop
数据集成与准备
数
开源开发技术
据
可
视
化
Statistica
数据挖掘
云
HEAD竞LIN争E优势
拥有多元化的数据科学家团 队和十余年的数据分析经验。 经十余年自主开发的IP打造 数据行业领先的技术优势。
社交媒体关键字
社交媒体链接 集成服务器
删除重复客户 在用户ID间连接数据
识别共同关键字
HADOOP 集群/YARN
行动
查询可视化报表 分析工具及应用
人口分布
客户倾向
消费心理
BI服务器
第一阶段
360度客户视图
案例分享
车联网大数据应用
2019/10/3
Advanced Analytic Service All Rights Reserved 2016
第4步：驾驶风险评分计算
将出险概率，转化为对应的驾驶风险评分
37
第5步：驾驶行为评分计算
将驾驶风险评分，转化为对应的驾驶行为评分
驾驶行为评分—阈值计算
通过机器学习算法，实时的将所有用户数据代入驾驶风险概率模型， 动态计算相关阈值
Set response variable = uncomfortable maneuver Set predictor variable = acceleration, speed, turns
载入Hadoop
EDW交易历史
将数据库连接至 EDW
购买周期趋势
连接至flat file
购买人口特征
连接至flat file
整合数据并载 入hadoop
购买家庭信息
连接至flat file
社交媒体关键字
连接至文本挖掘 应用
分析
行动
删除重复客户
在用户ID间连接数 据
识别人口微簇
识别共同关键词
创建客户档案
生产制造 Production
租赁 Leasing
• 车队管理 Fleet Mgmt.
• 汽车共享 Car Sharing
设计研发 R&D
维修 Repair
• 预测性维修提醒 Proactive Reminder
• 远程在线升级 OTA Upgrade
保养 Maintain
• 预测性保养提醒 Proactive Reminder
业务3
大数据SaaS应用和DaaS服务
• 基于云平台的软件即服务大数据应用 • 为企业提供全面的数据服务
发展历史
至今
大数据技术 大数据应用 分析预测 数据挖掘 数据即服务
14年来，
我们与数俱进
高级分析 数据可视化 看板管理 商务智能2.0
数据 集市
2002
数据仓库 绩效管理
主要客户
汽车制造 · 电子产品及家电 · 快消零售 · 医药与生命科学 · 航空与物流 · 高科技制造业 ·金融及其他
大数据与大数据技术
2019/10/3
Advanced Analytic Service All Rights Reserved 2016
Advanced Analytic Services
音智达
9
Hadoop技术的发展
物联网应用需要将Hadoop变为一个高性能的分析平台 需要Hadoop不光能存储数据，更要能够处理计算数据
• 汽车延保 Extended Warranty
安吉星大数据项目目标与当前的问题
目标： • 主数据(数据质量)的升级
• 主题模型落地,保持数据一致性 • 提高运维的灵活性 • 应用数据缓存的改造 • 用空间换时间的方法保护后台核心应用的正
常运行 • 企业经营分析的改造
• 提高运营速度和质量,降低数据开发成本 • 新业务的支持