乐蜂网 电商大数据平台架构设计及应用-马方旭
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
前端
数据收集
JS
PC网站/WAP/HTML5
埋点
移动端
后端
TOP 100 CASE STUDIES OF THE YEAR
接口 日志
业务系统
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
大数据带给我们的挑战
大数据给我们带来了一些挑战，主要包括以下几个方面 数据量特别大 数据的种类繁多 业务变化快 数据处理的时效性较高
数据适配（角色） 数据应用 数据落地
数据加工 数据存储
数据采集
TOP 100 CASE STUDIES
OF THE Y数EA据R 源
我们的大数据架构
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
我们的数据产品-推荐(列举几个主要的)
商品维度，包含看了又看、看了又买、 买了又买、同时 购买、收藏并购买、收藏并收藏、最佳组合(一起购买会更 好)等；
我们的架构设计
基于大数据对我们的挑战，我们建立了一套高效可扩展的 大数据平台架构，这个架构主要分为四层。 第一是原始数据层； 第二是计算汇总层； 第三是应用层； 第四是 应用系统层；
TOP 100 CASE STUDIES OF THE YEAR
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
TOP 100 CASE STUDIES OF THE YEAR
电商大数据平台架构设计及应用
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
电商大数据
AliBaBa
电商大数据
互联网
BaiDu
TOP 100 CASE STUDIES OF THE YEAR
Storm实时计算
商品信息补全/ 过滤/排名等操 作
通用服务
商品详情 库存 价格 热销 。。。
Mysql
线下模型结果
Map Reduce
线下预测结果
推荐引擎
Kafka消息中间件
流量
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
Thank You
TOP100Summit案例研究峰会 官网：www.top100summit.com
全 球 软 件 案例 研 究 峰 会
系统层
应用层
计算汇总层 原始数据层
TOP 100 CASE STUDIES OF THE YEAR
展现数据价值的系统(APP Sys) 直观提供业务需求数据(APP)
数据建模的核心(DW) 原始数据存储（ODS）
www.top100summit.com
全 球 软 件 案例 研 究 峰 会Leabharlann Baidu
TOP 100 CASE STUDIES OF THE YEAR
www.top100summit.com
client
http request Json
http gateway
Recommender1
推荐接口服务
推荐结果
R2
………….
单商品
推荐列表
多商品
Redis Cluster
定时刷新
Mysql Cluster
Rn HDFS
Hbase Cluster
TOP 100 CASE STUDIES OF THE YEAR
TOP 100 CASE STUDIES OF THE YEAR
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
数据在电商之参与运营
采用集群技术，高效计算，实时推荐
TOP 100 CASE STUDIES OF THE YEAR
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
热销维度，包含分类热销、品牌热销、礼包热销、礼包 品牌热销等；
用户浏览及购买维度，包含浏览品牌并购买、浏览分类 并购买、搜索且最终购买等；
TOP 100 CASE STUDIES OF THE YEAR
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
推荐系统架构
TOP 100 CASE STUDIES OF THE YEAR
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
数据建模
高效计算
反映业务
模型
高度汇总
TOP 100 CASE STUDIES OF THE YEAR
灵活适配
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
数据在电商之直接展现
TOP 100 CASE STUDIES OF THE YEAR
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
数据在电商之帮助引导
1. 所见及所得， 快速的数据 获取
2. 在建实时平 台，实时指 导运营
财务FMS 分析DW
工单CC 采购PMS
大数据平台
挖掘DM
数据DP
办公OA
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
数据在电商
数据对于电商的支撑主要体现在业务运营方面，可以分为三 个层次。 直接展现 帮助引导 参与运营
TOP 100 CASE STUDIES OF THE YEAR
Tecent
零售数据
实体店
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
前台系统
我们的数据源拆解
网站主站
手机APP
WAP
后台系统
TOP 100 CASE STUDIES OF THE YEAR
HTML5
人工客服
分销网站
订单 OMS
ERP
仓储 WMS
配送TMS
商家POP
数据收集
JS
PC网站/WAP/HTML5
埋点
移动端
后端
TOP 100 CASE STUDIES OF THE YEAR
接口 日志
业务系统
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
大数据带给我们的挑战
大数据给我们带来了一些挑战，主要包括以下几个方面 数据量特别大 数据的种类繁多 业务变化快 数据处理的时效性较高
数据适配（角色） 数据应用 数据落地
数据加工 数据存储
数据采集
TOP 100 CASE STUDIES
OF THE Y数EA据R 源
我们的大数据架构
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
我们的数据产品-推荐(列举几个主要的)
商品维度，包含看了又看、看了又买、 买了又买、同时 购买、收藏并购买、收藏并收藏、最佳组合(一起购买会更 好)等；
我们的架构设计
基于大数据对我们的挑战，我们建立了一套高效可扩展的 大数据平台架构，这个架构主要分为四层。 第一是原始数据层； 第二是计算汇总层； 第三是应用层； 第四是 应用系统层；
TOP 100 CASE STUDIES OF THE YEAR
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
TOP 100 CASE STUDIES OF THE YEAR
电商大数据平台架构设计及应用
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
电商大数据
AliBaBa
电商大数据
互联网
BaiDu
TOP 100 CASE STUDIES OF THE YEAR
Storm实时计算
商品信息补全/ 过滤/排名等操 作
通用服务
商品详情 库存 价格 热销 。。。
Mysql
线下模型结果
Map Reduce
线下预测结果
推荐引擎
Kafka消息中间件
流量
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
Thank You
TOP100Summit案例研究峰会 官网：www.top100summit.com
全 球 软 件 案例 研 究 峰 会
系统层
应用层
计算汇总层 原始数据层
TOP 100 CASE STUDIES OF THE YEAR
展现数据价值的系统(APP Sys) 直观提供业务需求数据(APP)
数据建模的核心(DW) 原始数据存储（ODS）
www.top100summit.com
全 球 软 件 案例 研 究 峰 会Leabharlann Baidu
TOP 100 CASE STUDIES OF THE YEAR
www.top100summit.com
client
http request Json
http gateway
Recommender1
推荐接口服务
推荐结果
R2
………….
单商品
推荐列表
多商品
Redis Cluster
定时刷新
Mysql Cluster
Rn HDFS
Hbase Cluster
TOP 100 CASE STUDIES OF THE YEAR
TOP 100 CASE STUDIES OF THE YEAR
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
数据在电商之参与运营
采用集群技术，高效计算，实时推荐
TOP 100 CASE STUDIES OF THE YEAR
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
热销维度，包含分类热销、品牌热销、礼包热销、礼包 品牌热销等；
用户浏览及购买维度，包含浏览品牌并购买、浏览分类 并购买、搜索且最终购买等；
TOP 100 CASE STUDIES OF THE YEAR
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
推荐系统架构
TOP 100 CASE STUDIES OF THE YEAR
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
数据建模
高效计算
反映业务
模型
高度汇总
TOP 100 CASE STUDIES OF THE YEAR
灵活适配
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
数据在电商之直接展现
TOP 100 CASE STUDIES OF THE YEAR
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
数据在电商之帮助引导
1. 所见及所得， 快速的数据 获取
2. 在建实时平 台，实时指 导运营
财务FMS 分析DW
工单CC 采购PMS
大数据平台
挖掘DM
数据DP
办公OA
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
数据在电商
数据对于电商的支撑主要体现在业务运营方面，可以分为三 个层次。 直接展现 帮助引导 参与运营
TOP 100 CASE STUDIES OF THE YEAR
Tecent
零售数据
实体店
www.top100summit.com
全 球 软 件 案例 研 究 峰 会
前台系统
我们的数据源拆解
网站主站
手机APP
WAP
后台系统
TOP 100 CASE STUDIES OF THE YEAR
HTML5
人工客服
分销网站
订单 OMS
ERP
仓储 WMS
配送TMS
商家POP