网易严选数据中台建设实践与方法论
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
产品数
2周
迭代周期
1 :10
测开比
数据中台快照
BI报表
营销分析 用户分析 流量分析
商品分析 订单分析 采购分析
VIPAPP 移动数据工作台
神相 用户行为分析
数据产品
大麦 商品数据运营
刑天 投放管理
河洛 供应链数据运营
谛听 舆情洞察
业务系统
商品中心
分销系统
运营工作台
供应商系统
CRM系统
品控工作台
严选有数-敏捷BI平台
关注点分离
高效 数据中台
分而治之
高质量
高效分析 高效集成 高效研发 任务治理
数据治理
普通任务 关键任务 耗时任务
源 仓 端
网易严选数据中台建设实践与网法论
分享网纲
• 数据中台建设背景 • 数据中台建设实践 • 数据中台方法论
数据中台建设背景
严选模式
品牌
+
平台
研发 消费者
生产
采购
配送
销售
物流 仓储
平台
线上渠道
app
PC 公众号 小程序
CRM DMP
搜
推
风
索
荐
控
数据中台
品牌
商品开发
工厂生产
采购入库
商品管理
市场运营
标签服务
查
询
系
统
仓颉-指标管理系统
数据仓库
68
应用数
67 0
模型数
2000 w
调用数
网效研发
VIPAPP 移动数据工作台
大麦 商品数据运营
河洛 供应链数据运作
指 标
神相 用户行为分析
刑天 投放管理
谛听 舆情洞察
统 一
监
权
控
数据导入服务
数据导出服务
限
服
服
务
统一查询服务
标签服务
务
数据产出服务
数据仓库
13
数据治理
(异常)任务治理
(异常)数据治理
(异常)任务治理
分类
流程
普通任务
关键任务 耗时任务
冷却任务
发现 任务监控报警
处理 值班人员恢复
(异常)任务治理
模块粒度任务监控
(异常)数据治理
数据源
DB协同 日志监控 夸父-埋点管理系统
数据仓库
数据稽查
数据应用
指标监控
指标网致性
统一定义 统一开发 统一使用
严选有数 数据仓库
业务人员
400
日UV
140000
日均PV
70000
图表数
网效分析
以终为始 PPT式操作
高性能
网效分析
数据化驱动
被动缓存
定时主动缓存
数据驱动缓存
精细化缓存
报告级 页面级 图表级
85%
缓存命中率
2S
平均响应时间
网效集成
开发
-
运营工作台 供应商系统
CRM
分销系统
遂
业务系统
人
自
助
统一查询服务
仓颉-指标管理系统
北斗-数仓设计管理系统
猛犸
燧人-指标地图系统
统一查询服务
数据产品
有数报告
业务系统
• 原子指标管口径 • 产品经理管原子指标
• 数仓管口径 • 先设计后开发
• 定义动态获取 • 定义交互规范
数仓体系
夸父-埋点管理系统
供 应
精卫-数据填报系统
架 构
北斗-数仓设计管理系统
数据仓库
质 量
统一查询服务
仓颉-指标管理系统 燧人-指标地图
夸父-埋点管理系统
商品域 用户互动域
采购域 营销域
数据中台
标签服务
数据仓库
仓储域
流量域
指标监控服务
数据产出服务
数据导入服务
物流域 售后域
交易域 财务域
数据质量中心 北斗-数仓设计管理系统
精卫-数据填报系统
数据平台
离线计算平台
实时计算平台
算法平台
网质量的实践路径
客户服务
仓储物流
交易履约
B I
全链路精细化运营
数
数
报 表
据 产 品
据 大 屏
数据中台
为什么要建数据中台
大规模的数据需求需要高效地满足
数据中台是什么
高效、高质量赋能数据前台的一系列数据系统和数据服务的组合
数据中台的定位
BI报表
营销分析 用户分析 流量分析
商品分析 订单分析 采购分析
VIPAPP 移动数据工作台
实时计算平台
算法平台
数据中台方法论
数据中台特征
全域、非内聚
数据中台
采购
活动
供应商
⋯
H5
⋯
数据中台的设计思维
分析师 业务系统开发 数据产品开发
用户导向
敏捷迭代
前台中台螺旋上升
产品化
产品交付
中台系统 数据服务 数据仓库
数据中台的实现网法
标准化
业务 流程
规范化
工具化
数据中台的实现网法
解决复杂问题的网法
品控工作台
严选有数-敏捷BI平台
统一查询服务
仓颉-指标管理系统 燧人-指标地图
夸父-埋点管理系统
商品域 用户互动域
采购域 营销域
数据中台
标签服务
数据仓库
仓储域
流量域
指标监控服务
数据产出服务
数据导入服务
物流域 售后域
交易域 财务域
数据质量中心 北斗-数仓设计管理系统
精卫-数据填报系统
数据平台
离线计算平台
神相 用户行为分析
数据产品
大麦 商品数据运营
刑天 投放管理
河洛 供应链数据运营
谛听 舆情洞察
业务系统
商品中心
分销系统
运营工作台
供应商系统
CRM系统
品控工作台
严选有数-敏捷BI平台 仓颉-指标管理系统
燧人-指标地图 夸父-埋点管理系统
统一查询服务
数据中台
标签服务
指标监控服务
数据产出服务
数据导入服务
商品域
数据质量中心
仓颉-指标管理系统
需 求
燧人-指标地图
数据中台快照
BI报表
营销分析 用户分析 流量分析
商品分析 订单分析 采购分析
VIPAPP 移动数据工作台
神相 用户行为分析
数据产品
大麦 商品数据运营
刑天 投放管理
河洛 供应链数据运营
谛听 舆情洞察
业务系统
商品中心
分销系统
运营工作台
供应商系统
CRM系统
数据仓库
数据中台
Biblioteka Baidu
采购域
仓储域
物流域
交易域
数据质量中心 北斗-数仓设计管理系统
用户互动域
营销域
流量域
售后域
财务域
精卫-数据填报系统
数据平台
离线计算平台
实时计算平台
算法平台
数据中台建设实践
实践路径
高效
高质量
网效的实践路径
赋能数据分析 高效分析
赋能业务系统 高效集成
赋能数据产品 高效研发
网效分析
分析师
2周
迭代周期
1 :10
测开比
数据中台快照
BI报表
营销分析 用户分析 流量分析
商品分析 订单分析 采购分析
VIPAPP 移动数据工作台
神相 用户行为分析
数据产品
大麦 商品数据运营
刑天 投放管理
河洛 供应链数据运营
谛听 舆情洞察
业务系统
商品中心
分销系统
运营工作台
供应商系统
CRM系统
品控工作台
严选有数-敏捷BI平台
关注点分离
高效 数据中台
分而治之
高质量
高效分析 高效集成 高效研发 任务治理
数据治理
普通任务 关键任务 耗时任务
源 仓 端
网易严选数据中台建设实践与网法论
分享网纲
• 数据中台建设背景 • 数据中台建设实践 • 数据中台方法论
数据中台建设背景
严选模式
品牌
+
平台
研发 消费者
生产
采购
配送
销售
物流 仓储
平台
线上渠道
app
PC 公众号 小程序
CRM DMP
搜
推
风
索
荐
控
数据中台
品牌
商品开发
工厂生产
采购入库
商品管理
市场运营
标签服务
查
询
系
统
仓颉-指标管理系统
数据仓库
68
应用数
67 0
模型数
2000 w
调用数
网效研发
VIPAPP 移动数据工作台
大麦 商品数据运营
河洛 供应链数据运作
指 标
神相 用户行为分析
刑天 投放管理
谛听 舆情洞察
统 一
监
权
控
数据导入服务
数据导出服务
限
服
服
务
统一查询服务
标签服务
务
数据产出服务
数据仓库
13
数据治理
(异常)任务治理
(异常)数据治理
(异常)任务治理
分类
流程
普通任务
关键任务 耗时任务
冷却任务
发现 任务监控报警
处理 值班人员恢复
(异常)任务治理
模块粒度任务监控
(异常)数据治理
数据源
DB协同 日志监控 夸父-埋点管理系统
数据仓库
数据稽查
数据应用
指标监控
指标网致性
统一定义 统一开发 统一使用
严选有数 数据仓库
业务人员
400
日UV
140000
日均PV
70000
图表数
网效分析
以终为始 PPT式操作
高性能
网效分析
数据化驱动
被动缓存
定时主动缓存
数据驱动缓存
精细化缓存
报告级 页面级 图表级
85%
缓存命中率
2S
平均响应时间
网效集成
开发
-
运营工作台 供应商系统
CRM
分销系统
遂
业务系统
人
自
助
统一查询服务
仓颉-指标管理系统
北斗-数仓设计管理系统
猛犸
燧人-指标地图系统
统一查询服务
数据产品
有数报告
业务系统
• 原子指标管口径 • 产品经理管原子指标
• 数仓管口径 • 先设计后开发
• 定义动态获取 • 定义交互规范
数仓体系
夸父-埋点管理系统
供 应
精卫-数据填报系统
架 构
北斗-数仓设计管理系统
数据仓库
质 量
统一查询服务
仓颉-指标管理系统 燧人-指标地图
夸父-埋点管理系统
商品域 用户互动域
采购域 营销域
数据中台
标签服务
数据仓库
仓储域
流量域
指标监控服务
数据产出服务
数据导入服务
物流域 售后域
交易域 财务域
数据质量中心 北斗-数仓设计管理系统
精卫-数据填报系统
数据平台
离线计算平台
实时计算平台
算法平台
网质量的实践路径
客户服务
仓储物流
交易履约
B I
全链路精细化运营
数
数
报 表
据 产 品
据 大 屏
数据中台
为什么要建数据中台
大规模的数据需求需要高效地满足
数据中台是什么
高效、高质量赋能数据前台的一系列数据系统和数据服务的组合
数据中台的定位
BI报表
营销分析 用户分析 流量分析
商品分析 订单分析 采购分析
VIPAPP 移动数据工作台
实时计算平台
算法平台
数据中台方法论
数据中台特征
全域、非内聚
数据中台
采购
活动
供应商
⋯
H5
⋯
数据中台的设计思维
分析师 业务系统开发 数据产品开发
用户导向
敏捷迭代
前台中台螺旋上升
产品化
产品交付
中台系统 数据服务 数据仓库
数据中台的实现网法
标准化
业务 流程
规范化
工具化
数据中台的实现网法
解决复杂问题的网法
品控工作台
严选有数-敏捷BI平台
统一查询服务
仓颉-指标管理系统 燧人-指标地图
夸父-埋点管理系统
商品域 用户互动域
采购域 营销域
数据中台
标签服务
数据仓库
仓储域
流量域
指标监控服务
数据产出服务
数据导入服务
物流域 售后域
交易域 财务域
数据质量中心 北斗-数仓设计管理系统
精卫-数据填报系统
数据平台
离线计算平台
神相 用户行为分析
数据产品
大麦 商品数据运营
刑天 投放管理
河洛 供应链数据运营
谛听 舆情洞察
业务系统
商品中心
分销系统
运营工作台
供应商系统
CRM系统
品控工作台
严选有数-敏捷BI平台 仓颉-指标管理系统
燧人-指标地图 夸父-埋点管理系统
统一查询服务
数据中台
标签服务
指标监控服务
数据产出服务
数据导入服务
商品域
数据质量中心
仓颉-指标管理系统
需 求
燧人-指标地图
数据中台快照
BI报表
营销分析 用户分析 流量分析
商品分析 订单分析 采购分析
VIPAPP 移动数据工作台
神相 用户行为分析
数据产品
大麦 商品数据运营
刑天 投放管理
河洛 供应链数据运营
谛听 舆情洞察
业务系统
商品中心
分销系统
运营工作台
供应商系统
CRM系统
数据仓库
数据中台
Biblioteka Baidu
采购域
仓储域
物流域
交易域
数据质量中心 北斗-数仓设计管理系统
用户互动域
营销域
流量域
售后域
财务域
精卫-数据填报系统
数据平台
离线计算平台
实时计算平台
算法平台
数据中台建设实践
实践路径
高效
高质量
网效的实践路径
赋能数据分析 高效分析
赋能业务系统 高效集成
赋能数据产品 高效研发
网效分析
分析师