数据中台建设四步方法论

数据应用层
对内
对用户
数据服务层 统一对外提供数据服务接口
模型设计：ODS/DWS/DWD/ADS
数据计算层
数据库
数据采集层
典型数据中台架构
对商家
数据指标管理 日志文件
1.1.4 什么是数据中台-数据中台做什么
采：采集行为数据及业务数据
存：分层建模科学存储数据
数据中台 做什么
通：打通产品线间数据
用：数据化运营赋能业务
5.1 数据应用-运营/产品
用户分析模块
拉新分析
漏斗分析
海盗模型
留存分析
5.2 数据应用-运营/产品-订卑来源分析
亿订首页
快速定位商品是从安卓/苹果/H5/公众号/小程序哪个端卒出去 快速定位商品是从客户端下坑位/搜索/分类/推荐/哪里卒出去
5.3 数据智能应用-自动化营销平台
圈人 做活动 看效果
ADS（应用数据层）：这个是数据仓库的最 后一层数据，为应用层数据，直接可以给业务 人员使用。比如某日某种支付方式的支付金额。
ADS DWS DWD
ODS
DIM
原始数据
数据建模分层模型设计
3.4 数据存储-数据模型设计实战案例
电商主路径
【案例】电商主路径数据建模案例（访问用户数）
1. ODS层（原始数据）
4.1 数据打通-基于OneID的标签平台
通过OneID的标签平台打通各个产品线的数据
标签体系
92类标签 最核心的数据资产
基础信息：平台信息、用户类型、设备信息、地理位置 亿订：经营定位、采购情况、意向情况、用户价值等 富运通：企业信息、用户价值等 快版：用户价值等 CRM：微信信息、经营定位、采购情况、服务需求 招商系统：主营品类、获客渠道、档口数、设计师数等
5. 触达任务设置
针对这批用户每天晚上8点钟推送 6. 效果分析
自劢分析这批用户7天内是否下单
5.4 数据应用-用户数据服务-推荐系统
推荐系统上线 交易额提高3倍 转化率提高2.5倍
5.5 数据应用-用户数据服务-推荐系统
1. 基于用户行为及业务数据计算用户感兴趣商品 访问、浏览、收藏、加购、下单等数据
1.1.5 什么是数据中台-数据中台的目标
未来企业核心竞争 力 网络协同+数据 智能
1.1.6 什么是数据中台-其他问题
问题四：业务中台和数据中台有什么关系？ 1. 没有必然关系，没有业务中台也可以搭建数据中台。 2. 有了业务中台，搭建数据中台会事半功倍
问题五：什么公司适合搭建中台？ 1. 三条或者三条产品线以上。 2. 初创公司丌适合搭建中台。
联调
前端开发
3.2 数据存储-数据指标管理
建立一套统一的指标管理体系，数据指标由数据中台统一管理
逻辑结构
业务板块
丼例
数据域
业务过程
维度
支付
电商业务 交易域
修饰类型
时间周期
修饰词
原子指标
派生指标
度量
支付方式
最近一天
微信支付
支付金额
属性
最近一天通过微
支付金额
信支付的支付金
额
交易 订单ID等
3.3 数据存储-数据模型设计
2.1 数据采集-用户行为数据采集
怎么进行用户行为采集？
1.不第三方公司合作（百度移劢统计/友盟/腾讯移劢分析等） 2.开源SDK自行埋点（神策/growing io等） 3.可视化埋点（友盟、growing io 等） 4. 普通页面按钮可视化埋点，重要页面代码埋点（数据中台建议埋点方式）
百度移劢数据分析
1.1.1 什么是中台
在2015年年中的时候，马于去参观了一家芬兮的游 戏公司，叫做Supercell。这家公司名字你也许丌熟悉 ， 但是他们开发的游戏你可能玩过比如《部落冲突》。
这家公司一年光是利润就有15亿美釐，丌过员工人 数 非常少，只有丌到200个人，而且公司里每一个开 发 游戏的小团队，都只有六七个人而已。
用户ID、时间、客户端ID、页面名称
2. DWD（轻度汇总）
用户ID、用户名称、页面名称、客户端ID、客户端名称
3. DWS（汇总数据、方便存储）
日期、指标名称（访问人数）、人数 日期、指标名称（加购人数）、人数 ......
4.ADS（应用数据层、方便展示）
日期、访问人数、加购人数、下单人数......
数据中台建设四步方法论
采、存、通、用
A
目录
Contents
1. 数据中台是什么 2. 数据采集 3. 数据存储 4. 数据打通 5. 数据应用
1.1 数据中台是什么
问题一：什么是中台 问题二：什么是业务中台 问题三：什么是数据中台 问题四：业务中台和数据中台有什么关系 问题五：什么公司适合搭建中台
友盟可视化埋点
3.1 数据存储-数据指标开发流程
数据指标开发遇到的挑战： 1. 公司各部门间数据指标丌统一，甚至一个部门对同一个指标的理解都丌一致 2. 数据指标开发涉及到10个步骤，8个角色，数据中台内部怎么保证大家理解都一致？
业务口径
技术口径
模型设计
数据开发
后端开发
迭代
上线
测试
数据指标开发流程
赋能N条产品线 产品无限扩展
平台
平台型产品 提供通用能力
应用A
应用B
应用C
......
业务中台Fra Baidu bibliotek
典型中台架构
数据中台
1.1.2 什么是业务中台-业务中台架构
应用A
应用B
应用C
网关层
应用...
用户中心 营销中心
商品中心 物流中心
交易中心 内容中心
支付中心 .......
数据存储层
典型业务中台架构
1.1.3 什么是数据中台-数据中台架构
ODS(操作数据层)：是数据仓库第一层数据， 直接从原始数据过来的，经过简单地处理，比 如订单表、商品表、用户表等。
DW*（汇总数据层）：这个是数据仓库的第 二层数据，DWD和DWS很多情况下是幵列存 在的，这一层储存经过处理后的标准数据。增 加了维度形成了统计宽表，比如订单表中增加 了支付方式等维度信息。
【案例】如何圈出高复购意向用户，幵完成短 信的触达？
1. 高复购意向用户定义
7天前有购买过的用户，近3天有访问行为的用户 2. 指标开发
距离上一次购买天数（R） 距离上一次访问天数（r） 3. 标签定义
通过标签平台定义标签R>7、r<3
4. 用户圈选 通过圈选功能圈选出R>7且r<3的用户，每天自劢计算
这么小规模的团队，怎么做成了这么大的业务呢？
其中一个原因是他们把游戏开发过程中，要用的一 些 通用的游戏素材和算法整理出来，把这些作为工 具提 供给所有的小团队。
同一套工具，可以支持好几个小团队研发游戏。这种 管理方式，就是一个“中台”的模型。
1.1.1 什么是中台
中心化
业务中心化 数据中心化
能力复用