数据中台技术架构方法论与实践

数据中台技术架构方法论与实践

目录

1、建设背景与目标

2、技术架构与思路

3、构建过程：

1.PaaS

2.DaaS

3.DA

4、未来发展方向

5、建设经验总结

广告、注册、搜索推荐、风控、IM 、支付、客服…复杂生态APP、小程序、垂类；线上、线下；C2X，B2B，X2C 纵深链路

MVP

30+1400+

圈子、拍卖、寄卖、回收、自营、视频，切客…

流程规范烟囱模式孤岛重复指标重复时间保障

数据安全数据共享形式单一临时取数响应及时

外部业务：数据脏、乱、差，业务不满意

内部研发：疲于奔命、四处救火，普遍苦恼SQL-Boy，人肉提数机 方案：数据中台建设

目标：复用、赋能、降本提效

数据中台

1、建设背景与目标

2、技术架构与思路

3、构建过程：

1.PaaS

2.DaaS

3.DA

4、未来发展方向

5、建设经验总结

数据资源集中全域数据

技术

基础架构

全链路

产品

能力复用

赋能业务

组织

企业级

平台

2、转转数据中台技术架构与思路 到底什么是数据中台？有什么特点？

2、数据中台技术架构与思路

数据应用

/业务反馈

DA（数据应用层）服务业务化

BI报表

渠道分析商品分析交易分析

数据产品

智能挖掘自助报表精细化推送

业务系统

商品系统财务系统

应用治理

指标字典

数据统计/用户分析订单分析行为分析画像档案事件漏斗A/B Test运营系统客服系统血缘关系

分析/挖掘搜索推荐竞品分析商业分析自助留存监控告警电视看板搜索推荐质检系统数据地图

DaaS（Data-as-a-Service）资产服务化

留存模型主题表事件模型主题表

数据集市层

画像提取平台实时自助框架生命周期管理质量安全管理

数据建模数据仓库层

/存储用户主题商品主题交易主题收入主题广告主题行为主题

前端埋点后端日志

源数据层

业务数据库三方广告战略竞对线下表单

数据资产化PaaS（Platform-as-a-Service）

数据传输

MapReduce Spark

数据计算层

Storm Flink Kylin Druid

实时/批量

HDFS Hive

数据存储层

HBase MySQL TiDB ZZRedis

数据采集

Flume Sqoop

数据传输层

Kafka Lego WS Server

业务数据化

转转数据中台

1、建设背景与目标

2、技术架构与思路

3、构建过程：

1.PaaS

2.DaaS

3.DA

4、未来发展方向

5、建设经验总结

zzdp大数据平台

目标

–高可用、高性能、可扩展的大数据全链路一站式解决方案

核心组件/功能

–Flink、Flume、Kafka、Hadoop、Spark、HBase等存储计算框架–Docker云平台日志采集系统

–苍鹰大数据管理平台

–Skynet 调度平台

PaaS（Platform-as-a-Service）

Skynet调度平台

Flink Spark

数据计算层

Storm MapReduce Kylin Druid

苍鹰数据治理平台

HDFS Kafka

数据存储层

TiDB HBase MySQL ZZRedis

Lego日志采集平台

SDK Docker

异构数据源

Server DB Spider AD

苍鹰大数据管理平台：

为集群提供立体监控、自助化、可视化运维服务，保障高可用

核心功能

集群日常使用情况报表统计与跟踪

冷数据压缩、删除、小文件定期自动合并

日常各类自助化运维操作、监控告警

权限管理

资产管理与优化治理：用户/任务/日志/表总量、增量、异常数TOP 效果

10¹小文件

1%

超长任务数

30%

高峰负载

Skynet 调度平台

–轻量级、可维护、可扩展

–与Hadoop生态融合 核心功能

–任务精准时刻调度

–依赖方式灵活多样

–根据任务自建血缘关系 效果

20,000+

任务数

99.99%

可用性

传统的数仓为何在数据中台地位如此重要？

目标：

汇聚全域数据打破数据孤岛，沉淀企业完整稳定准确的数据资产

核心组件/功能

–Galaxy 全域数据仓库

–iQuery 自助式、可视化查询分析平台

承数据启业务

DaaS （Data-as-a-Service ）

iQuery

数据服务层Zeppelin ZZSCF

留存模型主题表事件模型主题表

数据集市层

画像提取平台实时自助框架

生命周期管理数据质量管理用户主题商品主题数据仓库层

交易主题收入主题

广告主题行为主题前端埋点

后端日志

源数据层

业务数据库三方广告

战略竞对

线下表单