基于AnalyticDB for MySQL基础版构建实时数据仓库实践

03 灵活映射
• 库映射 • 表映射 • 列名映射 • 多表归并
DTS 功 能 介 绍 参 见 ： https://help.aliyun.com/document_detail/26595.html?spm=5176.55326.208404.7.6c9386fb9W8y61
04 白屏化操作
• 同步任务设置 • 目标表建立 • 灵活定制
基于AnalyticDB for MySQL基础版 构建实时数据仓库实践
技术创新，变革未来
01 总述
内 2. DTS实时同步
容
3. SLS准实时投递
大 纲
4. DMS企业版准实时同步
5. 总结
01 总述
实时构建大图
生产业务数据库
Oracle DB2
MS SQL Server MySQL PolarDB RDS DRDS MQ 流计算
6.预检查并启动
• 检查出错 • 重新修改 • 启动暂停
DTS RDS 同 步 到 ADB： https://help.aliyun.com/document_detail/49082.html?spm=a2c4g.11186623.6.700.1072612epv6gED
表个数限制
•T8：500 •T16和T32：1500 •T52：2500
OSS准实时投递
1、承接海量日志数 据，通过DLA打通 结构化和非结构化 分析，使得非结构 化数据准实时同步
2、更低成本，DLA 融合冷数据分析 +ADB温热数据分析
3、准实时
DMS准实时同步
1、更多数据源支持 2、更灵活的处理流 程 3、准实时
谢谢聆听！
20
01 多数据源支持
• MySQL • DRDS • PolarDB • ADB • DLA • PostgreSQL • SQL Server • ORACLE
DMS 官 网 ： https://cn.aliyun.com/product/dms
02 多周期
•月 •周 •日 • 小时 • 分钟
0 3 两种方式增量
ADB
3. DLA处理
• 配置OSS接入 • DSL （处理数据） • 投递到ADB
4. ADB
• 数据分析
04 DMS准ห้องสมุดไป่ตู้时同步
DMS准实时同步
数据管理（Data Management）DMS的数仓开发旨在为用户提供数据集成、加工、可视化和价值挖掘的一站式开发平台。
提供任务编排、数据仓库两种开发模式，均可以实现周期调度，满足用户不同应用场景的数仓开发需求。
DTS同步设置流程
1.创建DTS同步
• 源库类型 • 目标库ADB • 同步链路规格
2.配置任务
• 源库实例 • 目标实例 • 授权白名单
3.同步对象设置
• 全量数据 • 增量数据 • DDL过滤 • DML设置
4.对象映射
• 源库对象 • 目标对象 • 多表归并 • 字段映射
5.目标表设置
• 分区键 • 主键键
日志数据
数据传输 实时同步 DMS/ Dataworks
写入
AnalyticDB for MySQL
实时构建ADB数仓优点
查询速度快
解决业务库上大查询慢查询， 10X加速 OLTP与OLAP隔离
简单易用
快速构建数据仓库， 全面兼容MySQL协议和BI工具
实时化分析
减少OLTP- >OLAP数据延时 例如报表延时1分钟内
SLS
OSS
结果写入
DLA
ADB
结果回流
ECS
游戏数据运营最佳实践参考：（后续官网上线）
SLS准实时投递流程
1. SLS日志服务
• 项目Project • 日志库
Logstore • 配置数据接入
（日志源）
2.数据投递OSS
• OSS投递选项 • 分区格式 • 压缩方式 • RAM角色 • 投递时间 • 直接投递到
• 数据迁移 • 跨库SQL
DMS数仓开发- 数据迁移实现增量流程
1.创建任务流 • 设置任务基本信息
2.创建数据迁移节点
3.编排任务
• 设置源数据 • 设置目标为ADB • 通过数据迁移实现
• DAG任务节点顺序 • 前置依赖 • 试运行 • 指定时间运行
4.配置调度
• 调度类型 • 调度周期
•月 •周 •日 • 小时 • 分钟（e.g 3mins）
03 SLS准实时投递
SLS准实时投递
通过阿里云日志服务广泛的日志采集能力，加上DLA 内建的灵活可定制的ETL 能力，进行数据湖投递、处理、分析
同时将所需要的数据投递到ADB中，以游戏数据运营融合分析为例：
OSS
直接投递
数据清洗，
分析结果
ECS
自动投递
海量日志
SLS：日志投送服务 OSS ：对象存储服务 DLA ： 数据湖分析工具
02 DTS实时同步
DTS
数据传输（Data Transmission）DTS的数据同步功能旨在帮助用户实现两个数据源之间的数据实时同步。DTS通过解析 数 据源的增量日志，如binlog，将增量实时同步到ADB中。
01 多数据源支持
• MySQL • DRDS • PolarDB
02 多粒度
• 库：整库 • 表：选择特定表 • 列：表中的某几列数据 • DML过滤 • DDL过滤
3.编排任务
• 通过DBlink获取数 据源
• 数据抽取SQL，设 置增量变量（e.g. updated_at）
• 变量格式定义
• DAG任务节点顺序 • 前置依赖 • 试运行 • 指定时间运行
4.配置调度
5.运维中心
• 调度类型 • 调度周期
•月 •周 •日 • 小时 • 分钟（e.g 3mins）
• 调度时间 • 运行时带入变量的当前
值
• 执行日志查看 • 终止 • 重跑 • 暂停 • 恢复 • 置成功
DMS 跨库SQL实现增量参考： https://help.aliyun.com/document_detail/139316.html?
05 总结
DTS实时同步
1、白屏化操作 2、实时同步 3、依赖DTS同步 日志解析能力
• 调度时间
5.运维中心
• 执行日志查看 • 终止 • 重跑 • 暂停 • 恢复 • 置成功
DMS 数据迁移实现增量： https://help.aliyun.com/document_detail/147250.html?
DMS数仓开发- 跨库SQL增量流程
1.创建任务流 • 设置任务基本信息
2.创建跨库SQL任务