《腾讯广告的数据分析系统》

关于我

11年加入腾讯

关注分布式存储和计算系统现负责腾讯广告数据系统

?丰富的广告资源

?精准的定向能力

腾讯社交广告

?预先聚合?实时+离线?灵活性不够?查询速度快

数据分析

?查询时聚合

?预先将数据处理成易于查询的格式?灵活性高?查询时计算量大

预先聚合的计算系统

LAMDA 架构

接入

计算

存储

?问题：任务越来越多，计算资源消耗越来越大?合并原始数据聚合的工作，减少重复IO 和数据解析的开销?多个pig, hive, mapreduce -> 一个mapreduce 生成多个聚合结果?一份代码，易于性能优化

?

时间均匀分布，提高集群利用率

统一计算框架

任务解耦 – 流式计算