腾讯实时流计算平台演进之路
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
腾讯实时流计算平台演进之路
杨华(vinoyang)
腾讯高级工程师
目录•Flink在腾讯实时计算概况简介
•Oceanus平台简介
•针对Flink的扩展与优化
•Q&A
Flink 在腾讯的演进历
程
2017年上
Flink 框架预研，跟Storm 进行对比
2017年下
Flink 内部版本定制开发，Storm 业务迁移，Standalone 集群模式运行
2018年上
Flink 产品化，打造一体化的实时流计算平台Oceanus,Flink on Yarn
2018年下
实时流计算平台规模化接入腾讯内部业务(覆盖所有BG)与外部客户并上线公有云2019年上完善场景化服务，上线在线ML ，同时发力Flink 批处理，打造
SuperSQL
Flink赋能腾讯实时计算
Flink 在腾讯实时计算的规模
集群总核数34万
峰值算⼒力力2.1亿/s ⽇日均消息量量
近20万亿⽬目前，腾讯内部除⼴广告的在线训练业务外，原先运⾏行行在Storm上的实时流计算业务都已逐步迁移⾄至Flink平台，⼴广告业务的迁移计划预期也在今年年下半年年完成。
目录•Flink在腾讯实时计算概况简介
•Oceanus平台简介
•针对Flink的扩展与优化
•Q&A
Oceanus平台整体技术架构
Oceanus-应用列表