张小川---feed分级缓存的极致优化
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
全球软件案例研究
峰会
feed分级缓存的极致优化带来50%的效率提升
议程全球软件案例研究
峰会
•Feed架构挑战
•Feed缓存极致优化效果•Feed缓存架构设计
•Feed缓存架构优化
•Feed缓存架构平滑升级
全球软件案例研究峰会
微博用户数持续快速增长
微博发博量持续增长全球软件案例研究
峰会
Feed架构挑战
全球软件案例研究
峰会
•Data bigger than bigger, 微博数据量指数级增长。
•Speed faster than faster，用户体验要求微博越来越快。
•Business more and more，微博平台架构需要
支撑越来越多的业务。
Feed缓存架构优化目标全球软件案例研究
峰会
•构建高可用，高性能，可扩展的微博缓存架构，满足微博未来2-3内的业务发展需求。
•提高性能，在成本与性能之间找到极致的平衡点。
•缓存架构平滑升级，不能影响线上业务。
全球软件案例研究
峰会
Feed缓存架构优化成果
接口响应时间对比
新架构（MVD）老架构（VSL）friends_timeline/ids34ms63ms
friends_timeline85ms130ms
全球软件案例研究峰会
Feed缓存架构优化成果
•缓存服务器数据分析
缓存数据聚合时间容量（用户数）带宽（晚高峰）VSL21.2ms2亿40M/S
MVD 4.5ms4亿10M/S
全球软件案例研究峰会
Feed缓存架构设计•缓存架构高可用设计
•缓存预热与灰度上线
•缓存服务保障体系
•缓存架构平滑升级
一致性Hash 全球软件案例研究
峰会
多级缓存架构设计全球软件案例研究
峰会
•Feed推拉结合模式全球软件案例研究
峰会
•缓存示意图
全球软件案例研究
峰会
全球软件案例研究峰会Feed缓存架构优化
•优化思路
分析用户行为日志与微博曝光量日志，精简数据计算与存储，减少信息过载。
满足新业务发展需要，丰富缓存数据的数据结构。
压缩数据，降低带宽消耗，并提升缓存的利用率。
全球软件案例研究峰会
Feed 缓存架构优化
•用户行为抽样数据分析
用户浏览页数统计
微博曝光量日志抽样分析
97%用户都是浏览5天内的微博。
无page 参数
pag=1page=2page=3page>3比率0.380.540.0330.0170.034
全球软件案例研究
•缓存设计
峰会
•缓存数据结构
meta {reserved,{mid,uid, rtid, rtuid,flag, extflag}}
•Feed 聚合图
全球软件案例研究
峰会
Feed缓存架构平滑升级全球软件案例研究
峰会
缓存预热要点：
1.缓存容量规划
2.缓存数据一致性校验
3.缓存数据slab分布（Memcache)
全球软件案例研究峰会
Feed缓存架构平滑升级
缓存服务保障体系
Feed缓存架构平滑升级全球软件案例研究
峰会
缓存架构平滑升级要点：
1.记录上线步骤列表与check list。
2.灰度上线步伐与开关切换。
3.双写新老缓存，保持数据的热度。
4.回滚方案。
全球软件案例研究峰会 TOP 100 CASE STUDIES
OF THE YEAR Feed
缓存架构平滑升级
21
全球软件案例研究
峰会 TOP 100 CASE STUDIES OF THE YEAR TOP100Summit 案例研究峰会官网：。