爱奇艺推荐中台技术架构实践

爱奇艺APP
PPS
泡泡
好多 纳豆
姜饼 无际
…
APP PC VR
TV
…
多端适配（APP/PC/H5/PAD/VR/TV…）
多路召回
爱奇艺推荐中台
特殊策略干预
融合控制
排序 （粗排，精排、Rerank）
用户兴趣试探
新内容试探
通用推荐池平台
通用特征服务
基础内容理解组件
保量系统 基础用户画像
审核平台
标注平台
爱奇艺号
定向运营
AB分流
保量系统
用户兴趣服务
兴趣获取 兴趣衰减 兴趣试探 负反馈过滤 兴趣冷冻
召回服务平台 向量召回服务
向量召回
倒排召回服务
标签召回
协同召回
粗排服务
单路粗排
精排服务
多目标精排
多路粗排
多样性控制
多样性控制
模型Rerank
模型服务
LR
GBDT
FM
DNN
离线特征
实时特征
特征服务
特征填充
特征转换
引擎现场
含义 推荐区域，绑定策略配置
登录ID 设备ID 上下文ID，相关推荐 会话ID，翻页去重 主题ID，主题推荐
解决方案一：统一流程
Y 是否个性化
用户画像
N
请 求
Y 是否信息流
推荐历史
N
一级召回
一级排序
N 是否主题模式
Y
Rerank
二级召回
二级排序
响应
解决方案一：召回仓库
热门召回 标签召回 协同召回 主题召回 地域召回 向量召回
Word2Vec
协同过滤
DSSM
解决方案一：模型仓库
Logistic Regression Factorization Machines
GBDT
Wide & Deep DeepFM
目录
• 推荐中台背景 • 推荐中台架构 • 推荐中台实践
问题一：推荐形式不同 问题二：推荐实体不同
问题三：推荐需求不同
相关推荐
主题推荐
推荐需求
入场规则
时效性
多样性
AB实验
目录
• 推荐中台背景 • 推荐中台架构 • 推荐中台实践
问题一：推荐形式不同 问题二：推荐实体不同
问题三：推荐需求不同
• 业务对接效果
推荐闭环
用户 行为数据 实体数仓
算法 推荐池
引擎
推荐中台整体架构
爱奇艺 TO C 个性化用户触达系统
爱奇艺 TO C 短视频推荐触达系统
推荐池运维服务
一站式workflow 配置平台
自动化部署toolkit
推荐池通用逻辑层
业务推荐池孵化器
辅助功能
实体关联 通用缓存 通用去重
规则引擎
准入/过滤/ 退场
业务去重
数据校验
漏斗分析
HA
统一数据拓 通用元数据 数据补偿/
扑/字典
转换
纠错
干预后台
实时监控
长，短，小视频
爱奇艺号数据
适配数据生产源
智能特征库
• 业务对接效果
问题二：推荐实体不同
横屏视频
漫画
竖屏小视频
图文
直播
解决方案二：统一实体字段
通用字段定义 业务独有字段定义
原始字段名
映射字段名
id
Id
name/title
name
picture_url/cover_url
标签
业务画像
标准化标签
静态兴趣
计算
数据抽取 数据清洗 兴趣计算 兴趣衰减 兴趣合并
基础画像
全站基础 画像
短期兴趣 中期兴趣 长期兴趣 标签扩展
数据监控
超时监控 覆盖监控
召回
厌倦惩罚
策略
召回配比
质量控制
多模型融合
冷启试探
• 新用户模版召回 • 兴趣不足时的召回拓展
相关召回
• 实体词&主题词召回 • 分类召回 • 语义Embedding模型
推荐中台内部架构：特征工程
特征文件 meta特征
特征仓库
实时特征 消息
特征查询
特征数据
统计特征
深度特征
特征运维
一站式workflow配置平台
特征运维部署平台
附加服务
任务监控 特征校验
服务降级
HA
离线特征计算平台
数据源解析
数据转化
特征归一化
meta特征 计算框架
统计特征 计算框架
外部特征 接入框架
正排服务化 特征ID服务化
爱奇艺推荐中台技术架构实践
目录
• 推荐中台背景 • 推荐中台架构 • 推荐中台实践
问题一：推荐形式不同 问题二：推荐实体不同
问题三：推荐需求不同
• 业务对接效果
推荐中台背景
需求排期，堆积如山
业务方重复造轮子
推荐业务
小视频
热点
动漫
看点
推荐实体
横屏视频
漫画
竖屏小视频
图文
直播
推荐形式
个性化推荐
信息流推荐
附加服务
多语言 实时监控 智能降级
HA 回滚机制 服务发现 调用链
目录
• 推荐中台背景 • 推荐中台架构 • 推荐中台实践
问题一：推荐形式不同 问题二：推荐实体不同
问题三：推荐需求不同
• 业务对接效果
问题一：推荐形式不同
个性化推荐
信息流推荐
相关推荐
主题推荐
解决方案一：统一接口
参数 area passport_id device_id context_id session_id theme_id
基础服务平台
用户数据
通用AB TEST
分析平台
平台
内容生产系统
PGC优质内容
分布式在线机器 学习平台
大数据存储 和服务平台
优质卡段（人工，AI）
推荐中台内部架构
线上 引擎
用户兴趣
召回
过滤
用户画像 静态画像
特征工程 Meta特征
短期画像
统计特征
中期画像
向量特征
长期画像
来自百度文库
环境特征
粗排
精排
召回模型 热门召回 相关召回 协同召回 向量召回
协同召回
• Item协同过滤 • 行为Embedding模型
热门召回
• 全局热门 • 区分用户群的热门
样本处理流程
排序
模型
监控
线性模型
离线评估
树模型
深度学习 模型
多目标模型 融合
产出校验
推荐中台内部架构：引擎
UI
一站式workflow配置平台
上线部署配置平台
AB实验配置平台
人工干预
融合控制
Root服务
用户行为数据
非视频数据
自定义数据源
推荐中台内部架构：内容理解
内容理解 服务
业务定制 化组件
通用内容 理解组件
内容理解 基础技术
在线服务
消息推送
智能特征库
产品标签体 系定制
分类体系
内容标签
产品用户群行 为适配
内容深度表示
业务线标准适配
质量评估
内容风险评估
文本理解
多模态特征融合
图像理解
视频理解
音频理解
多样性控制
排序模型 LR FM
GBDT DNN
内容 理解
分类体系
内容标签
推荐池 视频
图文
直播
深度特征
质量评估
漫画
轻小说
…
Workflow 配置平台 基本配置
模块配置
报表 效果总表
AB实验 报表
推荐中台内部架构：推荐池
近实时Hbase表
推荐池数据服务
snapshot文件
实时更新消息
去重mapping
用户行为实时ETL
实时/离线规 范统一
流式ETL 处理框架
细粒度延迟 监控告警
多机房互备 （HA）
业务隔离
特征数据源接入平台
数据规范
解析配置
实时特征计算平台
实时meta 特征框架
实时统计 特征框架
实时特征归 session特征
一化
框架
推荐中台内部架构：算法
数据格式规约
数据接入
数据同步流程
配置文件
画像