DNN优化首页排序的应用

CTR
人均点赞
多目标
人均收藏
多目标
人均分享
人均回答
Online Learning 的尝试及经验
背景
1. 提高模型更新频率，防止概念漂移
• DNN 刚上线时一周更新一次模型 • 解决模型训练慢的瓶颈后天级更新 • 小时级 or 分钟级 • 实时训练与推断
2. 快速学习ID类特征
• 新内容分发后快速学习 item embedding
多目标 DNN
Online learning
多目标学习探索和应用
多维度提升用户体验
- CTR 单一指标不能准确反映用户体验 - 与用户圈层结合，给产品提供更多的可优化空间
多目标方案
独立模型
分别训练多个模型，每个模型学习一个目标 • 优点：可以分别针对不同的目标优化效果而不影响其他模型 • 缺点：线上服务预估部分计算量加倍，机器资源比较浪费
• 新用户产生浏览行为后快速学习 user embedding
Online Learning 的尝试及经验
面临问题
训练数据流
• 实时生成样本特征 • 等待 label方式 • 数据采样方式
特征映射
• 新增特征映射问题
模型调整 模型更新方式
• 优化器选择 • batch size 及学习率调整
• 模型服务方式 • 模型更新间隔
log： ∑- ������- ∗ log(������������������- + ������-)
用户圈层结合
高互动用户提高互动权重 低互动用户提高阅读权重 高创作用户提高回答权重
多目标Βιβλιοθήκη Baidu习探索和应用
上线效果
60.00% 50.00% 40.00% 30.00% 20.00% 10.00%
0.00% -10.00%
Ranking 策略演进过程
TimeLine
EdgeRank
GBDT
DNN
基于规则
基于模型
推荐页场景及 Ranking 介绍
DNN 结构
• 上线效果
- CTR +25.4% - 人均天时长 +300 秒 - 次日留存 +1.98%
推荐页场景及 Ranking 介绍
DNN 模型演进过程
单目标 DNN
正则 激活函数
• Adam 相比 SGD 及 FTRL，收敛快且效果更好 • 稀疏特征较多，选择 LazyAdam • batch size 设大效果好 • 防止短时 label 过于集中
• ID 特征应当使用 dropout
DNN优化首页排序的应用
推荐页场景和 Ranking 介绍 多目标学习探索和应用
DNN 中 online learning 的尝试及经验 总结与展望
推荐页场景和 Ranking 介绍
• 基于用户兴趣个性化推荐问答 • 发现更大的世界 • 渗透率达88%，使用时长占比76%
推荐页场景和 Ranking 介绍
多目标学习探索和应用
多目标融合方案
方式一：������������������������������������������ ������������������������������ = ∑- ������- ∗ ������������������-
方式二：������������������������������������������ ������������������������������ = ∏-(������������������- + ������-)67
• 过去行为：浏览/点 赞/分享/收藏
上下文特征
• 访问时间，机型， session
内容特征
交叉特征
• 统计特征：CTR，点 赞数
• 文本特征：关键词， 话题，tf，idf
• 作者特征：权威度， 被关注数
• 用户特征与内容交 叉：是否关注话题/ 作者，对内容感兴 趣度
推荐页场景及 Ranking 介绍
Online Learning 的尝试及经验
实时训练数据流程
Online Learning 的尝试及经验
离散 ID 特征动态映射方案
• 通过 redis 实现，可动态进行特征映射，让 online learning 学习新特征
Online Learning 的尝试及经验
模型调整
优化器 Batch Size Dropout
推荐页流程
线上模块
召回：协同/标签/… 排序：规则/机器学习 重排序：提权/隔离/强插..
线下模块
准备数据：落地请求相关的 日志
特征提取：确定特征和生成 训练数据
模型训练：生成模型供线上 使用
推荐页场景及 Ranking 介绍
特征介绍
用户特征
• 固有属性：性别， 年龄
• 统计特征：阅读长 度
• 用户兴趣：实时， 话题，关键词
������ ������ = ������ + (1 − ������)/������
������ ������ = ������ + (1 − ������)������
多目标学习探索和应用
修正 ESSM 模型上线效果
8.90% 7.90% 6.90% 5.90% 4.90% 3.90% 2.90% 1.90% 0.90% -0.10%
加权模型
• 以点击为主要目标，对含有其他正向行为的样本，loss 进行加权 • 优点：只修改训练代码就行，线上服务不需要做改动，直接加载生成模
型即可上线
• 缺点：难于评估每个目标的贡献，无法对特定的用户群做策略优化
多目标模型
• 一个模型中预测所有目标分数，模型共享大部分参数 • 优点：减少模型参数量和计算资源开销，排序时各目标分数
CTR
多目标
人均点赞
人均收藏
多目标
人均分享
专业性内容
多目标学习探索和应用
修正 ESSM 模型
• 多目标 ESSM 模型
- 将用户次目标行为拆解为点击率*转化率 - 副目标正样本数量过于稀疏，可以更好地利用主目标样本的信息来提升副目标预估效果 - 直接应用，小流量无正向效果
• 修正 ESSM 模型
- 根据训练数据负样本的降采样率，对 ctr 预估值按照以下公式进行矫正
灵活组合 • 缺点：各 loss 权重不好调整，模型后期容易产生震荡
多目标学习探索和应用
共享参数方案
多目标网络
- 结构：底层共享参数，最上层参数不同，学习各自目标 - loss：各目标交叉熵损失函数加权组合
loss调权方式
- 等权重相加 - 按 loss 大小配平，效果差 - 算法自动调权，无明显效果 - 各目标 loss 交替学习，效果差