内容电商推荐算法体系介绍
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
② 加入channel specific n e t w o r k 去学 习渠道特有的特征 l 加入产品迭代策略
③ 加入display learning n e t w o r k 去学习 不同的展示样式带来的效果
display learning network
Multi-Scale CNN
Dense Features
但是在具体场景应用R L 会有一些难点： l 缺乏模拟器，依靠模型在线学习 l 策略探索的regret比较高 l 高度spa rs e 高度方差的r e w a r d
可能的解法：基于监督信息以及辅助奖 赏的训练方法
决策与内容生态
内容质量
• 内容运营者本身在持续做traila n d - erro r，反馈的缺乏抓手主要问 题在于这个过程反馈缓慢，导致内容 运营者普遍追求短平快的手段，抑制 了平台供给水平的快速提升
点击
内容 详情
内容详情页
商品 详情
内容页 UI优化
Session 推荐
关联推荐
韩国 婚礼
… 举办 Text Tokens/Sente nces
…
Image Regions (e.g., object generator)
Raw Images
No Labels
Normal:
内容表征的工作
Next
Bert
交互策略
定坑展示/动态展示/跳失点展示/pop layer展示
召回策略
文本特征+ 商品特征+ 主题特征+ 场景特征
多目标排序策略
质量+ 个性化+ 动态相关性+ 商业目标
主题质量体 系
主题价值分 级
主题标签 建设
热点预估
内容加工 内容生产
商品簇挖掘，主题聚合，关键词理解， L B S 挖掘
图集生成，问大家结构化抽取，主题挖掘，场 景挖掘，图文生成
PAI TF
Porsche
选品
图文类 视频类
内容平台 内容库
直播类（离线+实时）
TimeLine（离线 + 实Βιβλιοθήκη Baidu）
我们的主要工作
业务目标 智能展示 投放算法 内容理解 内容建设 用户理解
宏观业务指标
大盘指标+ 各主题产品指标+ 用户粘性指标
卡片
胶囊
样式策略
微观业务指标
C T R + V V 率 + 停留时间+ G M V
Sentence
Masked LM
Multi-Modal:
➢ Bert style Transformer on 1 and 2
➢ Combining 1 and 3 for different tasks
Image-Text Pair Classification
Image EncodeDecode
目标
多目标
• 点击，停留时间，IPV，GMV • 还要考虑内容生态建设
系统架构
TPP（推荐入口）
SP（搜索入口）
Merge Sort (混排策略)
Query/User Feature
ABFS QP
Profile/Action
Igraph
Realtime User-Action User Long term-Trigger User embedding
recall
BE
内容召回链路：
宝贝召回链路：
向
u2follow；
I2i2a；
量
U2watch；
I2i2feed；
召
flowA2a；
I2a；等
回
A2a；等
Rank/Sort
RTP
Feed Feature
Feed Feature
Blink
ODPS
日志/系统event
离线/在线学习系统
Model
PAI PS
D&W Features
Display learning network
l 工程上实现了业务无关，完全按照展示样式和位置s c h e m a l 对算法来说，是很好的display learning 特征
显示单张图还是多张图 列表的主图 瀑布流主图 标题 副标题 业务类型的icon，个数/类型 底部展示的icon，个数/类型 底部icon后面追回的文本 底部tag文案 最后一张图上的第一行文案 最后一张图上的第二行文案 直播观看人数文案 lbs类型的距离文案
需求分类
意图识别
兴趣热点/ 平滑
短期行为理解
负反馈识别
购物决策阶 段
用户实时意图
实时挖掘用户浏览等长期忽略的行为，动态认知
外部数据理解
特别关注热点数据，获取并理解淘内没有的增量信息
达人/机构
运营/商家
媒体/达人等级建设，流量分配，运营机制
内部 画像
外部 画像
多维 属性
时空 偏好
打通淘内电商数据，UC/ 优酷等数据，长期用户数据
Feature Extraction
Dense Features
Sparse Features
channel specific network
Co-Training Network
Content Embedding network
基于co-training的多场景训练
① 大小渠道联合学习解决淘宝经验冷启动的 问题
Image Inpainting
Next Sentence
Masked LM
Output:
Text Embedding Image Embedding Multi-Modal Embedding
OR
Finetune (sub)network on new tasks (e.g., CTR)
Objective
用户
点击换词/ 刷新
关键
词/用
户触
发
与 商
品
混 排
点击换词/ 刷新
智能内容 首页素材库
优化
首图 首Icon Suggest
内容建设辅助
图文类 视频类
内容平台 内容库
直播类（离线+实时）
TimeLine（离线 + 实时）
选品
内容 列表
内容 坑位
Feeds 展示 排序
召回
相似 内容
点击
详情回退 详情回退
内容电商推荐算法体系介绍
技术创新 变革未来
目录
内容电商的主要挑战 系统框架 我们的主要工作 心得体会
l 内容电商的主要挑战
场景
场景分散
• 内容电商的业务场景多，分散 • 还有大量的内容场景，穿插在其他产品下面
模态
多变模态
• 目前包含：图片集，文本，短视频，中长视频，直播等形态 • 每种类型还有若干种展示方案
在线决策- LTR
• 特点&挑战 业务目标复杂 ✓ 业务多目标 ✓ 人群目标差异 ✓ 支持流量调控 ✓ 冷启动 online-LTR ✓ 数据分布变化(case：大促期间)，更快的拟合新数据 ✓ 快速响应需求：能够灵活调头，指哪打哪儿
在线决策— RL
• list天然是一个序列决策过程，可以兼顾多个业务要求 • 使用神经网络去逼近策略函数和Q 函数 （soft u p d a t e , replay buffer）
③ 加入display learning n e t w o r k 去学习 不同的展示样式带来的效果
display learning network
Multi-Scale CNN
Dense Features
但是在具体场景应用R L 会有一些难点： l 缺乏模拟器，依靠模型在线学习 l 策略探索的regret比较高 l 高度spa rs e 高度方差的r e w a r d
可能的解法：基于监督信息以及辅助奖 赏的训练方法
决策与内容生态
内容质量
• 内容运营者本身在持续做traila n d - erro r，反馈的缺乏抓手主要问 题在于这个过程反馈缓慢，导致内容 运营者普遍追求短平快的手段，抑制 了平台供给水平的快速提升
点击
内容 详情
内容详情页
商品 详情
内容页 UI优化
Session 推荐
关联推荐
韩国 婚礼
… 举办 Text Tokens/Sente nces
…
Image Regions (e.g., object generator)
Raw Images
No Labels
Normal:
内容表征的工作
Next
Bert
交互策略
定坑展示/动态展示/跳失点展示/pop layer展示
召回策略
文本特征+ 商品特征+ 主题特征+ 场景特征
多目标排序策略
质量+ 个性化+ 动态相关性+ 商业目标
主题质量体 系
主题价值分 级
主题标签 建设
热点预估
内容加工 内容生产
商品簇挖掘，主题聚合，关键词理解， L B S 挖掘
图集生成，问大家结构化抽取，主题挖掘，场 景挖掘，图文生成
PAI TF
Porsche
选品
图文类 视频类
内容平台 内容库
直播类（离线+实时）
TimeLine（离线 + 实Βιβλιοθήκη Baidu）
我们的主要工作
业务目标 智能展示 投放算法 内容理解 内容建设 用户理解
宏观业务指标
大盘指标+ 各主题产品指标+ 用户粘性指标
卡片
胶囊
样式策略
微观业务指标
C T R + V V 率 + 停留时间+ G M V
Sentence
Masked LM
Multi-Modal:
➢ Bert style Transformer on 1 and 2
➢ Combining 1 and 3 for different tasks
Image-Text Pair Classification
Image EncodeDecode
目标
多目标
• 点击，停留时间，IPV，GMV • 还要考虑内容生态建设
系统架构
TPP（推荐入口）
SP（搜索入口）
Merge Sort (混排策略)
Query/User Feature
ABFS QP
Profile/Action
Igraph
Realtime User-Action User Long term-Trigger User embedding
recall
BE
内容召回链路：
宝贝召回链路：
向
u2follow；
I2i2a；
量
U2watch；
I2i2feed；
召
flowA2a；
I2a；等
回
A2a；等
Rank/Sort
RTP
Feed Feature
Feed Feature
Blink
ODPS
日志/系统event
离线/在线学习系统
Model
PAI PS
D&W Features
Display learning network
l 工程上实现了业务无关，完全按照展示样式和位置s c h e m a l 对算法来说，是很好的display learning 特征
显示单张图还是多张图 列表的主图 瀑布流主图 标题 副标题 业务类型的icon，个数/类型 底部展示的icon，个数/类型 底部icon后面追回的文本 底部tag文案 最后一张图上的第一行文案 最后一张图上的第二行文案 直播观看人数文案 lbs类型的距离文案
需求分类
意图识别
兴趣热点/ 平滑
短期行为理解
负反馈识别
购物决策阶 段
用户实时意图
实时挖掘用户浏览等长期忽略的行为，动态认知
外部数据理解
特别关注热点数据，获取并理解淘内没有的增量信息
达人/机构
运营/商家
媒体/达人等级建设，流量分配，运营机制
内部 画像
外部 画像
多维 属性
时空 偏好
打通淘内电商数据，UC/ 优酷等数据，长期用户数据
Feature Extraction
Dense Features
Sparse Features
channel specific network
Co-Training Network
Content Embedding network
基于co-training的多场景训练
① 大小渠道联合学习解决淘宝经验冷启动的 问题
Image Inpainting
Next Sentence
Masked LM
Output:
Text Embedding Image Embedding Multi-Modal Embedding
OR
Finetune (sub)network on new tasks (e.g., CTR)
Objective
用户
点击换词/ 刷新
关键
词/用
户触
发
与 商
品
混 排
点击换词/ 刷新
智能内容 首页素材库
优化
首图 首Icon Suggest
内容建设辅助
图文类 视频类
内容平台 内容库
直播类（离线+实时）
TimeLine（离线 + 实时）
选品
内容 列表
内容 坑位
Feeds 展示 排序
召回
相似 内容
点击
详情回退 详情回退
内容电商推荐算法体系介绍
技术创新 变革未来
目录
内容电商的主要挑战 系统框架 我们的主要工作 心得体会
l 内容电商的主要挑战
场景
场景分散
• 内容电商的业务场景多，分散 • 还有大量的内容场景，穿插在其他产品下面
模态
多变模态
• 目前包含：图片集，文本，短视频，中长视频，直播等形态 • 每种类型还有若干种展示方案
在线决策- LTR
• 特点&挑战 业务目标复杂 ✓ 业务多目标 ✓ 人群目标差异 ✓ 支持流量调控 ✓ 冷启动 online-LTR ✓ 数据分布变化(case：大促期间)，更快的拟合新数据 ✓ 快速响应需求：能够灵活调头，指哪打哪儿
在线决策— RL
• list天然是一个序列决策过程，可以兼顾多个业务要求 • 使用神经网络去逼近策略函数和Q 函数 （soft u p d a t e , replay buffer）