实时计算和深度学习在国美智能推荐系统中的应用实践
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
排序
LR/GBDT/SVM Ranknet/LambdaMART DNN
效果评估
A/B test MAB(多臂赌博机)
常规召回算法
Collaborate Filtering Factorization Machine
28
FP-tree bprmf
SVD++ Generic Element-wise ALS
供应商
推荐
5
产品 智能导购 会员管理 精准选品
广告 后服务
场景1：详情页相似商品推荐
6
详情页位置关键 关联推荐 业务贡献度高 需品类、品牌、价格等商品维度 目的是减少用户购物路徂深度 负反馈
场景2：首页猜你喜欢
7
首页入口，位置关键 个性化展位，准确性要求高 召回池规模大 兼顾用户多维度兴趣 第一屏关键槽位贡献度高 商品多样性
常规召回算法徃解决的问题
丌考虑用户行为序列性 热销商品影响
29
计算量大
丌考虑时间因素
场景1：详情页相似商品推荐 | Session Based RNN
30
Session Based RNN
网络结构 训练过程
样本(数据）增强
场景1：详情页相似商品推荐 展示CVR提升： 49%
个性化推荐
26
召回
规则/CF SVD/FM/bpr-mf Session-based RNN
排序
LR/GBDT/SVM Ranknet/LambdaMART DNN
效果评估
A/B test MAB(多臂赌博机)
个性化推荐
27
召回
规则/CF SVD/FM/bpr-mf Session-based RNN
…
SSKSKUKU1U基基基础础础特特特征征征 总总浏总浏览浏览次览次数次数数 加加购加购次购次数次数数 下下单下单次单次数次数数 总总曝总曝光曝光次光次数次数数 实实时实时点时点击点击率击率率 实实时实时转时转化转化率化率率 ………
…
品品牌品牌1牌基基基础础础特特特征征征 总总浏总浏览浏览次览次数次数数 加加购加购次购次数次数数 下下单下单次单次数次数数 销量TopN 点击趋势
高吞吐 & 低延时
18 Event Time & 乱序事件 迭代和增量迭代
高度灵活的流式窗口
基于Flink的实时召回
Байду номын сангаас19
PC
APP WAP
猜你喜欢召回池 实时变化
基于Flink的实时特征计算
… 20181121 19:09.11,uid1,show,(skuid1,sku2,sku3…) …
… 20181121 19:09.37,uid1,view,productid1,skuid1 20181121 19:11.21,uid2,order,productid2,skuid2 …
实时计算和深度学习在国美智能推荐系统中的应用实践
目录
2
START
国美多业态场景
Ghantom推荐系统
深度学习在国美多业态推荐场景中的实践
目录
3
START
国美多业态场景
Ghantom推荐系统
深度学习在国美多业态推荐场景中的实践
国美多业态
4
新零售|多业态
多业态
人
货
新零售
场
店
推荐
服务
目标 用户
导购
• 部署环境： • K8S
目录
24
START
国美多业态场景
Ghantom推荐系统
深度学习在国美多业态推荐场景中的实践
个性化推荐部署流程
25
效果
数据
部署 模型
CHART INFORMATION There are many
variations of passages available.
处理
特征
目标
全局特征 实时PV 实时UV 实时订单数 实时客单价 当前在线人数
…
最近5分钟 最近30分钟 最近1小时 最近3小时 最近6小时 最近24小时
20
sku1
Feature_1:catidA
Feature_2:catidB
Feature_3:c…..
Feature_4:b….did
Feature_5:sxxxpid
预测
特征 按照模型，配制 计算 出各维度特征
模型预测，根据场景 需求进行业务规则过 滤，生成展示列表
召回
根据行为、用户画像 召回商品
优势
逻辑简单，符合机器学习 常用的workflow
丌足
工程师线上&线下代码逻 辑很难保证一致 离线训练模型需恢复数据 场景 延时较长，影响体验 线上服务大多数情况下资 源利用率低
场景3：购物车页猜你喜欢
8
收入再增长入口 再次选择 精准搭配 兴趣回顾 关键槽位贡献度高 商品多样性
场景4：移动端首页猜你喜欢
9
移动端商品信息流 槽位多 每屏曝光商品少 精确度要求高 实时兴趣反馈 Position Bias
场景5：无人店刷脸推荐
10 14
视频客服 智能导购 自动支付 人脸识别
………
…
品品类品类1类基基基础础础特特特征征征 总总浏总浏览浏览次览次数次数数 加加购加购次购次数次数数 下下单下单次单次数次数数 收收藏收藏次藏次数次数数 销量TopN 品牌TopN ………
…
用用户用户甲户基基基础础础特特特征征征 在在线在线时线时长时长长 最最近最近浏近浏览浏览的览的商的商品商品品 已已购已购商购商品商品品 消消费消费总费总金总金额金额额 客客单客单价单价价 平均浏览时长 ………
事件触发流程
用户 实时行为
request exposure
缓存
离线信息
数据变化，触发相关 特征计算
特征生产
特征变化，触发模型 进行预测
模型预测
15
预先生成展 位候选列表
fake request
国美数据驱动的推荐系统
16
Flink流式处理引擎
17
Flink优势
流处理和批处理统一 状态计算的 Exactly-Once 语义
Feature_6:p_name
Feature_7:c…1
…
sku2
Feature_1:catidA
…
基于Flink的实时接口监控
21
数据驱动的推荐系统Ghantom
22
Ghantom编译不部署
23
• 代码构建层级 • 如右图 • 从下往上构建 • 使用gitlab-Runner
• 编译环境 • docker
场景5：无人店刷脸推荐
11
新零售线下场景 强调入口效应 时段特征 召回结合规则和模型 线上&线下行为统一 多样性
精准推荐的关键问题
12
召回
架构
排序
目录
13
START
国美多业态场景
Ghantom推荐系统
深度学习在国美多业态推荐场景中的实践
通用架构的思考
14
架构
Pros & Cons
用户发起
推荐请求 用户 推荐服务 线上 接收请求 服务
LR/GBDT/SVM Ranknet/LambdaMART DNN
效果评估
A/B test MAB(多臂赌博机)
常规召回算法
Collaborate Filtering Factorization Machine
28
FP-tree bprmf
SVD++ Generic Element-wise ALS
供应商
推荐
5
产品 智能导购 会员管理 精准选品
广告 后服务
场景1：详情页相似商品推荐
6
详情页位置关键 关联推荐 业务贡献度高 需品类、品牌、价格等商品维度 目的是减少用户购物路徂深度 负反馈
场景2：首页猜你喜欢
7
首页入口，位置关键 个性化展位，准确性要求高 召回池规模大 兼顾用户多维度兴趣 第一屏关键槽位贡献度高 商品多样性
常规召回算法徃解决的问题
丌考虑用户行为序列性 热销商品影响
29
计算量大
丌考虑时间因素
场景1：详情页相似商品推荐 | Session Based RNN
30
Session Based RNN
网络结构 训练过程
样本(数据）增强
场景1：详情页相似商品推荐 展示CVR提升： 49%
个性化推荐
26
召回
规则/CF SVD/FM/bpr-mf Session-based RNN
排序
LR/GBDT/SVM Ranknet/LambdaMART DNN
效果评估
A/B test MAB(多臂赌博机)
个性化推荐
27
召回
规则/CF SVD/FM/bpr-mf Session-based RNN
…
SSKSKUKU1U基基基础础础特特特征征征 总总浏总浏览浏览次览次数次数数 加加购加购次购次数次数数 下下单下单次单次数次数数 总总曝总曝光曝光次光次数次数数 实实时实时点时点击点击率击率率 实实时实时转时转化转化率化率率 ………
…
品品牌品牌1牌基基基础础础特特特征征征 总总浏总浏览浏览次览次数次数数 加加购加购次购次数次数数 下下单下单次单次数次数数 销量TopN 点击趋势
高吞吐 & 低延时
18 Event Time & 乱序事件 迭代和增量迭代
高度灵活的流式窗口
基于Flink的实时召回
Байду номын сангаас19
PC
APP WAP
猜你喜欢召回池 实时变化
基于Flink的实时特征计算
… 20181121 19:09.11,uid1,show,(skuid1,sku2,sku3…) …
… 20181121 19:09.37,uid1,view,productid1,skuid1 20181121 19:11.21,uid2,order,productid2,skuid2 …
实时计算和深度学习在国美智能推荐系统中的应用实践
目录
2
START
国美多业态场景
Ghantom推荐系统
深度学习在国美多业态推荐场景中的实践
目录
3
START
国美多业态场景
Ghantom推荐系统
深度学习在国美多业态推荐场景中的实践
国美多业态
4
新零售|多业态
多业态
人
货
新零售
场
店
推荐
服务
目标 用户
导购
• 部署环境： • K8S
目录
24
START
国美多业态场景
Ghantom推荐系统
深度学习在国美多业态推荐场景中的实践
个性化推荐部署流程
25
效果
数据
部署 模型
CHART INFORMATION There are many
variations of passages available.
处理
特征
目标
全局特征 实时PV 实时UV 实时订单数 实时客单价 当前在线人数
…
最近5分钟 最近30分钟 最近1小时 最近3小时 最近6小时 最近24小时
20
sku1
Feature_1:catidA
Feature_2:catidB
Feature_3:c…..
Feature_4:b….did
Feature_5:sxxxpid
预测
特征 按照模型，配制 计算 出各维度特征
模型预测，根据场景 需求进行业务规则过 滤，生成展示列表
召回
根据行为、用户画像 召回商品
优势
逻辑简单，符合机器学习 常用的workflow
丌足
工程师线上&线下代码逻 辑很难保证一致 离线训练模型需恢复数据 场景 延时较长，影响体验 线上服务大多数情况下资 源利用率低
场景3：购物车页猜你喜欢
8
收入再增长入口 再次选择 精准搭配 兴趣回顾 关键槽位贡献度高 商品多样性
场景4：移动端首页猜你喜欢
9
移动端商品信息流 槽位多 每屏曝光商品少 精确度要求高 实时兴趣反馈 Position Bias
场景5：无人店刷脸推荐
10 14
视频客服 智能导购 自动支付 人脸识别
………
…
品品类品类1类基基基础础础特特特征征征 总总浏总浏览浏览次览次数次数数 加加购加购次购次数次数数 下下单下单次单次数次数数 收收藏收藏次藏次数次数数 销量TopN 品牌TopN ………
…
用用户用户甲户基基基础础础特特特征征征 在在线在线时线时长时长长 最最近最近浏近浏览浏览的览的商的商品商品品 已已购已购商购商品商品品 消消费消费总费总金总金额金额额 客客单客单价单价价 平均浏览时长 ………
事件触发流程
用户 实时行为
request exposure
缓存
离线信息
数据变化，触发相关 特征计算
特征生产
特征变化，触发模型 进行预测
模型预测
15
预先生成展 位候选列表
fake request
国美数据驱动的推荐系统
16
Flink流式处理引擎
17
Flink优势
流处理和批处理统一 状态计算的 Exactly-Once 语义
Feature_6:p_name
Feature_7:c…1
…
sku2
Feature_1:catidA
…
基于Flink的实时接口监控
21
数据驱动的推荐系统Ghantom
22
Ghantom编译不部署
23
• 代码构建层级 • 如右图 • 从下往上构建 • 使用gitlab-Runner
• 编译环境 • docker
场景5：无人店刷脸推荐
11
新零售线下场景 强调入口效应 时段特征 召回结合规则和模型 线上&线下行为统一 多样性
精准推荐的关键问题
12
召回
架构
排序
目录
13
START
国美多业态场景
Ghantom推荐系统
深度学习在国美多业态推荐场景中的实践
通用架构的思考
14
架构
Pros & Cons
用户发起
推荐请求 用户 推荐服务 线上 接收请求 服务