深度学习与智能对话机器人
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 预测值组合：组合多个算法的预测值
• LinearReg, NN, GBDT, RF
• 特征扩充：一个算法的输出作为另一 个算法的输入特征 • 切换：不同算法间相互切换
• DT, Rule-based
• 准确度之外的其他指标
RecBot
• 覆盖面（Coverage）：被推荐的物品占所有物品的比例 • 多样性（Diversity）：覆盖用户各方面的兴趣，而不仅是一部分 • 新颖性（Novelty）：推荐长尾（小众）部分的物品 • 惊奇性（Serendipity）：用户不期望系统能推荐，但用户真感兴趣
6ᅩ
ጱ
۱
• 单轮识别模型
R X W S X W
Route-Bot——领域/意图检 测
＜ॠ࿈!
R X W S X W
＜ ! ＜ !
• RNN/CNN + DNN
• 多轮识别模型：多轮对话
• RNN/CNN + RNN
＜ॠ࿈!
X I O O \ FRQQHFW HG
W U D Q V L W L R Q5 1 1
-
APP 下载量比前—年下降20% 前3位 APP 占据80%时间 过去2年消息平台爆发式增长 70%用户倾向千文本消息而非电话
爱因互动www.einplus.cn 主流消息平台使用增长情况
对话产业
爱因互动www.einplus.cn
爱因互动www.einplus.cn
爱因互动 EIN+
• 为企业提供人工智能对话解决方案 • Conversation as a Service
爱因互动www.einplus.cn
爱因互动
www.einplus.
合作示例
• 订餐小小秘书
槽位提取
意图识别
多轮对话 回 复生 生 成
商品推荐
爱因互动www.einplus.cn
多通道 API
高可用工程框架
• 融合
• 不同的问题， 不同的框架， 不同的模型
DeepBot对话框 架
• 亦称为槽位提取
Q , W H Q WW U D F N L Q J
＜ !
＜ !
＜ ! ＜ॠ࿈!
/670
V H Q W H Q F H5 1 1
HPEHGGLQJ
HPEHGGLQJ
L Q S X W
ଆ ౯ จ૬ظ ฎ ೭ ހ Ҙ กॠ ฎ ॠษ Ҙ
L Q S X W
۹Ղ
กॠ
ॠ࿈
ই֜
• 帮助三方共赢
RecBot
• 系统框架：线下 + 近实时 + 实 时
RecBot
• 各种交互数据
U1
U2 U3
RecBot
I1
I2 I3
U1
U2 U3 D1 D2
I1
I2 I3
U1 U2 U3
U1 U2 U3
ŏ
ŏ
ŏ
ŏ
ŏ
ŏ
Um
In
Um
Dk
In
Um
አ᯿ －Ծ᯿
አ᯿ －ᵱ᯿ －Ծ᯿
አ᯿ －አ᯿
ŏ
Um
• 多目标
• Pareto边界：在保证其他目标在一定约束范围内，优化主要的一个目 标 • 多个目标综合为单个目标
• 技术指标 ≠ 业务指标
爱因互动www.einplus.cn
RecBot
• 推荐理由
• 使用推荐服务时，用户往往没有 明确需求，推荐系统需要提供能 说服用户的理由
• 通过产品提供的服务 • 通过服务消耗可以推断用户兴趣， 进而产生推荐理由 • 通过优惠信息 • 通过具体的节省计算
ᅷᙂ
҅
ஞ ఘ
Ḙ Ӥ
অ
• 系统框架
• SLU -> DST -> DPO -> NLG
TaskBot
,nform (or()r_op== 丁，
᯿᯿
$65
᯿᯿ ړ᯿
6/8
r ) s t a u r a n t _ n a m ) = 云海肴， s u b b r a n c h = 中关村店）
• 代表性模型
RecBot
• Item/User-based kNN • MF
• FM
• DNN/CNN/RNN
Βιβλιοθήκη Baidu
• 表征用户
RecBot
• 利用表示学习获得用户相关的各种特征，再把这些表示结果用于预测用 户的短期需求和长期需求
• 表征产品
RecBot
• 每个产品包含的服务以及价格等基本信息，可以显性刻画此产品；而用 户对产品的购买等行为数据，可以隐性地刻画此产品
Ҙ
FAQBot
.%/.*
᯿᯿
• 匹配模型
᯿᯿ ړ᯿
༄ᔱ
• CNN/RNN + DNN
܃᯿
᯿ഭଧ
ᒼ ໜ > ڜ ᯿ @
／ Ԏ
7)-,')
4 4 PDWFK 4 $ PDWFK
%XVLQHVV
॔ݙ ݙ
/W5
'11
ឭ ٌ ও ஞ ఘ ӧঅ
ጱ
• 特色
• 语义匹配 • 问题带背景 • 答复带参数
• • • • 序列标注问题 HMM/CRF LSTM BiLSTM-CRF
问题分析——实体识 别
R X W S X WO D E H O L Q J
2 2 2
%-1
%-7
,-7
2
%-5
F R Q F D W H Q D W H G
%L-511
HPEHGGLQJ
L Q S X W
ଆ౯
Ӟ ӻ
፠ ӳ ก ภ
• 特色
• 任务包含20+种实 体 • 实际项目中包含实 体最多的任务
.%/.*
'67
'32
ᒼ ໜ > ڜ ᯿ @
776
1/*
request(phone, name)
• DM: DST + DPO à DRL
• https://github.com/MiuLab/TC-Bot
TaskBot
End-to-End Task-Completion Neural Dialogue Systems
• 表征用户×产品
RecBot
• 在获得了用户与产品的表征向量，以及用户的短期与长期需求后，使用 推荐模型从历史数据中学习模型
• 目标函数借鉴Learning to Rank
• Point-wise • Pair-wise • List-wise
• 融合（Ensemble）
RecBot
• 兴起于Netflix Prize竞赛，已成业 界 标配 • 常用组合方法
深度学习与智能对话机器人
技术创新，变革未来
目录
• 对话机器人的兴起 • 爱因互动的Bot技术：DeepBot及其 他 • 对话机器人的商业实践
对话机器人简史
对话服务爆炸式增长
Chatbot 在 Google Trends 中搜索量的变化
2016.3 微软 Bot Framework 2016.4 Facebook Messenger 平台 2016.5 Google Assistant 2016.6 苹果 Siri SDK
• LinearReg, NN, GBDT, RF
• 特征扩充：一个算法的输出作为另一 个算法的输入特征 • 切换：不同算法间相互切换
• DT, Rule-based
• 准确度之外的其他指标
RecBot
• 覆盖面（Coverage）：被推荐的物品占所有物品的比例 • 多样性（Diversity）：覆盖用户各方面的兴趣，而不仅是一部分 • 新颖性（Novelty）：推荐长尾（小众）部分的物品 • 惊奇性（Serendipity）：用户不期望系统能推荐，但用户真感兴趣
6ᅩ
ጱ
۱
• 单轮识别模型
R X W S X W
Route-Bot——领域/意图检 测
＜ॠ࿈!
R X W S X W
＜ ! ＜ !
• RNN/CNN + DNN
• 多轮识别模型：多轮对话
• RNN/CNN + RNN
＜ॠ࿈!
X I O O \ FRQQHFW HG
W U D Q V L W L R Q5 1 1
-
APP 下载量比前—年下降20% 前3位 APP 占据80%时间 过去2年消息平台爆发式增长 70%用户倾向千文本消息而非电话
爱因互动www.einplus.cn 主流消息平台使用增长情况
对话产业
爱因互动www.einplus.cn
爱因互动www.einplus.cn
爱因互动 EIN+
• 为企业提供人工智能对话解决方案 • Conversation as a Service
爱因互动www.einplus.cn
爱因互动
www.einplus.
合作示例
• 订餐小小秘书
槽位提取
意图识别
多轮对话 回 复生 生 成
商品推荐
爱因互动www.einplus.cn
多通道 API
高可用工程框架
• 融合
• 不同的问题， 不同的框架， 不同的模型
DeepBot对话框 架
• 亦称为槽位提取
Q , W H Q WW U D F N L Q J
＜ !
＜ !
＜ ! ＜ॠ࿈!
/670
V H Q W H Q F H5 1 1
HPEHGGLQJ
HPEHGGLQJ
L Q S X W
ଆ ౯ จ૬ظ ฎ ೭ ހ Ҙ กॠ ฎ ॠษ Ҙ
L Q S X W
۹Ղ
กॠ
ॠ࿈
ই֜
• 帮助三方共赢
RecBot
• 系统框架：线下 + 近实时 + 实 时
RecBot
• 各种交互数据
U1
U2 U3
RecBot
I1
I2 I3
U1
U2 U3 D1 D2
I1
I2 I3
U1 U2 U3
U1 U2 U3
ŏ
ŏ
ŏ
ŏ
ŏ
ŏ
Um
In
Um
Dk
In
Um
አ᯿ －Ծ᯿
አ᯿ －ᵱ᯿ －Ծ᯿
አ᯿ －አ᯿
ŏ
Um
• 多目标
• Pareto边界：在保证其他目标在一定约束范围内，优化主要的一个目 标 • 多个目标综合为单个目标
• 技术指标 ≠ 业务指标
爱因互动www.einplus.cn
RecBot
• 推荐理由
• 使用推荐服务时，用户往往没有 明确需求，推荐系统需要提供能 说服用户的理由
• 通过产品提供的服务 • 通过服务消耗可以推断用户兴趣， 进而产生推荐理由 • 通过优惠信息 • 通过具体的节省计算
ᅷᙂ
҅
ஞ ఘ
Ḙ Ӥ
অ
• 系统框架
• SLU -> DST -> DPO -> NLG
TaskBot
,nform (or()r_op== 丁，
᯿᯿
$65
᯿᯿ ړ᯿
6/8
r ) s t a u r a n t _ n a m ) = 云海肴， s u b b r a n c h = 中关村店）
• 代表性模型
RecBot
• Item/User-based kNN • MF
• FM
• DNN/CNN/RNN
Βιβλιοθήκη Baidu
• 表征用户
RecBot
• 利用表示学习获得用户相关的各种特征，再把这些表示结果用于预测用 户的短期需求和长期需求
• 表征产品
RecBot
• 每个产品包含的服务以及价格等基本信息，可以显性刻画此产品；而用 户对产品的购买等行为数据，可以隐性地刻画此产品
Ҙ
FAQBot
.%/.*
᯿᯿
• 匹配模型
᯿᯿ ړ᯿
༄ᔱ
• CNN/RNN + DNN
܃᯿
᯿ഭଧ
ᒼ ໜ > ڜ ᯿ @
／ Ԏ
7)-,')
4 4 PDWFK 4 $ PDWFK
%XVLQHVV
॔ݙ ݙ
/W5
'11
ឭ ٌ ও ஞ ఘ ӧঅ
ጱ
• 特色
• 语义匹配 • 问题带背景 • 答复带参数
• • • • 序列标注问题 HMM/CRF LSTM BiLSTM-CRF
问题分析——实体识 别
R X W S X WO D E H O L Q J
2 2 2
%-1
%-7
,-7
2
%-5
F R Q F D W H Q D W H G
%L-511
HPEHGGLQJ
L Q S X W
ଆ౯
Ӟ ӻ
፠ ӳ ก ภ
• 特色
• 任务包含20+种实 体 • 实际项目中包含实 体最多的任务
.%/.*
'67
'32
ᒼ ໜ > ڜ ᯿ @
776
1/*
request(phone, name)
• DM: DST + DPO à DRL
• https://github.com/MiuLab/TC-Bot
TaskBot
End-to-End Task-Completion Neural Dialogue Systems
• 表征用户×产品
RecBot
• 在获得了用户与产品的表征向量，以及用户的短期与长期需求后，使用 推荐模型从历史数据中学习模型
• 目标函数借鉴Learning to Rank
• Point-wise • Pair-wise • List-wise
• 融合（Ensemble）
RecBot
• 兴起于Netflix Prize竞赛，已成业 界 标配 • 常用组合方法
深度学习与智能对话机器人
技术创新，变革未来
目录
• 对话机器人的兴起 • 爱因互动的Bot技术：DeepBot及其 他 • 对话机器人的商业实践
对话机器人简史
对话服务爆炸式增长
Chatbot 在 Google Trends 中搜索量的变化
2016.3 微软 Bot Framework 2016.4 Facebook Messenger 平台 2016.5 Google Assistant 2016.6 苹果 Siri SDK