徐奇琛-京东技术服务的智能初体验
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
互联网
用户画像； 广告精准推送；商品推荐 行为路径分析；点击预测
12 34
GOPS 全球运维大会2017·上海站
金融
个性化金融产品（移动端、社交、 地理位置等数据）； 欺诈行为识别（交易数据）； 消费者信用风险；客户流失预测； 贷款拖欠风险预测；
运输、物流
优化调度安排（基于实时需求）； 设备故障预测；实时路线优化 无人机；无人仓；无人车
• 腾讯社交平台、网媒门户、电商平台 • 易迅网整体运维管理
目录
1 大家眼中的AI（梦想到现实） 2 行业和技术服务的AI趋势 3 技术服务AI的本质与前提 4 京东技术服务团队的场景化实践 5 总结和展望
GOPS 全球运维大会2017·上海站
大家眼中的AI
智能硬件
特斯拉无人驾驶
降本增效
机器学习
介入前
介入后
GOPS 全球运维大会2017·上海站
用户反馈关键词识别提升率
用户反馈分类有具体的二级三级层级关系，通过几十万的历史样本数据对识别模型训练后，以下是随机抽取的待识别 样本识别的准确率。去噪后的识别样本，KNN二次识别已经能够对样本识别达到较高的准确率
系统解耦 规范测试方法
架构拆分容灾 数据能够追溯
局部工具提效 引入开源
流程约束
解决局部性能瓶 颈
初步的配置管 理
度量能力建设
野蛮初始期—先抗 住再优化
GOPS 全球运维大会2017·上海站
Fra Baidu bibliotek
性能瓶颈
测试覆盖 关键路径
巨石架构 黑盒
成本浪费 安全防御脆弱
流程标准缺乏
数据&监控缺失
组织无序 反模式… …
前提--机器学习平台资源
失败分类的机器学习
• 匹配关键词失败的数据根据人工打标样本数据进 行数据学习
• 智能处理过的数据进行简单的人工确认工作，继 而再次影响计算因子
介入后的人效提升
• 质控部门4 人7日无休 对40%未成 功打标的进 行分类以及 问题跟进
• 2人根据机器 学习归类后 的数据再次 调整模型， 其他人转向 处理更深入 的问题跟进
京东技术服务智能化实践
徐奇琛civic 京东 平台技术服务部 负责人 GOPS2017 Shanghai,2017.11
GOPS 全球运维大会2017·上海站
自我介绍
GOPS 全球运维大会2017·上海站
徐奇琛
• 京东平台技术服务部总监 • 开放运维联盟专家委员 • 高效运维社区核心成员 • DevOps Master 目前负责领域：运维、质量、技术服务平台开放 • 曾负责
技术驱动
业务驱动
目录
1 大家眼中的AI（梦想到现实） 2 行业和技术服务的AI趋势 3 技术服务AI的本质与前提 4 京东技术服务团队的场景化实践 5 总结和展望
GOPS 全球运维大会2017·上海站
用户反馈机器学习介入前
场景：各平台用户反馈同步到用户之声平台后通过分词归并，通过关键字初步打标，再通过人工介入的方式对未成功 打标池中数据进行打标，需要人工对40%数据进行介入。
AI 规划
技术服务AI整体规划 • 场景转化 • 痛点解决 • 业界学习案例转化 • 知识库沉淀
组件化系统 • 数据采集预处理系统 • 模型管理、通用框架、部署系统 • 效果监控与ABTEST切换
基础平台：登月算法平台 大数据仓库 分 布式GPU资源 实时生产消费平台 调度中 心等
人才驱动 GOPS 全球运维大会2017·上海站
关键词维护
• 定期根据打标经验调整关键量 • 根据打标经验进行关键词匹配权重调整 • 初步通过关键词方式打标错误率较高，未匹
配率较高
分类的人工打标
• 对未匹配到关键词的数据进行打标 • 对已打标数据进行反馈沟通后的再次更新分
类进行打标
GOPS 全球运维大会2017·上海站
用户反馈机器学习介入后
各渠道端5万条用户反馈人工打标的数据作为数据样本，主要采用了KNN，naïve bayes, random forest, logistic regression 等分类算法进行学习分析尝试，并逐步通过加大学习样本的方式，使用户反馈分类匹配更为精准，逐步减少人为打标工作量
GOPS 全球运维大会2017·上海站
目录
1 大家眼中的AI（梦想到现实） 2 行业和技术服务的AI趋势 3 技术服务AI的本质与前提 4 京东技术服务团队的场景化实践 5 总结和展望
GOPS 全球运维大会2017·上海站
京东相关行业主要应用场景
零售
优化商品分类；商品推荐；智慧供应链； 物流、补货、库存；预测区域销售； 全渠道营销；产品特征优化
其他技术服务
GOPS 全球运维大会2017·上海站
目录
1 大家眼中的AI（梦想到现实） 2 行业和技术服务的AI趋势 3 技术服务AI的本质与前提 4 京东技术服务团队的场景化实践 5 总结和展望
GOPS 全球运维大会2017·上海站
技术服务AI的本质
？
为什么不做AI？ 为什么做不了AI？
1、没有核心的痛点或需求 2、缺乏资源 3、没有正确的规划和技术体系
技术服务场景化罗列
智能运维
用户体验
智能监控：根因分析、预测、 精准化推送、场景化的故障 自愈、无人值守
评价分类排序 业务纠错 图片（鉴黄、排序） 业务环节的降本增效
大数据 基础平台
算法
反馈分类 语音转换 用户异常分析 用户画像
自动化测试（case、ui） 测试策略控制
性能预测及建议 智能风控
技术驱动业务
本质 结合特定场（痛）景（点），通过海量数据的持续学习及算 法优化，解决复杂问题得到更优决策创造价值。
GOPS 全球运维大会2017·上海站
技术服务体系AI落地前提--技术体系完成演化
意识 算法
智能化技术服务
数据
全局 标准化
自动化
流程&意识
AI资源
组织结构
自动化 数据管理
稳定精进期—自动化& 数据运营&半智能化
标准化
主动可控期—快速沉淀（工 具、流程、团队、数据）
立体监控 多地多中心
告警收敛
平台化打通& 管控
DEVOPS 算法能力
数据统一运营 优化落地能力
立体风控
自动化、精细化 测试
架构合理化 标准化
局部场景 自动化
海量运营意识
工具化收 敛流程
流程自助化
重视容量和 用户
数据洞察能力
变更管理 测试体系化
被动发展期—边重 构边生活
语音助手
深度学习
机器人BOT
量子计算
无人机送货
智能硬件
算法
人脸识别
GOPS 全球运维大会2017·上海站
现实中大家的AI现状—0或1
0--绝大部分公司还在学习 探索阶段，在场景选择和 算法层面投入且会维持很 长一段时间。
1-- 领 先 者 竞 争 激 烈 并 逐 步 在 各自领域完成产品化到达里 程碑
用户画像； 广告精准推送；商品推荐 行为路径分析；点击预测
12 34
GOPS 全球运维大会2017·上海站
金融
个性化金融产品（移动端、社交、 地理位置等数据）； 欺诈行为识别（交易数据）； 消费者信用风险；客户流失预测； 贷款拖欠风险预测；
运输、物流
优化调度安排（基于实时需求）； 设备故障预测；实时路线优化 无人机；无人仓；无人车
• 腾讯社交平台、网媒门户、电商平台 • 易迅网整体运维管理
目录
1 大家眼中的AI（梦想到现实） 2 行业和技术服务的AI趋势 3 技术服务AI的本质与前提 4 京东技术服务团队的场景化实践 5 总结和展望
GOPS 全球运维大会2017·上海站
大家眼中的AI
智能硬件
特斯拉无人驾驶
降本增效
机器学习
介入前
介入后
GOPS 全球运维大会2017·上海站
用户反馈关键词识别提升率
用户反馈分类有具体的二级三级层级关系，通过几十万的历史样本数据对识别模型训练后，以下是随机抽取的待识别 样本识别的准确率。去噪后的识别样本，KNN二次识别已经能够对样本识别达到较高的准确率
系统解耦 规范测试方法
架构拆分容灾 数据能够追溯
局部工具提效 引入开源
流程约束
解决局部性能瓶 颈
初步的配置管 理
度量能力建设
野蛮初始期—先抗 住再优化
GOPS 全球运维大会2017·上海站
Fra Baidu bibliotek
性能瓶颈
测试覆盖 关键路径
巨石架构 黑盒
成本浪费 安全防御脆弱
流程标准缺乏
数据&监控缺失
组织无序 反模式… …
前提--机器学习平台资源
失败分类的机器学习
• 匹配关键词失败的数据根据人工打标样本数据进 行数据学习
• 智能处理过的数据进行简单的人工确认工作，继 而再次影响计算因子
介入后的人效提升
• 质控部门4 人7日无休 对40%未成 功打标的进 行分类以及 问题跟进
• 2人根据机器 学习归类后 的数据再次 调整模型， 其他人转向 处理更深入 的问题跟进
京东技术服务智能化实践
徐奇琛civic 京东 平台技术服务部 负责人 GOPS2017 Shanghai,2017.11
GOPS 全球运维大会2017·上海站
自我介绍
GOPS 全球运维大会2017·上海站
徐奇琛
• 京东平台技术服务部总监 • 开放运维联盟专家委员 • 高效运维社区核心成员 • DevOps Master 目前负责领域：运维、质量、技术服务平台开放 • 曾负责
技术驱动
业务驱动
目录
1 大家眼中的AI（梦想到现实） 2 行业和技术服务的AI趋势 3 技术服务AI的本质与前提 4 京东技术服务团队的场景化实践 5 总结和展望
GOPS 全球运维大会2017·上海站
用户反馈机器学习介入前
场景：各平台用户反馈同步到用户之声平台后通过分词归并，通过关键字初步打标，再通过人工介入的方式对未成功 打标池中数据进行打标，需要人工对40%数据进行介入。
AI 规划
技术服务AI整体规划 • 场景转化 • 痛点解决 • 业界学习案例转化 • 知识库沉淀
组件化系统 • 数据采集预处理系统 • 模型管理、通用框架、部署系统 • 效果监控与ABTEST切换
基础平台：登月算法平台 大数据仓库 分 布式GPU资源 实时生产消费平台 调度中 心等
人才驱动 GOPS 全球运维大会2017·上海站
关键词维护
• 定期根据打标经验调整关键量 • 根据打标经验进行关键词匹配权重调整 • 初步通过关键词方式打标错误率较高，未匹
配率较高
分类的人工打标
• 对未匹配到关键词的数据进行打标 • 对已打标数据进行反馈沟通后的再次更新分
类进行打标
GOPS 全球运维大会2017·上海站
用户反馈机器学习介入后
各渠道端5万条用户反馈人工打标的数据作为数据样本，主要采用了KNN，naïve bayes, random forest, logistic regression 等分类算法进行学习分析尝试，并逐步通过加大学习样本的方式，使用户反馈分类匹配更为精准，逐步减少人为打标工作量
GOPS 全球运维大会2017·上海站
目录
1 大家眼中的AI（梦想到现实） 2 行业和技术服务的AI趋势 3 技术服务AI的本质与前提 4 京东技术服务团队的场景化实践 5 总结和展望
GOPS 全球运维大会2017·上海站
京东相关行业主要应用场景
零售
优化商品分类；商品推荐；智慧供应链； 物流、补货、库存；预测区域销售； 全渠道营销；产品特征优化
其他技术服务
GOPS 全球运维大会2017·上海站
目录
1 大家眼中的AI（梦想到现实） 2 行业和技术服务的AI趋势 3 技术服务AI的本质与前提 4 京东技术服务团队的场景化实践 5 总结和展望
GOPS 全球运维大会2017·上海站
技术服务AI的本质
？
为什么不做AI？ 为什么做不了AI？
1、没有核心的痛点或需求 2、缺乏资源 3、没有正确的规划和技术体系
技术服务场景化罗列
智能运维
用户体验
智能监控：根因分析、预测、 精准化推送、场景化的故障 自愈、无人值守
评价分类排序 业务纠错 图片（鉴黄、排序） 业务环节的降本增效
大数据 基础平台
算法
反馈分类 语音转换 用户异常分析 用户画像
自动化测试（case、ui） 测试策略控制
性能预测及建议 智能风控
技术驱动业务
本质 结合特定场（痛）景（点），通过海量数据的持续学习及算 法优化，解决复杂问题得到更优决策创造价值。
GOPS 全球运维大会2017·上海站
技术服务体系AI落地前提--技术体系完成演化
意识 算法
智能化技术服务
数据
全局 标准化
自动化
流程&意识
AI资源
组织结构
自动化 数据管理
稳定精进期—自动化& 数据运营&半智能化
标准化
主动可控期—快速沉淀（工 具、流程、团队、数据）
立体监控 多地多中心
告警收敛
平台化打通& 管控
DEVOPS 算法能力
数据统一运营 优化落地能力
立体风控
自动化、精细化 测试
架构合理化 标准化
局部场景 自动化
海量运营意识
工具化收 敛流程
流程自助化
重视容量和 用户
数据洞察能力
变更管理 测试体系化
被动发展期—边重 构边生活
语音助手
深度学习
机器人BOT
量子计算
无人机送货
智能硬件
算法
人脸识别
GOPS 全球运维大会2017·上海站
现实中大家的AI现状—0或1
0--绝大部分公司还在学习 探索阶段，在场景选择和 算法层面投入且会维持很 长一段时间。
1-- 领 先 者 竞 争 激 烈 并 逐 步 在 各自领域完成产品化到达里 程碑