百度云与人工智能(百度云首席架构师张发恩)

100Gb RDMA Network
CPU 计算节点-1
CPU 计算节点-n
PCIe Network
GPUBOX-1
GPUBOX-n
PCIe核心交换机
GPUBOX
深度学习一体机 机柜配置
• 基于天蝎整机柜架构 • 2100mm，42U高度 • 模块化散热和供电 • 集中管理 • 单机柜2个计算节点 + 1个GPUBOX
• 支持多用户共享一 个集群
• 支持训练作业管理 • 支持模型版本管理
、发布、预测服务 • 支持安装百度大脑
的各种预训练模型 • 支持快速建立开发
环境 • 最先进的 GPU 加速
器
ABC一体机
端到端
软硬件经过调优 完美兼容性
部署简单
轻松部署 开箱即用
扩展性强
平滑扩容 快速扩展
高安全性
私有部署 安全无忧
OCR
智能客服
通用深度学习模型
通用深度学习模型 百度深度学习框架与调度监控软件
深度学习-训练任务提交
营销
风控
深度学习-预测任务常驻
GPU
GPU
GPU
GPU
GPU
… GPU
分布式文件系统HDFS
CPU
CPU
CPU … CPU
百度深度学习一体化平台(计算/存储资源池)
• 支持 PaddlePaddle、 Tensorflow、 MXNet、Caffe 等 深度学习框架
迭代训练
F F
验证数据 集合
验证 P
上线
P 评测
待评 model
评测数据 集合
数据采集
• 线上抓取：8000 万条 url/ 天 • 线下采集：1 万人，分布全国 300 个城
市 • 采集类型：网页、照片、语音、视频、
POI
有数据就有可能，没有数据一定不可能
雏形
模型训练
上路
数据标注
• 标注能力：通过培训的标注专员 5000 人，专职审核人员 200 人
✖ ✖ 4U8卡 4U 2.5KW 16年3月
Facebook Big Basin
8
1:2/4/8/16 ✔ ✖
4U8卡 4U 2.5KW 17年3月
Microsoft HGX-1
8
1:2/4/8/16
✔
✔
4U8卡 4U 2.5KW 17年3月
大数据平台 异构计算 深度学习平台 数据采集和标注 知识图谱
服回答准确率1个百分点。
基于知识库在这一项目中的良 好效果，联通总公司后续将和百 度就统一智能知识库项目继续深 度合作。
百度云与人工智能
百度云人工智能首席架构师 张发恩
Thanks
关系数据库 RDS 物联网服务IoT
大数据平台 异构计算 深度学习平台 数据采集和标注 知识图谱
XPU & FPGA
• 新一代AI处理架构*
- 专用计算单元 - 数百个处理器 - GPU的通用性
• 基于FPGA加速的端方案
- 灵活 - 低功耗
GPU BOX
业内首个PCIe Fabric互联 架构 全球先进的CPU和GPU物 理解耦架构，国内第一家 硬件实现 GPU资源池化按需调度 单机实验室最大可支持864个GPU，以支持更大的 深度学习模型训练 业内首个机柜一体化AI计 算机
百度云与人工智能
百度云人工智能首席架构师 张发恩
历史
Hadoop分布式 计算系统上线
大规模机器学习平台 支持凤巢广告CTR预估 上线
新一代分布式计算系 统，单集群规模达 10000
2003
2009
2011
2013
大规模DNN最大 支持千亿样本/特 征
百度云计算 战略发布会
2015
2008
2010
2012
Feature extraction
2X2 subsampling
0 1 2 3 4
classification
图像处理的更多案例
大数据平台 异构计算 深度学习平台 数据采集和标注 知识图谱
数据采集和标注
数据样本－机器学习的核心
初始 model
训练
样本数 据
训练 model
迭代 model
迭代样 本
（Heterogeneous Information）连接在一起而 得到的一个关系网络。 • 知识图谱提供了从“关系”的角度去分析问题的 能力 • 知识图谱可以帮助AI更好的理解世界
知识图谱技术架构
4项发明专利：
《一种结构化网页正文 的装置和方法》
《一种新型问答知识库 构建技术》
《一种基于问题意图的 答案摘要技术》
深度学习框架PaddlePaddle
PArallel Distributed Deep LEarning
特点
• 并行分布式深度学习平台，支持多机多卡并行、数据并行、 模型并行。
• 支持CPU/GPU/FPGA • 支持序列模型 • 支持大规模稀疏训练
支撑了业务系统的有效应用
• 实时高并发系统、稳定性要求极高，毫秒级实时预测 • 特征规模超大（千亿）、数据规模超大（日数十亿迭代处理）
pool1 conv1
conv2_x
conv3_x
conv4_x
conv5_x
SSD Layers
C1
S1
Feature maps Feature maps
Cn
Sn
Feature mapsFeature maps
n1
n2 output
5X5 convolution
2X2
5X5
subsampling convolution
深度学习数据流场景
百度数据采集和标注服务
日志收集
深度学习模型训练
数据存储 分布式文件系统 BOS/HDFS
分布式文件系统 BOS/HDFS 模型存储
在线服务
在线服务
深度学习模型预测
百度深度学习平台
结合百度多年数据经验积累及模型技术沉淀， 百度对于如下场景提供标准算法模型套件输出
人脸识别
语音识别
NLP
• 质量保证：机器审核 + 人工抽审 • 标注类型：文本、网页、图片（ 2D | 3D ）、语音、视频
、地图…
大数据平台 异构计算 深度学习平台 数据采集和标注 知识图谱
什么是知识图谱
• 世界是由事物组成的，而不是字符串 • 知识图谱用来刻画事物以及事物之间的关系 • 知识图谱可以把所有不同种类的信息
ABC一体机指标
64
单服务器最高 支持GPU卡数
1000
单集群并发调 度服务器数
5000
单集群并发调 度GPU卡数
10000
单机群用户数
100000
单集群并发 调度作业数
一个案例：钢板质量缺陷检测
生产环境采集钢板照片
ABC一体机部署的检测模型 钢板质量分类结果
钢板质量检测模型
Original Prediction layer
用户行为预测 多轮对话机器人 百度AI基础技术
语音多轮 对话
智能话务 分流
精准预判客户诉求
来电原因 分类
来电诉求 提示
明确诉求快速应答
实时话术 提示
推荐问题 Hale Waihona Puke Baidu类
用户画像 语音交互 语义理解
自然语言处理
业务模型 后台知识库
语音技术
深度学习
行为模型
智能检索 自主学习
用户画像
大数据
目前在小流量期间： • 知识库解答问题占比16%； • 回复准确率86%，高于人工客
风扇
电源
与国际AI巨头对比
对比项
GPU-BOX
单机箱支持GPU最大数量
16
CPU和GPU配比
硬件解耦 资源池化 GPU密度 功耗密度 上线时间
任意 最大1:64
✔
✔ 4U16卡 4U 5KW 16年5月
注：Google和亚马逊的GPU服务器单机最大支持8个GPU
Facebook Big Sur
8
1:8
2014
2016
分布式搜索系统
分布式网页库 Bailing上线，存 储网页规模超过 1000亿
实时计算系统支持毫 秒级时延，准实时计 算系统严格不丢不重
业内最大自研万兆交 换机 全球首个ARM构架服 务器规模化应用 深度学习实验室成立
百度开放云 正式对外开放
百度概况与人工智能布局
2015，我们在FDDB检测数据集和LFW识别数据集上均获得世界第一 凭借15.89%的高研发强度，百度在2016中企500强的评选中成为中国研发强度最高的企业 2016年，《麻省理工科技评论》评选的“全球最聪明的50家公司” 百度名列第二 2016年11月，世界互联网领先科技成果15项，百度入围
全球最大 中文网站
~90.3% 无线渗透率
全球最大 中文搜索引擎
~
8
0
~43,700
%
员工人数
中国十佳雇主
北京 深度学习实验室 北京 大数据实验室
硅谷 AI实验室 美国研发中心
北京研发中心
上海研发中心 深圳研发中心 日本研发中心 新加坡研发中心
ABC三位一体
人工智能
人工智能API 百度深度学习BDL 百度机器学习BML 数据采集标注
IaaS PaaS
云计算
大数据
大数据平台 异构计算 深度学习平台 数据采集和标注 知识图谱
百度云大数据平台
数字营销
生命科学
电商零售
游戏
金融
教育
娱乐
……
行业方案
专项方案
数据分析
数据存储 数据接入
推荐系统
数据可视化
数据 仓库 Palo
百度 BigSQ
L
百度 Elasti
c searc
h
对象存储 BOS
硬盘快递
直接上传
舆情分析
数据仓储
大数据平台BMR （Hadoop）
Spark Hive Zeppelin
MapReduce HBase Hue
批量 计算 Batch
日志分析
机器学习 BML
深度学习 Paddle Paddle TensorFl
ow
百度Kafka 数据收集标注
键值数据库 Redis 日志服务BLS
《文本核心词识别》
知识图谱的一个案例
天津联通智能客服，是百度为天津联通量身定做的一套含智能语音IVR及客服助手的AI产品，旨在帮助联通客服人员话务分 流、降本增效。其底层用的知识库利用知识图谱构建技术，实现了自动抽取增量知识、智能检索及自主学习等功能。
用户
智能多轮对话IVR
客服
客服助手
智能 推荐
语音评价 收集