人工智能芯片技术的发展与应用

2013 深度学习算法在语 音和视觉识别上取 得突破
1982
1990
1970
神经网络： 离散Hopfield网络
1956
第一次热潮 第一次低谷
ARTIFICIAL INTELLIGENCE 萌芽期
1982
第二次热潮 第二次低谷
MACHINE LEARNING 突破期
2006
第三次热潮
DEEP LEARNING 发展期
人工智能发展态势
端云联系亲密化

终端设备智能化

云端承载训练任务和高吞吐量的 复杂计算推理任务 终端承载需快速判断实时响应的 推理任务
5G及物联网技术推动嵌入式AI技 术发展 智能终端独立实时完成环境感知、 人机交互、决策控制等功能
AI
CPU FPGA
GPU 5G ASIC
IoT
云+边缘计算
核心产品技术
深度学习
机器学习
。。。
文本为主 结构化数据
智能芯片 大数据
各类终端应用
非结构化数据 网络日志、音频、视 频、图像、地理位置 等等
算法
上游 中游 下游
人工智能为什么需要专门的处理器？
MLU-智能计算 GPU-图形计算 CPU-通用计算
智能终端处理器IP VS
智能云服务器芯片
智能创新的物质载体：智能芯片
新的计算架构+新的部署模式承担新的工作负载需求
未来的趋势
AI算力的 大幅提升
云 . 端变化
大数据分析处理需求增长 终端设备更加轻便和智能Βιβλιοθήκη Baidu关键业务型应用飞速发展
更大量的 数据
高速的信 息传输
未来的趋势：智能云数据中心
AI芯片赋能云端训练和推理，数据中心智能化升级
Speed Up
1X 20X
>100X
DianNao, 2014
RedEye Cnvlutin
DianNao
ShiDianNao
Cambricon Cambricon-X
DaDianNao
PuDianNao
TPU
2014
2015
2016
2017
*数据from ISCA，HPCA，ASPLOS，MICRO，2010~2017
DianNao系列学术研究由来自法国Inria等机构的国际学术合作者共同完成
从1950年至今，人工智能历经三次发展热潮，从诞生到机器学习再到深度学习
人工智能的三大要素
人工智能发展三大要素
核心要素
算法突破：深度学习
资源突破：大数据
算力突破：智能芯片
不断优化的 人工智能算法
不断被收集的 大量数据 数据集 标定 。。。 结构化 数据量
高性能芯片组成的 计算能力 CPU FPGA 。。。 GPU ASIC
智能终端，VR、AR设备
虚拟场景理解 人机交互 …
机器人、无人驾驶
感知智能 增强学习 …
互联网、数据中心
认知智能 决策判断 …
是
的先行者
寒武纪：智能芯片的先行者
前期学术工作
PRIME Fused CNN
Eyeriss
EIE Stripes Bit-Pragmatic Pipelayer FlexFlow ScaleDeep SCNN
用负载特征
设计灵活
的指令集
设计可扩展性
强、高效的架构
提供灵活的
运算器方案
支持主流
编程框架
在大规模商用中
得到反馈和修正
智能处理器设计的三大矛盾
传统ASIC( 将一个特定算法硬件化 ) 的思路 无法解决深度学习处理的需求
有限规模的硬件 vs 任意规模的算法
结构固定的硬件 vs 千变万化的算法
能耗受限的硬件 vs 计算量大的算法
寒武纪萌芽
第三次热潮 深度学习基本理论框 2008 架得到验证 2006 第三次热潮 “深度学习“神 经网络使得AI性 能大幅提升
创始团队成员开始从 事处理器架构和人工 能的交叉研究 智能
第二次热潮 算法应用升级 第一次热潮 神经网络相关基础 理论被提出 1957 第一次热潮 1956 AI诞生 达特茅斯 会议 感知机模型 被提出 1986 第二次热潮 BP算法出现
Servers( pcs)
250 5000
<50
CPU only HPC AI
未来的趋势：万物互联的智慧化终端
5G+物联网推动了智能终端的迅速发展普及
让智能便利在生活中 更加触手可及
实现数据实时处理 与零误差响应
在智能化同时 保证数据的安全性
智能移动终端

关键业务应用

智能物联网

智能手机、智能音箱、智能可穿 戴设备等 终端实现多样化的智能应用，增 强客户体验惠及民生
片外内存
神经元虚拟化
有限规模的硬件 vs 任意规模的算法
单芯片只能集成 数千硬件神经元
通过对硬件神经元时分复用，可虚 拟化出千亿级别超大规模神经网络
Tianshi Chen, Zidong Du, Ninghui Sun, Jia Wang, Chengyong Wu, Yunji Chen, and Olivier Temam, "DianNao: A SmallFootprint High-Throughput Accelerator for Ubiquitous Machine-Learning," In Proceedings of 19th International Conference on Architectural Support for Programming Languages and Operating Systems (ASPLOS'14), 2014. (Best Paper Award)
传 统思路
算法
硬件运算单元和 算法神经元一一对应
片外内存
把数据从内存搬运到 硬件运算单元，甚至 比运算本身更耗能量
硬件运算单元数量稍微一多， 访存带宽就供应不上数据
寒武纪思路
片上存储
片上存储
算法
对硬件运算单元分时复用

小尺度但支持大规模神经网络 速度：把访存带宽用起来，尽可能提高性能 能耗：通过优化片上存储层次尽量减少访存次数

智能家居 智慧农牧
移动电话 AR/VR及娱乐设备 智能可穿戴设备
智能视觉设备 其他生物识别设备
车载嵌入式设备 边缘计算设备
云端超大规模数据中心 边缘端小型数据中心

工业物联网
<1 TOPS
1-8 TOPS
4-20 TOPS
20-200 TOPS
POPS-EOPS
智能芯片如何做到通用和好用？
分析和抽取应
人工智能芯片技术的发展与应用
我们从这里来
在5~6亿年前的寒武纪，大量较高等物种出现，物种多样性大幅提升。 这个现象被称为寒武纪物种大爆发。 先进的智能技术已呈大爆发之势，我们希望为智能技术的大爆发提供核 心物质载体。
Cambricon = Cambrian + Silicon
深度学习的崛起与AI的第三次热潮
无人驾驶，无人机等 终端实现数据实时处理与零误差 响应，保障生命安全
智能家居、智慧城市等 终端实现数据本地化处理，保护隐 私数据的安全性
智能芯片适用千广泛应用场景
5G+物联网+海量数据 零差错型关键应用 云/关键/高性能计算
智能物联网

移动消费电子

智慧城市

自动驾驶

数据中心及云