嵌入式平台深度学习

嵌入式平台深度学习
张先轶
澎峰科技
澎峰科技
• • 挖掘 潜能，引领客户性能
我们是：
• 领先的 计算的技术公司
• 覆盖服务器 嵌入式
• 独到的技术（
）
• 优秀的人才团队
ü 中科院 ü
2
嵌入式深度学习
目标
• 将深度学习的
• 手机，机器人等
•
，？
•
？？
计算迁移到移动平台
3
嵌入式深度学习
模型
• 模型不能太大，层数不过深
不符合
标准
ü
使用
• 并行化的处理
ü 如何切分矩阵？
8
针对深度学习优化专用版
9
针对深度学习优化专用版
01
优化
指令 预取距离参数
参数
02
03
函数
还要不要
？
函数优化，尽量连续写
并行化
到底在哪层？哪个 ？ 需要细粒度切分
10
针对深度学习优化专用版
性能结果
•
• 层 网络模型 （图像类应用）
• 单线程，超过已有实现 倍 （我们的
开源
）
11
针对深度学习优化专用版
性能结果
•
（
）
• 测试网络：
• 超过已有实现接近
，
线程
12
针对深度学习优化专用版
性能结果
•
（
）
• 测试网络：
• 超过已有实现
，
线程
13
针对深度学习优化专用版
性能结果
•
（
）
• 测试网络：
• 超过已有实现 ，
线程
14
小结
嵌入式深度学习
• 模型 • 框架 • 底层库 • 硬件
6
针对深度学习优化专用版
硬件平台
• • 嵌入式
合作用户
• 旷世科技
• 中科视拓（
）
• 猎豹移动
• 阅面科技
• 水滴科技
• 中科奥森
• • 陌陌 • 中兴移动，华为等
7
针对深度学习优化专用版
基于已有
•
开源项目
不是为深度学习优化的
差别
• 大矩阵
ü
中、小矩阵
为科学计算
• 能不能用
指令集
ü
在
没有使用，由于
• 支持
和
• 支持
，
• 支持
和
• 相比开Байду номын сангаас版本
等常用深度学习框架 提升明显，可达 倍以上
15
进行中工作
• 针对
等
• 不采用
？
•
超过
一倍
16
18
• 模型参数定点化
ü
• 二值化
• 模型压缩技术
ü
ü 剪枝
ü
ü 基于哈希
4
嵌入式深度学习
•
，
，
• 裁剪
• 与模型适合 二值化
• 与底层优化库匹配
•
融合
深度学习框架
，
5
嵌入式深度学习
底层库
• 大量采用开源实现 •
• 我们主导的开源项目 • 获得 年中国计算机学会科学技术二等奖 • 多个深度学习项目依赖库 • 进入 公司