AIIA深度学习训练平台功能要求和评估方法解读(1)

硬件、软件清单
知识产权
行业实施案例
维护及响应
收费和支付
综合类指标 物理机CPU 物理机内存 物理机GPU卡 物理机SSD 数据读取机制 数据通信机制 物理机互联 网络能力 虚拟化技术 虚拟机CPU 虚拟机内存 虚拟机GPU Linux版本 Docker二次开发 基本Docker镜像
评估测试
平台功能指标
等 ✓ 各类人工智能服务，如智能客服，在线语音转写等
AIIA评估认证工作组
调研业界对评估测试需求，采用“急用先行”的原则 根据业界需求，研究制定不同产品和服务的评估指标及规范 包含：功能测试，性能测试，安全测试 评估评测流程
各类AIaaS发展背景
缺乏人工智能基础能力服务平台成为创业门坎
✓ 计算资源成本高 ✓ 开发运维难度大
评估方法基本情况
评估规范制定过程
➢ 参与单位中国信息通信研究院、中国联合 网络通信集团有限公司、中国电信集团有 限公司、中国移动通信集团公司，华为， Ucloud，金山云，浙江大学，腾讯云等
➢ 2018年1月至今年9月，讨论该标准5次 ➢ CCSA提请立项 ➢ 形成《深度学习训练平台功能要求和评估 方法（报批稿）》
✓ 建设周期长 ✓ AI as a service
智能语音语义，计算机视觉类服务，产品及应用
智能语音语义平台
语音合成 语音识别
声纹识别 听转写
计算机视觉平台
物体检测
人脸识别
人脸检测
图像识别
深度学习训练平台 GPU云服务器
计算服务平台
机器学习训练平台 FPGA云服务器
企业 百度 阿里 腾讯 Ucloud 金山云
联盟任务：着力聚集产业生态各方力量，联合开展人工智能技术、标准和产业研究，共同探索人 工智能的新模式和新机制，推进技术、产业与应用研发，开展试点示范，广泛开展国际合作，形 成全球化的合作平台。
开展人工智能政策法律、技 术、产业、应用、安全等领 域的研究
开展人工智能标准规范前期 研究及标准的实验验证推进， 有力推动技术产品的高水平 发展及业务创新
AIIA深度学习训练平台评估方法解读
信通院云大所人工智能部 高级项目主管 中国人工智能产业发展联盟评估认证工作组 组长 曹峰
2018年9月
目录
1. AIIA评估简介及项目背景 2. 深度学习训练平台功能要求和评估方法 3. 下一步工作
中国人工智能产业发展联盟
为搭建人工智能合作与促进平台，服务企业，支撑政府决策，推进人工智 能产业发展，进一步贯彻《互联网+人工智能行动计划》等文件要求， 2017年10月13日上午，中国人工智能产业发展联盟成立大会在北京隆重 召开。国家发展改革委、科技部、工信部、中央网信办领导，以及国内人 工智能领域的院士、专家，企业、机构代表300余人参加了会议。
评审会：由学术专家、企业专家、用户专家一同 对测试结果进行评审
智能产品 应用 服务
智能评级
智能家居
自动驾驶
行业应用 服务平台
服务平台
基础应用 服务平台
计算服务 平台
基础应用
自然语言 处理技术
计算机视 觉技术
人工智能基础软硬件
软件
一体机
算法
专用芯片 行业应用芯片 传感器
网络安全
数据安全
安
全 评
系统安全
测
专
项 内容安全
伦理
来自百度文库
人工智能关键技术和应用评测联合实验室
基础软硬件 ✓ 人工智能云侧，端侧，专用芯片 ✓ 传感器，服务器，一体机， ✓ 算法，软件等基础软硬件的功能，性能，benchmark
M40
机器学习PAI DI-X深度学习平台
P40/K80 P40/P4
AI 训练服务 UAITrain
深度学习训练平台 (KDL)
M60/P40
深度学习训练平台
深度学习训练平台
深度学习推断平台
AI 在线服务 UAIService
目录
1. AIIA评估简介及项目背景 2. 深度学习训练平台功能要求和评估方法 3. 下一步工作
深度学习训练平台评估指标
➢ 两大类指标，6个小类，超过30个评估项 ➢ 从基本信息，综合，功能，安全，管理，可操作性，基本性能等多个方面全面评
估深度学习训练平台的基础功能和能力
信息披露
企业基本信息
平台基本信息
营业执照
平台名称
规模
平台版本号
资金
基本描述
电信业务经营许可证
上线时间
已经通过的认证
功能说明
美团云
青云
计算平台梳理
GPU云服务器
GPU云服务器
GPU云服务器 FPGA云服务器 GPU云服务器 FPGA云服务器 GPU云主机 UHost
GPU云服务器 (GPUVM)
GPU云服务器 FPGA云服务器
GPU云服务器
GPU云服务器配置
深度学习训练平台
P40/P4/K40
百度机器学习 BML
S7150/M40/P100/P4 /V100
开展人工智能国际国内交流 与合作
开展人工智能产业的知识产 权的研究和资源共享
AIIA评估认证工作组
《促进新一代人工智能产业发展三年行动计划(2018-2020年)》 ✓ 人工智能产业支撑体系基本建立：人工智能标准体系、测试评估体 系及安全保障体系框架初步建立。。。产业发展环境更加完善。
技术 问题
部分问题：1.核心算法贡献不足 2.算力基础研究薄弱，关键芯片（GPU等）受制于人
管理运维类指标
训练框架及版本
计费方式和单元
开发语言
性能监控
自带模型类型
训练日志
分布式训练
可视化管理
提供脚本
业务可用性
数据科学工具包 训练数据存储方式
开发环境
移动端模型
模型一键发布
基本性能指标 图片分类场景 语音识别场景 自然语言处理场景
评测和评审流程
评测流程
评审流程
企业报名，提交材料
企业准备测试环境，按照测试标准操作，测试专 家现场审核，给出测试结论
服务平台 ✓ 人工智能机器学习、深度学习训练及推断平台 ✓ 智能语音语义服务平台，计算机视觉服务平台 ✓ 自动驾驶，机器人等应用服务平台
基础应用 ✓ 人工智能智能语音应用，如语音识别，声纹识别； ✓ 计算机视觉，如人脸识别，检测； ✓ NLP技术，如智能翻译
智能产品 应用 服务 ✓ 各类人工智能产品，智能音箱，智能机顶盒，翻译机
产品
用户
企业
产业 问题
➢ 智能化水平差异大 ➢ 宣称能力和实际能力
差异大 ➢ 评估方法差异大
➢ 用户不会选 ➢ 用户不敢选
➢ 缺乏对标产品 ➢ 企业缺乏优秀的
服务和产品标杆
AIIA评估认证工作组
AIIA评估认证体系
文本
语音
图像
数 据
视频 集 评
行业应用 测 方
评测方法 法 和
评测工具 软 件
功能
性能