【精品】智能边缘计算 新一代大数据与人工智能的基础设施

SaaS：大数据、AI应用
PaaS：数据库
NoSQL
大数据处理
新一代云数据库
PaaS：AI处理框架
TensorFlow
Mxnet
பைடு நூலகம்
OpenCL运行环境
算力、芯片调度平台
IaaS：算力提供
通用算力集群，普通实例，CPU/MEM/Disk, 支撑大数据的存储与计算；
CPU
• Hadoop、Spark、kafka、etc
• 大数据处理： • Hadoop MR； • Spark /Streaming; • Storm…；
• 新一代的云数据库形态： • Hybrid DB； • PolarDB； • Aurora； • 时序数据库等。
• 大数据的数据处理能力依赖云计算能力的支撑。 • 大数据的处理，加入了云计算的PaaS阵营
智能硬件、 手机、
平板等市场
Edge Server 针对
new Market
服务器市场
自
定
义
视
觉
计
算
Socket/https
n
IP Camera + H.264/265 Codec
软件定义的工作流程
自自
定定
义 视 觉 计
义 视 觉 计
BI 分 析
算算
1
2
运行环境
Edge Server
编排 引擎
云端计算、 训练集群
镜像库
Cloud
算法仓库
• 通过在云端进行边缘计算能力（算法模型）的定义 与程序（计算）编写，完成边缘计算能力的定义， 并将计算能力下沉到Edge Server。
• Edge Server侧可以进行可以包括视觉类的图像处 理主要包括视频中人员的检测与分析统计等。
• 每一个自定义的视觉计算即为一个容器，通过开放 URL基于Openapi提供视频接入与处理功能。
标准化
2
OCP、TIP、EdgeX Founddry、OpenStack、 Kubernetes、 OpenNFV、Tensorflow、 Caffe、MXNet等
开源项目
4
总体来说，在传输的数据数量与成本现状增加时，edge computing的价值会凸显。 未来，随着边缘端产生的数据越来越多，edge computing的适用性会增加。
学术研究
1
ETSI MEC ISG，OpenFog Consortium，Open Edge Computing Initiative、ECC China等；。
产业联盟
3
2017年IEC发布了VEI (Vertical Edge Intelligence )白皮书， 介绍了边缘计算对于制 造业等垂直行业的重要 价值。
BGP GPN IP
其他对 GSS 象存储
资源
服务 器
高仿IP 安全屋
自建 融合
计算-虚拟化产品
存储 DCI
阵列 机房基础设施
大网
计算-虚拟化
分布 式IO 存储
节约成本 弹性扩展 安全稳定 快速运维 解决瓶颈和痛点 站在巨人的肩膀上发展
2G与低带宽时代-> 语音、 短信、 结构化数据、 Web1.0/2.0
现阶段主流人工智能：有监督的大数据驱动的AI方法论，基于Training-reference
• 算法 • 大数据 • 算力
比如训练人脸识别，分为3步： • 花一段时间收集并标注（框出人脸位置）大量照片； • 花一个星期左右的时间，挑选深度模型； • 交给机器绞尽计算力 优化模型中的数千万/数亿权重参数
该场景下： 1.京东、淘宝等的用户购物数据，以 手机号为key值，进入CRM系统，缺 乏用户的真实姓名、图像、年龄段等 关键数据；
2.用户进店以后，通过视频、音频可 以获取用户的图像、声音、年龄段、 性别等数据，但是缺乏手机号、姓名 等关键数据；
3.通过店员进行交互，比如问询、填 写购物卡等，可以获取用户姓名、手 机号等关键数据；
以手机号为key值，通过摄像头、录 音笔、店员问询填写购物卡等数据， 可以将整个数据整合，形成：姓名、 年龄、性别、手机号、图像、音频、 购物情况等完整数据。整个数据的采 集与交互(摄像头、录音、店员数据输 入)都可以在Edge Server端完成。
京东
零售业云端系统
管理系统
CRM系统
淘宝
云端主要职能： 1.结构化数据的存储与分析； 2.管理职能。
GPU计算集群，GPU实例：
GPU
• MPI、AI计算框架（TensorFlow、Mxnet、Caffe、etc）
FPGA计算集群，FPGA实例：
FPGA
• OpenCL进行芯片编写
边缘计算的兴起与落地形态
边缘计算的构建形态
2015年边缘计算进入到Gartner的Hype Cycle (技术成熟曲线)，2017年达到顶峰。
边缘计算已经掀起 产业化的热潮，各 类产业组织、商业 组织在积极发起和 推进边缘计算的研 究、标准、 产业化 活动。具有代表性 的活动包括:
2016年10月，由IEEE和ACM正 式成立了IEEE/ACM Symposium on Edge Computing，组成了由学术界、 产业界、政府共同认可的学术 论坛，对边缘计算的应用价值， 研究方向开展研究讨论。
云计算基础设施的构建与大数据处理
云计算的发展趋势
完整的云计算是一整个动态的计算体系，它由大量的计算机组成集群，提供托管的计算环境 及应用程序环境，能够动态部署、动态分配／重分配计算资源、实时监控资源使用情况。
一个是基础设施服务(Infrastrcture as a Service)， 主要提供计算中心、硬件资源、系统软件等基础设施服务
一个是平台服务(Platform as a Service/ Software as a Service)， 主要提供应用开发和运行平台服务
一个是软件业务服务(Software as a Service)， 主要提供各种商业服务
云计算的本质——云计算的构建-首都在线云平台为例
云计算的本质——典型的云计算产品架构-首都在线云平台为例
4G与高带宽时代-> 语音、 图片、 短视频 非结构化数据
3G与带宽提速时代->
语音、 图片、 结构化数据 非结构化数据、 Web2.0
5G与高带宽时代-> ？ 帧数据时代 流数据、
时序数据
大数据处理不仅限于Hadoop/Spark
• NoSQL数据库的兴起： • Redis、Memcache； • MongoDB、Cassandra； • Hbase。
视频处理
音频处理