2017年视觉大数据分析报告

商品搜索 体育视频 故障检测 医疗图像 视频广告
深度学习
点击
手机淘宝 拍立淘
点击 Tap
目录
• 引言
• 视觉大数据技术和应用方向 • 技术和应用实例 • “阿里云眼”的系统架构 • 结语
• • • • • • •
城市之眼 数字记忆
商品搜索 体育视频 故障检测 医疗图像 视频广告
体育视频分析
— 从实验室到真实世界
2017年视觉大数据分析报告
目录
• 引言
• 视觉大数据技术和应用方向 • 应用实例 • “阿里云眼”的系统架构 • 结语
视觉 AI – 个体智能
云
端
视觉 AI – 个体智能
视觉信号
分析处理
结果
视觉 AI – 整体智能
云
端
视觉 AI – 整体智能
视觉 大数据
视觉信号
• 在较长视频流中精准定位每一个事件发生的起止时间点；目前在工业界学术界，这一技术还未做到很好
体育视频分析 – 实例
• 动作识别
上篮成功
两分成功
三分பைடு நூலகம்功
扣篮成功
目录
• 引言
• 视觉大数据技术和应用方向 • 技术和应用实例 • “阿里云眼”的系统架构 • 结语
• • • • • • •
城市之眼 数字记忆
• • • • • • •
城市之眼 数字记忆
商品搜索 体育视频 故障检测 医疗图像 视频广告
数字记忆：“ 激活”个人图像视频的价值
浏览
识别
搜索
处理
编辑
分享
变现
最大的大数据
数字记忆：识别模型库的批量构建
图像视频标注示例
海滩
雪地
沙漠
山
瀑布
埃菲尔铁塔
游泳池
阿里西溪园区
故宫
西伯利亚Husky
倒挂金钟
麻婆豆腐
视觉分析（识别、检测、特征等） 视觉数据和视觉关联的数据
Max Compute
目录
• 引言
• 视觉大数据技术和应用方向 • 技术和应用实例 • “阿里云眼”的系统架构 • 结语
商业
目录
• 引言
• 视觉大数据技术和应用方向 • 技术和应用实例 • “阿里云眼”的系统架构 • 结语
阿里云眼
识别
搜索
处理
编辑
合成
分享
应用层
广告
设计
浏览
管理
数+ PAI
挖掘
Batch Compute Light Compute ECS OSS
媒体库/索引 /模型
RDS Search Engine Stream Compute
生日Party
马云
数字记忆：图像搜索
• 多种不同查询方式
– – – 文字 图像 属性（颜色、纹理、类型等）
数字记忆：图像风格化
数字以及：图像风格化
图像风格化
目录
• 引言
• 视觉大数据技术和应用方向 • 技术和应用实例 • “阿里云眼”的系统架构 • 结语
• • • • • • •
城市之眼 数字记忆
目录
• 引言
• 视觉大数据技术和应用方向 • 技术和应用实例 • “阿里云眼”的系统架构 • 结语
• • • • • • •
城市之眼 数字记忆
商品搜索 体育视频 故障检测 医疗图像 视频广告
目录
• 引言
• 视觉大数据技术和应用方向 • 技术和应用实例 • “阿里云眼”的系统架构 • 结语
• • • • • • •
城市之眼 数字记忆
商品搜索 体育视频 故障检测 医疗图像 视频广告
大规模离线视觉分析
视频数据 离线 分布式处理 结果
大规模在线视觉分析
视频数据/ 视频流
视频源
流式计算
近实时结果
Extractor
Decoder
检测/ 分析 …… 检测/分析 检测/ 分析 …… 检测/分析
跟踪计数 （时间窗） 邻域/整体 分析计算 （时间窗 + 空间窗）
视频流 列表
Extractor
Decoder
跟踪计数 （时间窗）
输出
……
Extractor Decoder 检测/ 分析 …… 检测/分析 跟踪计数 （时间窗）
StreamCompute
从禁左到左转决策
左转时长决策
禁左：不要左转
左转决策：增加左转时间
目录
• 引言
• 视觉大数据技术和应用方向 • 技术和应用实例 • “阿里云眼”的系统架构 • 结语
• 应用场景示例
– – –
视频打标自动化：取代人工，由机器自动生成事件发生的时间点以及事件类别
集锦生成自动化：根据事件打标信息自动生成比赛集锦、球员集锦 ……
• 挑战
– – 细致体育动作识别
•
在单相机以及大量球员遮挡的情况下，识别发生的动作；比如在有遮挡下的上篮成功、扣篮失败、罚篮成功等
事件起止时间点的定位
商品搜索 体育视频 故障检测 医疗图像 视频广告
智能视觉自动诊断
诊断机器
诊断生物
目录
• 引言
• 视觉大数据技术和应用方向 • 技术和应用实例 • “阿里云眼”的系统架构 • 结语
• • • • • • •
城市之眼 数字记忆
商品搜索 体育视频 故障检测 医疗图像 视频广告
视频广告 – 挖掘视频的价值
分析处理
分析处理 挖掘
结果
结果
云上视觉智能五要素
算法
平台
数据
用户
商业
目录
• 引言 • 视觉大数据技术和应用方向 • 应用实例 • “阿里云眼”的系统架构 • 结语
• • 技术方向 应用方向
技术方向
应用方向
阿里云眼
（智能视觉云 / ET之眼）
阿里云大数据平台上的智能视觉计算中心
承载云上广泛、深入的视频图像分析、识别、搜索、生成和挖掘服务