视频内容理解的研究与实践

智能播放
• 只看他 • 视频增强 • ……
4
视频行业与细分市场
集团内合作方
媒体Ai算法 产品
媒体Ai算法 能力
优酷 微博
弹内业务 淘宝 闲鱼
赋能
智能审核
鉴黄 暴恐
血腥 旗帜
共11个能力
智能审核
图像审核识别 图像审核标签
传媒
UC
视频云
视频指纹
视频指纹 音频指纹
泛视频行业
泛娱乐
电商
体育
输出
阿里云渠道
OSS
• 多模态理解：视觉+语音+文本 的多模态识别
• 人、物、自然、文字的充分理解 • 多维解构：人、物、场景、服化
道、动作、事件、概念 • Open-set 识别系统：轻量定制
化引擎
语音识别
人物标注
视觉标签
多模态标签
文字识别
视频审核
）
1.如何利用增量数据提升性能 2.如何利用不同域数据训练 3.只对增加数据的标签性能提升，而不影响其他标签性能 4.快速训练，无需对所有数据重新训练
智能理解
• 人：身份识别 • 物：服化道识别 • 自然：地标识别 • 行为识别 • 自动分类 • UGC标签 • 视频指纹 • 智能审核
智能生产
• 智能拆条 • 描述生成 • 智能缩略图 • 智能配乐 • 集锦生成 • 虚拟人 • 多语言字幕生成
智能分发
• 智能推荐 • 多模态搜索 • 多语言搜索 • ……
云盾
数据智能
结构化标签
静态标签 动态标签
被集成
智能生产
GIF／首图 赛事集锦
拆条 虚拟人
视频指纹
视频关系计算 视频段落定位
结构化标签
静态标签：人、物、场景、字幕 动态标签：行为、事件
智能生产
GIF／首图 赛事集锦
拆条 虚拟人
01
Contents
目录
02
03
New Future on Cloud
01
shift 5. 3.视频拼接 6. 4.复合变换
功能：短查短 短查长 长查长
应用场景： 1. 版权保护、原创认证 2. 广告追踪、分成 3. 视频去重、分发打散、搜索等 4. 结构化的最细粒度
16
New Future on Cloud
03
video
Time-space Domain retrieval 生产平滑集锦
Backward retrieval
进球
庆祝
Forward retrieval
传球
21
1.跨模态表征，多模态搜索 2.向量化与ID化表征 3.结构化+向量化的定制化系统
New Future on Cloud
02
同源 相似
1. 1.视频质量变化 2. noise, contrast, gamma, blur, re-
encoding, rotation… 3. 2.时空域变换 4. PIP, insertion, mirroring, ratio, crop
Marketing
Professional Service Providers
Location-Based
Mobile Browser
Digital Entertainment
Financing & Payment Solution
SELLERS
$
BUYERS
Online and Mobile Commerce Platform
TECHNOLOGY
DATA
TEAM
wenku.baidu.com
CLOUD COMPUTING
OPERATING SYSTEM
Logistics
非结构化信息的结构化 促进高效应用
物理世界
互联网
人 物
文字
1080p/HDR 立体声
+
图片
+
高清 视频
自然
声音
视频
动态
全视角
全景声
+
网络视频
5G
+
AI
+
VR视频
数字世界 ?
供给、效率、成本