爱奇艺智能播放技术及应用
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 提升老视频画质
• 方案：现有增强算法+基于帧间融合的去划痕算法 • 落地：国剧/老电影修复
主要内容
• 更清晰-画质增强 • 更流畅-智能倍帧 • 更有趣-人像弹幕 • 展望
智能倍帧
• 增加视频的帧率，使得观影体验更流畅 • 适用于3D动漫、体育比赛镜头、慢动作回放、动作大片等
智能倍帧
前向预测
T+0帧 T+1帧
光流预测
warp
T+0.5 预测帧1
T+0.5 预测帧2
融合 网络
最终结果 T+0.5
逆向预测
智能倍帧
• 难点-插帧伪影
期望的倍帧效果
伪影
伪影检测
T+0帧 插帧 T+1帧
深度神经网络 打分器
插帧画面分数
or
落地应用
• 3D动漫倍帧-已上线
原片（25fps）
智能倍帧（50fps）
……
解决难点1：UGC图片质量问题
• v1.0版本-端到端深度神经网络
增强前图片
ZoomAI工具包
超分辨率 去噪锐化 色彩增强
① 接口一致 ② 相互解耦 ③ 灵活配置
工具1 工具2
….
增强后图片
为各条业务线 自由定制方案
解决难点1：UGC图片质量问题
• v2.0版本-基于内容理解的画质增强
需要清晰 需要无噪
智能播放
自适应码率 窄带高清 ZoomAI 人像弹幕
智能播放
更清晰
更流畅
更有趣
主要内容
• 更清晰-画质增强 • 更流畅-智能倍帧 • 更有趣-人像弹幕 • 展望
主要内容
• 更清晰-画质增强 • 更流畅-智能倍帧 • 更有趣-人像弹幕 • 展望
超高清时代
难点（一）
• 用户自己上传（UGC）的图片/短视频/视频：质量参差不齐
2:54
+
基于内容理解的 视频增强
3:45
？
？
展望
• 5G时代
提升分辨率
提升帧率
展望
• 更有温度 – 手语主播
去划痕的经典方法
• two-stage：划痕检测 + 划痕去除
划痕
• 划痕检测：直线检测等
• 划痕去除：时间插值，空间插值等
• 缺点： • 一般只处理水平/竖直的划痕，无法处理水渍，白点 • 画面本身的水平/竖直线的处理
ZoomAI去划痕
• 前提：划痕等只在某一帧出现 • 光流估计 + warp + 多帧融合
需要清晰
画质增强流水线
原图
文字区域检测模块 显著性检测模块
文字区域
文字增强模块
前景区域 背景区域
前景增强模块 背景增强模块
图片融合
增强图片
应用落地
• 全站频道/UGC封面图增强
原图
增强图
原图 增强图
解决难点2：老电影/电视剧质量问题
• 复用已有的增强方法：超分辨率、去噪、色彩/亮度增强 • 特有的问题：划痕和白点
人像弹幕
• 难点4：蒙版文件大小
• 景别识别 • 帧内：行程编码
编码后
编码前
人像弹幕
• 难点4：蒙版文件大小
• 景别识别 • 帧内：行程编码 • 帧间：合并相似帧
大小：压缩至1/25
主要内容
• 更清晰-画质增强 • 更流畅-智能倍帧 • 更有趣-人像弹幕 • 展望
展望
• 算法
端到端 视频增强
爱奇艺智能播放技术及应用
冯巍
爱奇艺 研究员
在全球整体的互联网下行流量中，视频占到了近58%。
——《全球互联网现象报告》
AI在视频行业中的应用
智能创作
智能生产/分发
智能选角 辅助后期制作 短视频拍摄 直播美颜/贴纸
个性化推荐 封面图选取 审核 只看他
智能变现
创可贴 随视购 前情提要 Video In
• 远景观众：景别识别
人像弹幕
• 难点2：场景复杂
• 远景观众：景别识别 • 近景观众： AI明星弹幕
人像弹幕
• 难点3：实时性与功耗
优势 • Android中端机双线程25FPS • 模型尺寸270KB
劣势 • 功耗大，影响观影体验 • 低端机效果差
移动端实时抠图
人像弹幕
• 难点3：实时性与功耗
暗光拍摄
多次压缩
模糊 压缩噪声 噪点 色彩灰暗 ……
难点（二）
• 老电影/电视剧/综艺视频
电影《双教子》
胶片划痕 背景噪声 画面抖动 色彩灰暗 低分辨率
……
评书《乱世枭雄》
ZoomAI画质增强技术
• 视频/图像增强方案
超分辨率
去噪锐化
增强工具包
色彩增强
去划痕
……
分辨率低 背景/压缩噪声
色彩灰暗 胶片损伤
场
帧i-K
景 切
……
分
帧i
算
法
……
帧i+K
帧i’ from i-K 帧i’ from …
帧i 帧i’ from … 帧i’ from i+K
融合 CNN
修复帧i
效果展示
落地应用
• 国剧修复 • 经典电影修复
更清晰-画质增强
• 提升UGC画质
• 方案：基于内容理解的画质增强 • 落地：全站频道/UGC封面图增强
主要内容
• 更清晰-画质增强 • 更流畅-智能倍帧 • 更有趣-人像弹幕 • 展望
人像弹幕
• 弹幕不”挡”人
人像弹幕
• 基于深度学习的图像分割
DeepLab
人像弹幕
• 难点
• 算法准确度 • 场景复杂 • 实时性与功耗 • 蒙版文件大小
Easy mode
Hard mode
Leabharlann BaiduHell mode
人像弹幕
mIoU:87.6% -> 93.6%
人像弹幕
• 难点2：场景复杂
• 远景观众
人像弹幕
• 难点2：场景复杂
• 远景观众：景别识别
人像弹幕
• 难点2：场景复杂
• 远景观众：景别识别
特写(CU)
中景(MS)
远景(WS)
人像弹幕
• 难点2：场景复杂
• 远景观众：景别识别
人像弹幕
• 难点2：场景复杂
• 难点1：算法准确度
• 基于语义分割，全自动分割出人像作为前景 • 用综艺数据训练模型（《中国有嘻哈》）
人像弹幕
• 难点1：算法准确度
• 用综艺数据训练模型 • 形态学方法，滤除误分割区域，填充孔洞
人像弹幕
• 难点1：算法准确度
• 用综艺数据训练模型 • 形态学方法 • 后处理方法，修复明显错误
• 方案：现有增强算法+基于帧间融合的去划痕算法 • 落地：国剧/老电影修复
主要内容
• 更清晰-画质增强 • 更流畅-智能倍帧 • 更有趣-人像弹幕 • 展望
智能倍帧
• 增加视频的帧率，使得观影体验更流畅 • 适用于3D动漫、体育比赛镜头、慢动作回放、动作大片等
智能倍帧
前向预测
T+0帧 T+1帧
光流预测
warp
T+0.5 预测帧1
T+0.5 预测帧2
融合 网络
最终结果 T+0.5
逆向预测
智能倍帧
• 难点-插帧伪影
期望的倍帧效果
伪影
伪影检测
T+0帧 插帧 T+1帧
深度神经网络 打分器
插帧画面分数
or
落地应用
• 3D动漫倍帧-已上线
原片（25fps）
智能倍帧（50fps）
……
解决难点1：UGC图片质量问题
• v1.0版本-端到端深度神经网络
增强前图片
ZoomAI工具包
超分辨率 去噪锐化 色彩增强
① 接口一致 ② 相互解耦 ③ 灵活配置
工具1 工具2
….
增强后图片
为各条业务线 自由定制方案
解决难点1：UGC图片质量问题
• v2.0版本-基于内容理解的画质增强
需要清晰 需要无噪
智能播放
自适应码率 窄带高清 ZoomAI 人像弹幕
智能播放
更清晰
更流畅
更有趣
主要内容
• 更清晰-画质增强 • 更流畅-智能倍帧 • 更有趣-人像弹幕 • 展望
主要内容
• 更清晰-画质增强 • 更流畅-智能倍帧 • 更有趣-人像弹幕 • 展望
超高清时代
难点（一）
• 用户自己上传（UGC）的图片/短视频/视频：质量参差不齐
2:54
+
基于内容理解的 视频增强
3:45
？
？
展望
• 5G时代
提升分辨率
提升帧率
展望
• 更有温度 – 手语主播
去划痕的经典方法
• two-stage：划痕检测 + 划痕去除
划痕
• 划痕检测：直线检测等
• 划痕去除：时间插值，空间插值等
• 缺点： • 一般只处理水平/竖直的划痕，无法处理水渍，白点 • 画面本身的水平/竖直线的处理
ZoomAI去划痕
• 前提：划痕等只在某一帧出现 • 光流估计 + warp + 多帧融合
需要清晰
画质增强流水线
原图
文字区域检测模块 显著性检测模块
文字区域
文字增强模块
前景区域 背景区域
前景增强模块 背景增强模块
图片融合
增强图片
应用落地
• 全站频道/UGC封面图增强
原图
增强图
原图 增强图
解决难点2：老电影/电视剧质量问题
• 复用已有的增强方法：超分辨率、去噪、色彩/亮度增强 • 特有的问题：划痕和白点
人像弹幕
• 难点4：蒙版文件大小
• 景别识别 • 帧内：行程编码
编码后
编码前
人像弹幕
• 难点4：蒙版文件大小
• 景别识别 • 帧内：行程编码 • 帧间：合并相似帧
大小：压缩至1/25
主要内容
• 更清晰-画质增强 • 更流畅-智能倍帧 • 更有趣-人像弹幕 • 展望
展望
• 算法
端到端 视频增强
爱奇艺智能播放技术及应用
冯巍
爱奇艺 研究员
在全球整体的互联网下行流量中，视频占到了近58%。
——《全球互联网现象报告》
AI在视频行业中的应用
智能创作
智能生产/分发
智能选角 辅助后期制作 短视频拍摄 直播美颜/贴纸
个性化推荐 封面图选取 审核 只看他
智能变现
创可贴 随视购 前情提要 Video In
• 远景观众：景别识别
人像弹幕
• 难点2：场景复杂
• 远景观众：景别识别 • 近景观众： AI明星弹幕
人像弹幕
• 难点3：实时性与功耗
优势 • Android中端机双线程25FPS • 模型尺寸270KB
劣势 • 功耗大，影响观影体验 • 低端机效果差
移动端实时抠图
人像弹幕
• 难点3：实时性与功耗
暗光拍摄
多次压缩
模糊 压缩噪声 噪点 色彩灰暗 ……
难点（二）
• 老电影/电视剧/综艺视频
电影《双教子》
胶片划痕 背景噪声 画面抖动 色彩灰暗 低分辨率
……
评书《乱世枭雄》
ZoomAI画质增强技术
• 视频/图像增强方案
超分辨率
去噪锐化
增强工具包
色彩增强
去划痕
……
分辨率低 背景/压缩噪声
色彩灰暗 胶片损伤
场
帧i-K
景 切
……
分
帧i
算
法
……
帧i+K
帧i’ from i-K 帧i’ from …
帧i 帧i’ from … 帧i’ from i+K
融合 CNN
修复帧i
效果展示
落地应用
• 国剧修复 • 经典电影修复
更清晰-画质增强
• 提升UGC画质
• 方案：基于内容理解的画质增强 • 落地：全站频道/UGC封面图增强
主要内容
• 更清晰-画质增强 • 更流畅-智能倍帧 • 更有趣-人像弹幕 • 展望
人像弹幕
• 弹幕不”挡”人
人像弹幕
• 基于深度学习的图像分割
DeepLab
人像弹幕
• 难点
• 算法准确度 • 场景复杂 • 实时性与功耗 • 蒙版文件大小
Easy mode
Hard mode
Leabharlann BaiduHell mode
人像弹幕
mIoU:87.6% -> 93.6%
人像弹幕
• 难点2：场景复杂
• 远景观众
人像弹幕
• 难点2：场景复杂
• 远景观众：景别识别
人像弹幕
• 难点2：场景复杂
• 远景观众：景别识别
特写(CU)
中景(MS)
远景(WS)
人像弹幕
• 难点2：场景复杂
• 远景观众：景别识别
人像弹幕
• 难点2：场景复杂
• 难点1：算法准确度
• 基于语义分割，全自动分割出人像作为前景 • 用综艺数据训练模型（《中国有嘻哈》）
人像弹幕
• 难点1：算法准确度
• 用综艺数据训练模型 • 形态学方法，滤除误分割区域，填充孔洞
人像弹幕
• 难点1：算法准确度
• 用综艺数据训练模型 • 形态学方法 • 后处理方法，修复明显错误