媒体视频编解码性能质量评价

媒体视频&编解码性能质量评价
目录CONTENTS
视频质量客观评价意义&挑战&解决方案01
视频编解码性能评价意义&挑战&解决方案02
01视频质量客观评价意义&挑战&解决方案
视频质量评价测试介绍
分类优点缺点
主观质量评价
评价结果可靠依靠大量的人力、时间，效率低、成本高客观质量评价速度快、费用低
未充分考虑人眼视觉特性，较主观评价结果不一致
视频质量评价主要包括主观测试和客观测试，客观质量评价以其“高效”、低成本的优势而广泛应用；
主客观测试优缺点
主客观测试介绍
类型维度方法
说明
主观测试
清晰度主观MOS：参考ITU-R-BT.500-14建议：主观体验画面清晰模
糊、块效应、噪点、细节、色彩、花屏，时域帧率，卡顿等MOS分范围1-5分；越大越好
流畅度时延客观测试
清晰度PSNR、SSIM、Vmaf 越大越好流畅度帧率越大越好
卡顿率区分小/中/大卡顿
(常用100/200/600ms) 卡顿率越小越好视频时延E2E时延
越小越好画音同步时延
音画同步时延
越小越好
面向业务的视频质量客观评价挑战
具体视频业务开展中，普遍面临着难度大、效率低等挑战
挑战1：视频画面质量有源客观测试难度大
•画面帧对齐难度：实际视频业务中普遍存在丢帧、发送和接收客户端接入不同时，普遍面临降质画面难以找到对应的原始画面，无法开展画面有源客观质量评价(依赖相同帧对齐)
•画面内容非全屏：部分视频业务普遍存在非全屏显示场景，相同的原始画面和降质画面，部分区域(本地显示)不一致，影响有源客观测
试的准确性
画面帧对齐？画面帧对齐？原始画面
接收画面
挑战2：画面帧率、卡顿、时延测试困难且无法同时测试
一、视频帧率/卡顿统计
该
业务视
频帧率是
多
少该
业务视
频中间
卡顿多久
二、E2E时延无法统计
本地显示T2
本地秒表T1
最终显示T3
如下图业务：
1、视频业务端到端的时延 delay = T3-T1 （采-编-传-解-显）
2、视频业务屏到屏的时延delay = T3-T2 (编-传-解)
挑战：拍照时钟重影，效率低，自动化识别错误率高，无法快速自动化
精准、高效、自动、客观视频质量评价工具
面向实际业务的视频质量评测工具
视频质量评价工程，一站式自动完成画面内容无损采集，画面客观清晰度、流畅度、卡顿、时延结果准确、客观、高效、可视化；
Type C转HDMI
Type C转HDMI
高帧率视频采集卡+自动采集工程
原
始
画
面
降
质
画
面
画面帧对齐
客观PSNR计算
画面帧率计算
画面卡顿计算
画面时延计算
5
10
15
20
25
30
35
40
45
05001000150020002500300035004000
P
S
N
R
frameID
PSNR
10
20
30
40
50
60
70
05001000150020002500300035004000
f
r
a
m
e
R
e
t
e
frameID
frameRete
20
40
60
80
100
05001000150020002500300035004000
t
i
m
e
D
i
f
f
frameID
timeDiff(ms)画面自动采集画面自动保存画面质量测试画面质量报告
解决方案核心思路1 -清晰度
将二维码应用在画面帧ID对齐，解决业务上画面不对齐的痛点，通过广泛使用的客观质量评价指标PSNR/SSIM测试画面清晰度
根据业务确定画面质量检测区域，避免部分业务部分区域不参与客观测试的问题
时间轴
接收端采集画面：
发送端采集
画面：
…
…
…
…
ROI检测帧：ROI区域即其中黑色部分
根据ROI检测帧，分别识别ROI区域的位置信息，即橙色和绿色虚线的位置信息
1、根据二维码信息将发送端和接收端同一帧进行匹配
2、分别根据ROI区域截取，resize至统一区域后进行清晰度计算
ROI区域检查作用：
1、控制计算区域，避免本地回显窗口、弹窗等无关因素的影响
2、解决发送端和接收端画面大小不一致的情况，如接收端无法全屏
…
…
虚线为根据ROI检测帧识别的ROI区域边界
ROI检测帧：ROI区域即其中黑色部分
虚线为根据ROI检测帧识别的ROI区域边界
相同二维码帧ID
相同二维码帧ID
解决方案核心思路2：流畅度帧率、卡顿
根据接收的降质画面检测区域参考画面前后帧TI信息进行一致性比对，确定每秒帧画面数和卡顿
…
T1
T2
T3
T4
时间轴
降质画面：
降质画面采集时间：
卡顿、帧率 – 根据接收端ROI区域内两帧之间TI值来判断是否为同一帧
本例中卡顿：T3-T1; T4-T3
本例中帧率：T1、T3、T4时刻为新的一帧，分别统计每秒内帧数即可
虚线内区域为检测区域
高TI：
低TI：
检测区域的作用：
1、排除本地显示，非测试区域刷新等因素导致业务的帧率、卡顿测试统计不准
检测区域变化，卡顿时间：T3-T1检测区域变化，卡顿时间：T4-T3
解决方案核心思路3：时延
通过评测系统同一设备的高速视频采集卡，采集原始画面和降质画面准确时间，达到准确时延测试
…
…
……
t1
t2
t3
T1
T2
T3
T4
时间轴降质画面：
降质画面采集时间：
原始画面采集时间：
原始画面：
时延 – 相同画面帧(二维码)在发送端和接收端首次出现的时间差本例中：T1-t1; T3-t2; T4-t3
时延：T1-t1
时延：T3-t2
时延：T4-t3
备注：
1、准确时延测试的要求：1)统一的计时器;2)精确到毫秒;3)同步的源时间和播放时间快照
2、二维码识别准确，误识别率低，较好的解决了帧画面为同一帧的问题
02视频编解码性能评价
视频编解码与视频业务的客观评价相似不相同类型场景维度详细指标说明
客观测试编码器
压缩性能BD-Rate
(压缩性能相对提升)越大越好，相同带宽下，呈现的画面质量更好速度
首帧时延越小越好，主播前后台切换画面更快
平均时延越小越好，业务的端到端时延更低帧率(吞吐)极限帧率越大越好，业务流畅性帧率更高
解码器
速度
首帧时延越小越好，观众前后台切换，短视频切换出图更快
平均时延越小越好，图库视频拖动卡顿更低帧率(吞吐)极限帧率越大越好，视频业务倍数播放更高
视频编码清晰度-视频编码质量客观测试
视频编码质量，会影响业务编码压缩画面质量和耗费的带宽；
视频编码性能的提升，一句永恒的话题：用更低的码率，享受更好的体验；
视频编码压缩测试框图
in
编码码流
out
编码参数
OpenHarmony
编码器
标准解码器
待测码流XXX.yuv
待测码流XXX.yuv
序列1/2/……
图像1：PSNR 图像2：PSNR 图像……
图像N:PSNR
Bitrate = 文件大小*目标帧率/帧数平均PSNR
根据不同的业务，选择更合适的参数
视频编解码时延-视频编解码时延客观测试
视频编解码时延，会影响视频业务前后台切换，节目切换，分辨率切换，拖动等场景出图快慢，体验影响较大计算方法：queueInputBuffer 带入pts当前时间戳，getOutputBuffer 获取数据后获得当前时间戳，两个时间差即时延。

编解码Create configure start
编解码处理
queueInput
Buffer()
getOutputB
uffer
stop release
单帧编解码时延
Open Harmony HiTrace录制
待测码流文件
按规格间隔送帧
视频编解码吞吐帧率，会影响视频业务流畅性帧率的规格，对用户的体验影响较大
吞吐帧率的计算常见误区
编解码 帧率 = 1秒/平均每帧时延 ？×
误区解读：编解码单帧时延，测试按规格间隔送帧，编解码器帧间存在部分空闲时间，导致编解码器未满负荷运行，导致计算的吞吐帧率偏低
吞吐帧率的计算
编解码吞吐帧率 =待编解码测试码流，连续送入待测视频帧，确保编解码处理满负荷运行，计算单位时间内输出的帧数
编解码Create
configure start
编解码处理
queueInputBuf
fer()
getOutputBuff
er
stop release
所有帧完成编解码时间
Open Harmony HiTrace录制
待测码流文件
连续送视频帧
编解码测试 =性能测试？
NO！
OpenHarmony媒体解码兼容性测试
解码器兼容性测试及自动化
1、解码视频序列一致性自动化快速比对
待测码流XXX.h264XXX.h265
标准解码器
OpenHarmony解码器
in in
图像
图像
out out 是否一致
N
OpenHarmony解码器 对应码流分析/修改
OK
图像1图像2Hash值Init Hash值Update2……Hash值Update……图像N Hash值UpdateN
Hash值Final
感谢聆听。