视频帧率上转换技术综述

一
这样 通过序 列之 间配准 就可 以实现信 息 的互补 ，从 而达
到帧率 增强 的 目的。这种 方法 的优 点是 通过 多序列 配准 提 高 帧率 避 免 了复杂 的运动分 析 ； 是大 多数情 况下 但 考 虑到 成本 、功耗 等问题 ，视频 源都是 单序 列 ，无 法实 施 多序列配准 ．这也是该方法的局 。Ｃ ｏ 等人通过在 ｈｉ
间位置 ，在这 些位 置上 ．需 要根据 前后 帧 的内容预 测 出
一
待插帧 的前后帧之间使用双向运动估计来得到更精 确的运
动 向量 。如 图 ３所示 ．对于中间帧的每个待预测块 ，在 前
幅新的帧 （ 图 ２所示 ） 如 。序列 图像和视频 中具有 的丰
更好的视觉质量 。
一
图 ２ 帧 率 上 转 换 示 意 图
１ 非运 动补偿 帧率上转换算法 ．
非运 动补 偿 算 法根 据参 考 的低 帧率 视 频分 为 两类 ， 类是针 对单视 频序 列 的帧重复 、帧平均 等方 法 ，不考
虑 场景 的运 动 直接 通过 复 制或 平均 得 到 内插 的中 间帧。 这类方 法运算速度快 ，可以应用在 实时性要求高 的领域 ， 在处理 静 止场景 时也可 以得 到较好 的结 果 但是 在处理 运动 物体 时会产 生运动 模糊 。还 有一 类主要 针对 多视频 序列 ，这类 方法 的源视频 为不 同角度 的摄像机 拍摄 的同
一
（）视频 编码 中减 少 时间冗余 度。在 低 比特率视 频 ２
通信 中 （ 如远程视频 会议 ） 比 ，视 频 编 码 时 常 需 要 通 过 时
域 下采样 满足信 道 带宽 的要求 ，降低传 输帧率 （ 至每 降
场 景 的低 帧率视 频 ，这 些低 帧率视频 在 时间轴 上并不
致。 也就是说 ． 的序列捕捉 的画面其他 序列没有记录 ， 有
图 像 分 割 的 方 法 不 再 采 用 规 则 的 匹 配 块 ，Ｊｃｂｏ ａｏ ｓｎ
等人认 为运动物体 的不规 则性决定 了匹配块 的不规则性 ， 从而 提 出待 插帧可 以划分 为人 眼感兴趣 的 明显 运动物体 区域 和不 感兴趣 的背景 区域 ，然 后再分 别对 明显运动 物
宽要求 ．而在解码端再利用插帧的方法恢复丢弃 的帧 ．以
提 高视 频质量 。帧率 上转换 （ｒ ａｅ — ｏ ｖｒ ｏ ， Ｆａ Ｒ ｔ ｕｐＣ ｎ ｅｓ ｎ ｍｅ ｉ ＦＵ Ｒ Ｃ）作为一种后处理 技术 ．通过在两个解 码帧中 间插 入中间帧的方式 ．实现将视频从一个较 低的帧率 上转换到
可 以分 为两类 ： 非运动补偿类算法 和运动补偿类算法。
测双向运动估计所得运动场中较异常的向量 ，然后参考异 常向量的邻域 运动信息 加以修正 。该 方法 的不足之处是 中 值滤波器会修正过多的向量 ，甚 至导致更多的异 常向量。
２０ １，０ ５
１数通世 ８ － 字信界 ３ Ｕ， 、
富 的原始 数据 以及 相邻帧 间的 高度相 关性 ．使得帧 率上
转换的实现成 为可能 。
后帧 中寻找使对应块最为相似的位移作为待预测块 的运动 向量 ，成功地解决了传统帧率上转换中运动估计存在 的重
叠和空洞问题 。在此基础上 ．Ｙ ｎ 等人通过 中值滤波器检 ａｇ
在 低 帧率视 频到高 帧率 视频 的转换 过程 中 ．按 照是 否进 行运动 估计 并做相 应 的运动补 偿 ，帧率上 转换算 法
的手机 、Ｐ Ａ等个人 手持设备也 随着 Ｗｅ ２ Ｄ ｂ． ０的兴起 ，成
为一种重 要 的视 频源 采集方式 ．但通 常所采集 的视频 都
８ ＩＩ Ｗ 。 ２ＤＧＴ 。 Ｃ ，
Ｔ ｅｃｈ ｏｌ ｎ ｏ ｇ
…
…
技术分析 咧 ＿ ｎ ａｉ 一 ｓ ｌ ｙ ｓ “
．
Ａ
…
是低分 辨率 低质 量视 频 在数 字 家庭娱 乐方面 ，各种 档 次的 数字摄 像机 也正迅 速 的走入平 常 家庭。 多种视频 应 用的广泛兴起 对显示设备 间帧率 的转换提 出了要求。
视 频图像 的运动复杂多样 ，得 到两个相邻帧之间的精
确 运动场 ．是 帧率上 转换 （Ｒ Ｆ ＵＣ）的关键 。概括 地说 ， 目前 的做法大多是采取各 种方法对获取 的初始运动场进一
图 ３ 双 向 运 动估 计 示 意 图
步修正 以使其尽可能精确 ．然后可 以使用运动补偿产 生内 插 帧，最后还可以结合滤波的方法进一步优化内插帧。
影 响 了电视 观 众观 看 的效 果 ：而 Ｐ Ｐ （ 离 子显 示屏 ） Ｄ 等
显 示会 有大 面积 的 闪烁 。如果 通过 帧率上 转换技 术将 显 示 帧数提高到 ６ Ｈ ０ ｚ以上 ．就可 以解决这些 问题 。
２ 运动补偿帧率上转换算法 ．
运动 补偿 类算 法通过考 虑 帧间 的运 动信 息 ，利 用线 性 或者 非线 性内插 滤波器 来产 生待插 的 中间帧 ．这也 是
终端设备也随之多样化 ． 例如普通个人计算机 、 掌上电脑、
机顶盒 、移动 电话等 ，各种终端 的显示能力 、处理 能力、
所能支持 的业务应用等都存在着差异。
与此 同时 ，视频 作为计 算机 、通 信 、消 费类 电子设
备业务融合的载体 ， 得到越来越广泛的应用。如 图 １ 所示 ，
■■■一 － —＿
Ｇ
技
随着高清 数字电视 （ ＤＴ Ｈ Ｖ）和高端多媒体信息 系统
的发展 ．现有 的视频信号节 目源已不能满足人们对于视觉 效果的需求 ．因此需要提高现有视频节 目源的帧率 以达到 更优 的视觉效果 ： 与此 同时 ，随着带宽资源不 断被分配和 占用 很 多视频应用只能获得非常有限的带宽资源 （ 例如 远程教学 ） ，为 了满足 此类较低带宽应 用的要求 往往需 要 在编码端采用丢帧 的办法来降低时间分辨率 ，以满足带
视频帧率 （ｒｍｅｒｔ）是 用于测量显示帧数 的量度 ， Ｆａ ｅ ａ 测量单 位为每秒显示帧数 （ｒｍｅ ｅ ｅｏ ｄ Ｆａ ｓ ｒ ｃｎ ）或 ” ｐ Ｓ 赫兹 ” （ ） Ｈｚ 。一般 来说帧率大于每 秒 １ ，人 眼就会认 为是连 ６帧 贯 的动 画 ，中国电视采用 Ｐ ＡＬ制式 ，每秒播 放 ２ ，将 ５帧 性 能提 升至 ６ ｆ 则可 以明显提升 逼真感和 流畅感 这也 ０／ ｓ 是 高清 电视越 来越 受欢迎 的原 因。随 着数字 电视技 术 的 发展 帧率 上转换技术得到了广泛的应用 ： （ ）帧 率不 同 的视 频格 式 的转换 。例如 ，电影 节 目 １ 源是以２ ４帧 ／ 播放 ，而 电视 ＮＴ Ｃ ｛ 国国 家 电视标 秒 Ｓ 美 准 委员会 ）制式是 以 ３ Ｏ帧 ／ 的速 率来播 放 ．高清 电视 秒 则需 要 ６ ０帧 ／ 的播 放速 度 ，为 了能够让 电影节 目源在 秒 电视 设备 上播 放 ，必须 提高 节 目源 的 时间分辨 率 以提供
■■－
－ —●■■
技
不 管 是 平 滑 运 动 场 还 是 图 像 分 割 的 方 法 ，都 通 过 改
进 运动估计保 证运 动补偿 的精度 ．从而提 高 内插 帧 的准
确性和 可观 赏性。滤波 的方法 则相当于一个后处理 模块 ． 是 对运动补 偿之后 的 内插 帧利用三 边滤 波器等进 行去 噪 处理 ．即通过信号处理的方法直接优化 内插 帧。
要多次比对 ，计算 复杂 度较 高。
中兴力维行业巡展亮实力
２ １年 “ ０１ 创新成 就卓越 ”—— 中兴 通讯 ２ １ 飞跃之旅 全 国巡展 已于３ ０ｌ 月中 旬正式启动 ，作 为 中兴通讯 的监控 产 品 线，中兴 力维 全程 随展 。截至４ ０日，已完成 昆明、乌鲁木齐 、西安 、郑州、呼和 浩特 、广州 、深 圳、福州、 月３ 南昌、石 家庄 、济南、南宁、天津等 ｌ站 的展 出。监控产 品展示 内容涵盖 中兴 力维重 点行 业 系列解决方案 ，以 高清 ３ 摄像机 、无线３ Ｇ编码 器为代表的 系列终端产品， 以及远程监控平 台实时演示 。在此期 间，来 自政 府 、交通 （ 铁路 、 高速公路）、能源 （ 电力、石化等）、 医院等行业的１０ 余名 客户与中兴 力维进行 了深 入交流 。 ５０ 此 前，基于在监控领 域的专注专精和对行 业用户的深度 调研 ，中兴 力维先后开 发出衽会公共安 全、轨 道 交通、 电力石化 、企业级集成、服 务 网点监 管、平安校 园等十余个行业解 决方案 满足 了不 同行 业用户的监控 需求。通过 巡展 交流 了解到 ，在社会公共安全领 域 ，中兴 力维 目前 已成为承建 国内许多省 级平安城市项 目的服 务商。 针 对轨 道 交通和 电力行 业 ，中兴 力维 全新提 供 的动环 视 频一体 化监控 综 合解 决方 案 ，不 但 能够 节约对接 投 资、提 高沟通 效率 、缩短项 目工期 、减少维护 工作 ，还 能实现 无缝 对接 ，为用户提供告 警可视化 、在 线缉盗、远 程 巡检 、远程 专 家指 导等增值业 务 ，受到行业 用户的 高度认 可 。 目前 已广泛应 用在京石 武铁路段 、北京地 铁等监
一
个较 高的帧率 。基于 以上原 因及应用 ．帧率上 转换技术
已 经成 为 当前 视 频 处 理领 域 的一 个 新 热 点 。
中国教育 电视 台的基于 教育 新媒体 ”学 习超市全
民学 习平 台中 ．视频是 至 关重要 的传播 媒体 ．为了使视
频 的播 放适应 多种 显示终端 ．为学 习者提供 清晰 流畅 的
体 区域进 行精确 的运 动估计 ．对 背景 区域则保 持运动 场
的平滑 和连续性 。这种 方法得到 的运 动向量 场的准确 性 很 大程 度上 依赖 于 区域 划分 的准 确性 。类似 的还有 Ｈｓ ｕ 等 人提 出的根据 运动 类型分 割图像 的方法 ，认 为待插 帧 可 以划分 为全局 运动 和局部 运动 区域 ，先采 用全局 运动 矢量运动 补偿插 出内插帧 ．再 比较 内插帧 与前后帧检 测 出局部 运动 的区域 对 这些局部 运动 的块再 进一步修 正
发布 的热潮 ； 在视频 监控领 域 ．既有面 向高清晰视 频监
控 采集 的需求 ，也 有针对 密集型 视频监 控 ，进 行低分 辨 率视 频采 集的需 求 ； 多媒体通 信领域 ，集成 了摄 像头 在
网络通信 技术 的飞速 发展使 互联 网、广 电网和移动 通 信 网等 多种 网络业务 逐渐 走 向无 缝融合 ，接入网 络的
法 、图像分 割的方法和滤波的方法。
向高 帧率 转换 ，典 型 的如 ３ ０帧 ／ 向 ６ 秒 ０帧 ／ 的转 换。 秒
在 时 间轴上 ，相 比于低 帧率视 频 ，高 帧率视 频帧 与帧之 间的时 间间 隔变小 ．同 时添 加 了许 多原 本不 存在 帧的 时
平滑运 动场是对基于块 匹配 的运动估计得到的运动 场
帧 率上 转换 技术产 生 于 ２ ０世纪 ８ ０年代 ，目的是提 高 视频 信号 的时 间分辨 率 ，即根 据原 有 的低 帧率 图像序 列 产生 一 系列 新 图像帧 插入到 原来 的序列 中．将低 帧率
当前广 泛应 用的帧率 上转 换技术 。通常 采用 的基 于运 动
补 偿算 法的 帧速率 上转换 有三种 方法 ： 滑运动 场 的方 平
秒 １ ０或 １ ） 而在 解码端帧 率上转换作 为必要 的后处 ５帧
理工具 ， 以恢复 原帧率 ， 可 减小视觉上的停滞感和跳跃感 。 （ ）提 高 平板 电视 图 像 质量 。Ｌ Ｄ （ 晶显 示器 ） ３ Ｃ 液 显 示天 然 存在 运 动模 糊 、图像 抖 动、运 动 拖尾 等 缺 陷，
其 运 动 向 量 。其 中 ，检 测 全 局 运 动 和 局 部 运 动 的 过 程 需
视 频 帧率 上转 换 （Ｒ Ｆ ＵＣ）技术 提 供 了一 种从 低 帧 率 视频源 到高 帧率视 频输 出的转换 方案 。 目前 帧率 上 转换技 术 的应 用非 常广泛 ，在 高清 数字 电视 、远程会 议 以及远程 医疗 等领域 中均发挥 着相 当重要 的作用 ．市 场 应用前 景十分 广 阔。同时 ，视频 帧率 上转换 技术仍 存在 着许 多需要解 决的 问题 ，对帧率 上转 换技术 的进一 步研 究必将导致这 一理 论和技术扩宽 到更多的新的应用领域 ， 为视频处理与应用的研究带来 新的活力与挑 战。■ 参 考文献见 ＷＷ ｄ ｗＯｇ＇ Ｗ． ． ， ｃ ｌ．１ ２ １
图 Ｉ 多 样 化 视 频 应 用 场 景
在 数字 电视 、宽带视 频领 域 ．高清 、超高清 分辨率 的视
频 采 集 和 显 示 设 备 的 出 现 ．掀 起 了 数 字 电 视 、 数 字 电 影
视 听体 验 ．使 用 了视 频帧率 上转换 技术 。本文对 视频 帧 率上转换技术进行简单介 绍。