图像超分辨率重建技术及研究

低分辨率特征块作为训练样本；④对于高低 分辨率训练样本中每一对特征块，约束它们 具有相同的稀疏表示系数，最后学习到一对 过完备高低分辨率字典。在重建阶段，对于 输入低分辨率的图像，首先对其提取相应图 像特征，然后将其分块，对于每一个图像特 征块找到其关于低分辨率字典的稀疏表示系 数，利用此表示系数和高分辨率字典可以由 稀疏表示理论得到相应的高分辨率图像特征 块，最后恢复整幅高分辨率图像。
技术得到了迅猛的发展，数据交换的速度要
CPCI又称紧凑型PCI，是1994提出来的
求总线的能力越来越高，相匹配于速度的要 一种总线接口标准。以PCI电气规范为标准
求出现了VME及后来发展的CPCI总线。
的高性能工业用总线。
3.VME总线
CPCI在功能架构上和PC机一样。固CPCI
3.1 功能与特点
的出现让诸如CPU、硬盘等许多原先基于PC
2.2 总线应用
如图3所示，VR7主板带有更快的主频，
如图2所示，286主板为8M的主频，加 并带有网络交换口，及PC及相应的标准配
载DSP芯片，在不同的机箱插槽实现数据传 置，可以更好的查看主板运行情况，由VR7
输，信息解算等，由286主板将数据结果传 加载DSP芯片，由于总线带宽的提高，芯片
输到下一环节，同一类型的DSP芯片在不同 处理数据，实现算法的能力不再受总线的限
VME总线是一种通用的计算机总线，它定 的技术和成熟产品能够延续应用，解决了多
义了一个在紧密耦合(closely coupled)硬件构 年来电信系统工程师与设备制造商面临的棘
架中可进行互连数据处理、数据存储和连接 手问题，比如传统电信设备总线VME与工业
外围控制器件的系统。
标准PCI总线不兼容问题。
的机箱中可以互相替换，信号传输的能力受 制，可以大大提高信号机的处理能力，由于
总线速度的限制。
总线的机械结构更为合理，能很好的满足散
新一代的应用中，数据传输采取网络 热要求，提高设备的稳定性。
交换，数据量大大增加，MULTIBUS总线成为
4.CPCI总线
发展的瓶颈。随着工业技术的进步，计算机
4.1 功能与特点
-105-
》》 科研发展
应用在电子设备中的几种工业现场总线
中国船舶重工集团第七一五研究所 秦 利
【摘要】在信号处理机和显示控制台等工电子设备中，工业现场总线起着重要的作用，它代表了设备信号的传输能力。本文简要介绍了应用在电子设备中的几种 重要工业现场总线，对比它们之间的异同，说明现在各总线结构存在的问题并对发展前景进行了展望。 【关键词】工业现场总线；带宽；MULTIBUS；VME；CPCI
总线，随着工业技术的进步，现在发展了
VME总线及CPCI总线。本文着重介绍一下
MULTIBUS、VME及CPCI三种总线的应用。
2.MULTIBUS总线
2.1 功能与特点如图1所示，MULTIBUS总
线是一种异步的多重处理系统总线，在单板
计算机、存储器和扩展的I/O板之间传输8位
或16位数据，支持主设备、从设备和智能从
4.算法中存在的问题及改进思路 基于插值的方法没有考虑低分辨率图 像的像素值不是高分辨率图像像素值的理想 采样值，而由高分辨率图像像素值经过空间 平均和卷积得到；其观测模型仅适用于所有 低分辨率图像模糊和噪声都相同的情况， 局限性较大；另一方面就是没有加入额外 的高频信息，使得很难恢复出图像中的细节 信息。基于重建的方法虽然可以加入先验信 息，但在4倍以上的抽取率情况下恢复效果 较差，基于稀疏表示的学习方法可以较好地 保持邻域关系，且可以恢复更多的图像细节 信息。但它的缺点是稀疏编码阶段的计算量 较大，另一方面，得到一个具有广泛表示能 力的过完备字典较难。 Rubinstein等人(R.Rubinstein et al， 2010)提出了一种结合了分析型字典和学习 型字典各自优点的稀疏性字典学习方法。 他们假设一个稀疏性字典具有以下形式， D=BA，其中B是一个固定的分析型字典，而A 是一个稀疏矩阵。由于字典B对字典D的构造 施加一种强制的结构约束，使得字典D具有 使用的广泛性和快速的算法，同时矩阵A使 得字典D具有较好的自适应性。另外，D中基 元的结构性约束可以减少字典训练所需的样 本数，且增强了字典的抗噪性能。但是稀疏 性字典只是迈向我们所需的理想字典的第一 步，还需要做进一步的研究来设计结合了两 种类型字典各自优点的更有效字典。 那么对于如何提高稀疏字典的多尺度 性和几何不变性呢，我们假设一个基于稀 疏字典设计D=BA的模型，D=BA+H。其中B是 一个固定的分析型字典，而A是一个稀疏矩 阵。H为高频信息，增加了细节信息，进一 步对图像进行恢复与增强，H可以由样本训 练得到。可以通过改进的聚类方法建立学习
Eurocard标准 PCI总线电气规范，欧 可以自动识
洲卡规范
别板卡
字典的索引，通过索引寻找最佳匹配原子， 从而大大地减少了蛮力搜索的时间开销。
参考文献 [1]冈萨雷斯.2003.数字图像处理[M].北京:电子工业出 版社. [2]吉宏诺夫A.H.1979.不适定问题的解法[M].北京:地
质出版社. [3]王彦飞.2007.反演问题的计算方法及应用[M].北京: 高等教育出版社. [4]宋锐.2009视频和图像序列的超分辨率研究[D].西 安:电子科技大学. [5]D.Bertsekas.2003.Nonlinear Programming[M].Athena Scientific,Nashua,NH,U.S.A.
设备。
表1 几种总线带宽
类型 VME64 VME64x VME320
带宽(Mb/s) 80 160 320
图1 MULTIBUS功能架构
图2
图3 图4
最初的早期，计算机寻址能力及传输 位，系统可以动态的选择它们。VME家族的
能力有限，MULTIBUS总线很好的满足了单板 几种总线带宽如表1。
计算机之间的数据交换，并且其可靠的传输
像的质量。 (5)图像恢复和增强 图像恢复（Image Restoration）：考
虑降质原因，分析降质模型，利用退化现象 的某种先验知识，把已经退化了的图像加以 重建或恢复。就是使退化图像恢复本来面 目。例如：去运动模糊、几何失真校正。如 果要用某一客观标准来度量，则为某种准则 下的最优估计。
图像增强（Image Enhancement）：目的 是为了改善图像的视觉效果，或者是为了更 便于人或机器的分析和处理，提高图像的可 懂度。在不考虑降质原因的情况下，用试探 的方式对图像进行加工，力求改善图像的质 量，如突出了一部分信息，同时可能压制另 一部分的信息。例如：平滑、锐化、直方图 处理等。
1.引言 图像处理相关技术在气象、视频监 控、地质勘探以及航空航天等领域也都有广 泛的应用，随之而来的是人们对图像分辨率 的要求越来越高，硬件发展也随之提高，许 多好的硬件设备可以实现高分辨率图像的拍 摄，那为什么还需要超分辨率重建恢复呢？ 首先，高分辨率的设备价格昂贵；其次，每 一种设备都有它的极限，受到硬件设备的限 制很难得到真正高分辨率的图像。目前基于 超分辨率研究主要分为：基于插值的，基于 重建的和基于学习的。 2.关于图像的基本概念 (1)图像分类 从图像空间坐标和明暗程度的连续 性，图像可分为模拟图像和数字图像，它 们具有不同的表示方法。模拟图像：图像 是连续的，即用函数f(x,y)表示图像。其 中：x，y表示空间坐标点的位置f表示图像 在点(x,y)的某种性质的数值，如亮度、灰 度、色度等。f，x，y可以是任意实数。数 字图像：I(r,c)是对f(x,y)的离散化后的结 果。r表示图像的行(row)；c表示图像的列 (column)；I表示离散后的f；I，r，c的值 只能是整数。 (2)图像失真 在许多实际的图像采集处理过程中， 图像中像素之间的空间关系会发生变化，这 时可以说图像产生了几何失真，需要通过几 何变换来校正失真图像中的各像素位置以生 新得到像素间原来应有的空间关系。运动模 糊和散焦模糊是两类常见的模糊方式。实际 拍摄过程中，由于摄像机的抖动或者被拍摄 对象的运动会导致运动模糊；散焦模糊则是 由于聚焦不准而造成的。 (3)图像采样 图像的采样分为图像和图像上采样。 下采样又叫图像缩小，下采样可以降低图像 分辨率；上采样又叫图像放大，可以增加图 像的分辨率。图像的下采样是不可逆的过 程。因为由高分辨率图像到低分辨率图像是 “一对多”的映射关系。 (4)图像分辨率 常用的图像分辨率可分为：图像空间 分辨率、图像幅度分辨率以及图像显示分辨 率等。这些分辨率的大小，都直接影响着图
表2 VME和CPCI总线的简单比较
总线 VME
CPCI
时间 1981
1995
CPU核心技术 总线宽度
wk.baidu.com
总线速度
8/16/24 68K系列处理器
/32/64
见表1
不依赖于硬件，与 PCI总线兼容
32/64
66M核心频率下，对应每 秒264兆、528兆字节
电气标准、机械结构 备注 Versa总线的气标准，
1.引言
现场总线是指应用在生产现场与微机
化测量控制设备之间实现双向多节点通信
的系统，是一种开放式、全数字化、多点通
信的底层控制网络。在电子设备的产品应
用中，工业现场总线在应用中起着重要的
作用，它代表了设备信号的传输能力。如：
MULTIBUS、VME，STD、PC-104、CPCI等，在过
去的工业产品结构中，主要采用了MULTIBUS
3.图像超分辨率技术 目前的图像超分辨率研究可分为3个主 要方法：基于插值、基于重建和基于学习的 方法. (1)基于插值技术的方法 这类方法首先估计各帧图像之间的相 对运动信息，获得高分辨率图像在非均匀间 距采样点上的像素值，再通过非均匀插值得 到高分辨率栅格（HR Grid）上像素值，最 后采用图像恢复技术降噪和去模糊。 (2)基于重建的超分辨率 过去的三十多年，基于重建的图像超 分辨率重建算法被广泛的研究。这类方法的 原理是利用前向观测模型对输入的多帧低分 辨率图像进行一致性约束，并且结合一定 的图像先验信息(通常是平滑性约束)进行求 解。运动估计和选择先验信息是该方法中比 较重要的两个步骤。几种比较典型的基于重 建的超分辨率重建方法，包括迭代反向投影 法、最大后验概率(MAP)方法和凸集投影法 (POCS)。 (3)基于学习的超分辨率 此种方法是基于这样的假设前提：自 然界的图像具有相似的结构表示基元，这里 的结构通常指高频信息。该方法包括训练和 重建两个阶段。其中，训练过程如下：①选 择大量各类结构的自然图像；②分别对高低 分辨率图像提取各自高频特征；③对高低分 辨率特征图像分块，并随机抽取一定量的高
》》
科研发展
图像超分辨率重建技术及研究
武汉大学信息部 叶兆丰
【摘要】本文介绍了视频编码中的图像超分辨率技术的技术，对图像处理基础进行介绍：什么是图像，图像的基本类型，图像模糊，图像恢复，图像增强和图像 超分辨率等。介绍图像处理关键技术的应用背景与技术发展，包括基于插值的超分辨率，基于重建的超分辨率，基于学习的超分辨率。及其中存在可改进的问题 提出解决思路。 【关键词】图像处理；超分辨率；插值；重建；学习；稀疏表示
层的4类总线进行传输，信号的模式是TTL电
4.2 总线应用
平信号。
如图4所示，PM主板为1.1G的主CPU，
VME的数据传输机制是异步的，有多个 带有与对外通信的双网卡，配合CPCI总线
总线周期，地址宽度是16、24、32、40或64 的带宽，处理能力及速度远远超过过去的
位，数据线路的宽度是8、16、24、32、64 MULTIBUS总线的应用，其中双图形板相当与
VME系统的总线分为四大类：数据传输
CPCI具有可热插拔（Hot Swap）、高
总线、数据传输仲裁总线、优先中断总线和 开放性、高可靠性的优点。它与传统的桌面
通用总线。在VME总线中，各模块是以平行 PCI系统完全兼容，在64位/66M总线接口下
结构分布的，所有的数据和指令通过系统底 能提供每秒高达512MB的带宽。
随着支持VME总线的硬件板的普及应
系统及多主机之间的工作匹配，在军品的工 用，VME总线在电子设备中得到了广泛的应
业系列中得到的了广泛的应用，由于其总线 用，目前的几种信号处理机都采用了VME64
信号设计简单，易于扩展，在老一代的电子 总线规格，实现了设备的升级换代。
产品中起着重要的作用。
3.2 总线的应用