超分辨率

Experiments and analysis
用于作比较的其他五种面部图像的SR算法 1. Wang’s 2. Zhuang’s 3. CLLR-SR 4. Yang’s 5. Glasner’s
Experiments and analysis
实验验证包括下面5个小实验： A. 基准数据的影响 B. 时间和空间复杂度 C. 现实世界的图像 D. 参数的影响 E. LLT的稳定性
是个松弛因子， 是一个LR图像的像素指数。
（n1,n2）是一个HR图像中的像素指数，
Experiments and analysis
LLT算法中，我们设定了大小为8×8、且 带有2个像素重叠的图像补丁。阈值设置为 5，用于优化的松弛因子设为0.2。 为了表示有多少LLT和POCS对最终的结果 有贡献，在所有实验中，我们分别展示了 第一步和第二部的结果，其中，第一步只 有LLT，记为LLT1；第二步有LLT和POCS， 记为LLT2。
其中，kj和Rj分别表示比例因子和旋转矩阵。我们定义Rj为正交矩阵，并通过 Procrustes分析解决问题。 在第j个补丁上的比例因子kj和Rj，被表示为一个需要简化的回归问题：
其中，
表示Frobenius式子。
A.LLT 学习和重建过程
通过计算：
得到最优的kj和Rj：
A.LLT 学习和重建过程
B.POCS的一致性优化过程
POCS描述了将解的先验知识引入到重建过程的一种交替迭代的 方法，得到初步的HR图像后，POCS通过同时求解和恢复插值问 题来估计高分辨率图像。
其中，h是一个下采样的矩阵，这个问题可以通过古典POCS算法解决， 将LLT的结果进行初始值迭代和预测：
其中， 是一个小的阈值，
我们把每个LR和HR训练图像都分成了p个补丁，在训练集合中，LR 和HR图像的补丁分别表示为：
其中，i和j分别表示第i个训练图像和第j个补丁位置的索引。
相似地，用于测试的LR图像也被分成了p个补丁，表示为：
A.LLT 学习和重建过程
在j位置的HR和LR训练图像的补丁，分别表示为
通过分别减去它们的平均值 则可以获得对于j位置的训练补丁，从LR到HR的线性映射：
A. 基准数据的影响
控制变量：实验A所用的基准数据库为CAS_PEAL和AR 评价指标：为了比较来自两个数据库的重建HR图像的成 像质量，作者引入结构相似度SSIM和峰值信号噪声比 PSNR两个量，分别从定性和定量两个方面进行评价， SSIM是一个结合图像之间的亮度、对比度和结构差异的 全面相似性测量， PSNR被广泛用于基于像素差异的重 建质量的评估。在SSIM的计算中，窗口的高斯大小为 11×11，标准方差为1.5，和参数K=[K1，K2]=[00.01，
Abstract
本文提出了一种基于局部线性变换的面部图像 超分辨率在资源限制方面的应用。
Introduction
名词解释和简称 研究背景及意义 研究现状与发展 三种超分辨率方法的比较 引出本文的超分辨率方法
名词解释和简称
Super-resolution: SR 超分辨率 High-resolution: HR 高分辨率 Low-resolution: LR 低分辨率 Principal component analysis: PCA 主成分分析法 Peak signal-to-noise ratio: PSNR峰值信号噪声比 Local linear tranformations: LLTs局部线性转换 Projection onto convex sets: POCS 凸集投影 Local linear Embedding: LLE 局部线性嵌入 Coherent local linear reconstruction: CLLR-SR 局部线 性重建的超分辨率
C.现实世界的图像
一、来自网络的现实世界图像
如图，为来自网络的带有7张面孔的2张图像，用32×32像素稍微放大或缩 小地来获得LR输入图像。在图6（a）中，我们随机地从CAS−PEAL数据库 中选择800张图像作为训练集合来重建亚洲人的面部，在图6（b）中，从 FERET数据库中选择了500张图像作为训练集合。
研究现状与发展
目前已有的超分辨率算法主要有三类，基于插值的方 法、基于重建的方法和基于学习的方法。 其中，基 于学习的方法是近年来研究的热点 。
研究现状与发展
基于学习的算法： 1、其基本思想是通过训练数据集寻找低分辨率图像（或图像块）与对应的高分 辨率图像（或图像块）之间的映射关系，对输入的低分辨率图像（或图像块） 寻找最优解。 2、当输入LR测试图像时，可由映射关系来获得丢失了的图像信息，从而得到 其相应的HR图像。 3、将基于学习的方法与基于重建的方法相结合，可弥补传统重建方法中由于训 练样本不够所造成的信息不真实这一问题，有效提高图像分辨率。
基于AR数据库图像在不同方法下的SSIM和PSNR比较如下
上图表明我们的方法在有遮挡的面部图像中的优势，Yang、 Glasner、LLT1和LLT2的SSIM值方差低，表明这三种方法在 结构保存方面对噪声的处理是较好。LLT1和LLT2方法给出了 比Yang和Glasner更高的SSIM值的重建。Yang和Glasner的 方法对于遮挡像素的恢复更好，PSNR值比LLT更低。相比于 Wang、Zhuang和CLLR-SR的方法，本文的方法在质量和稳 定性方面都更好。
2）AR数据库图像有遮挡时的影响:这个实验是基于“增 大化现实”技术的数据库的一个子集上执行包含遮住了脸。 AR人脸图像数据库的子集有714额面部图像对应于119人， 即每个人都有六个额面部图像，其中两个戴墨镜和两个咬 合的围巾。抽样进行对齐，裁剪，产生HR的112×92像 素的图像和LR图像有28个×23个像素。我们随机选择14 人，用他们的图像(即84张图片)测试和培训的其他图像。
B.时间和空间复杂度
在CAS_PEAL、FERET和AR的数据库中进行，从是三个数据库中，
我们随机选择40张图像进行测试和40张用于训练。
每个方法的空间复杂度（MB）
每个方法的时间复杂度（s）
综上所述：本文的方法在时间和空间上更节约，能生成关于 基准数据库的高质量的HR图像。与其他SR方法相比，我们 更适用于资源有限的实际系统。
不同方法下CAS_PEAL数据库中的SSIM和PSNR比较图：
如图所示：Wang、Zhuang、CLLR –SR、Yang、Glasner、 LLT1和 LLT2的SSIM中位数，分别是0.7867，0.8573，0.8927、0.8617、 0.8543、0.8927和0.8996， PSNR值分别是23.2664 db，23.2664 db， 26.9625 db，25.9772db，24.6882 db，27.0809 db和27.5331db。本 文的方法尽可能多的保护结构，而且在PSNR中是除CLLR-SR外最高 的，而保护结构这个参数比PSNR值更重要，所以本文的方法性能更 好。
重建过程：一个测试HR图像的补丁
可以从输入的LR图像中相应j位置的补丁来重建，根据之前的学习过程 可知，第j个补丁的LLT为：
通过对p个位置所得HR补丁进行组装，得到完整的重建HR图像
B.POCS的一致性优化过程
通过LLT图象重建的图像质量要比LR处理后的图 像好得多，然而，仍然与原始的HR图像存在一定 偏差。 文中采用一致性优化过程对A中得到的HR图像进 行POCS的一致性优化，来提高准确度。
三种超分辨率方法的比较
1. 插值法最为简单快速，但是容易产生模糊或者锯 齿边缘； 2. 重构法可以取得较好的平滑和边缘效果，但运算 复杂，且早期的重构法由于缺少训练样本，先验 信息的失真会严重影响重构效果； 3. 基于学习的方法是近年来超分辨率方法的研究热 点，其重点在于对训练样本的选择，以及有效学 习模型的建立，其缺点是需要较长的训练时间。
二、来自摄像机的现实世界图像 如下图，是通过最低像素摄像机捕捉到的LR测试图像，将 LR图像标准化为32×32像素。从CAS−PEAL数据库中任意 挑选800张图像作为训练集合：
00.03]。
A. 基准数据的影响
1）比较CAS_PEAL数据库: CAS_PEAL数据库有1040个均匀照明的额 前面部图像。我们使用这个实验来验证SR方法在定义良好的环境下和 有限的面部变化下的影响。 我们通过标记眼睛的位置和裁剪相应的地方得到了规范化的128×128 像素的HR面部图像，手动对齐了面部图像。HR图像四倍下采样生成 相应的LR图像。我们随机抽取40张图像进行测试和1000张用来训练。
研究背景及意义
人脸识别和检测是当前模式识别和人工智 能领域的一个研究热点。 由于多方面的因素影响，人脸图像的分辨 率较低，因此提高图像的分辨率，获得更 精确、可靠的图像信息，成为人脸识别以 及图像处理其他方向的研究重点之一。 超分辨率技术是指输入一幅或多幅LR图像， 通过相关的算法得到一幅HR图像的技术。
Algorithm
A. LLT 学习和重建过程 B. POCS的一致性优化过程
A.LLT 学习和重建过程
学习过程： 对人脸面部图像的超分辨率定义为：从输入LR图像到HR图像的一 种估计。 将HR训练图像和所对应的LR训练图像用两个矩阵表示（其中m是 训练图像的数量）：
测试的LR图像表示为：
A.LLT 学习和重建过程
基于局部线性变换的面部图像超 分辨 Abstract Introduction：介绍了人脸识别的研究背景及意义， 特别阐述了基于人脸识别超分辨率的提出和现实 意义，国内外发展及研究现状。 Algorithm：讨论了基于局部线性变换的面部图像 超分辨率技术的算法，分别从LLT的学习、重建 和POCS的优化进行分析。 Experiments and analysis：验证了所提方法的性 能，并与世界先进方法进行比较。从基准数据时 间和空间复杂度、真实的图片、参数的影响和 LLT的稳定性这四个方面进行分析。 Conclusion