基于多信息融合的噪声人脸图像超分
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
c
t:
Ex
i
s
t
i
ngf
a
c
esupe
r
r
e
s
o
l
u
t
i
on me
t
hodsa
r
ema
i
n
l
sБайду номын сангаас
edonana
s
sump
t
i
ont
ha
tt
hei
npu
t
yba
image
sa
r
eno
i
s
e
f
r
e
e.The
i
rpe
r
f
o
rmanc
edeg
r
ade
sd
r
a
s
t
i
c
a
l
l
l
i
edt
or
e
a
l
-wo
r
l
ds
c
ena
图 1 基于多信息融合的 FSR 网络结构
F
i
1 Thes
t
r
uc
t
u
r
eo
fFSRne
two
r
kba
s
edon mu
l
t
i
i
n
f
o
rma
t
i
onf
us
i
on
g.
图 1 中,首 先 将 LR 图 像 输 入 到 由 残 差 模 块 构
成的粗超分辨率重建 网 络 中,重 建 出 粗 略 的 HR 人
脸图像。随后 将 粗 略 的 HR 人 脸 图 像 输 入 到 解 析
声污染的真实场景时,会出现 模 型 性 能 急 剧 下 降 的 问 题。 针 对 这 一 问 题,提 出 一 种 多 信 息 融 合 网
络,通过利用人脸解析图与人脸属性这 2 种先验信息来重建 出 细 节 丰 富 的 高 分 辨 率 人 脸 图 像。该
方法首先通过一个粗超分辨率重建网络来恢复粗略的高分辨率 图 像,然 后 通 过 解 析 图 估 计 网 络 与
像,因此基于先验指导的 FSR 方法是目前人脸超分
辨率重建领域的一个主要研究热点。
信息进行 探 索,人 脸 先 验 信 息 没 有 得 到 充 分 利 用。
中进行应用。在图 像 退 化 严 重 的 非 限 制 场 景 中,这
些方法会出现先验 估 计 不 精 确 的 问 题,制 约 了 FSR
性能的提升。 而 基 于 GAN 的 FSR 方 法 重 建 的 图
t
as
e
tt
her
e
c
ons
t
ruc
t
edimageo
f
t
hepr
opo
s
ed me
t
hodno
ton
l
t
t
e
rsub
e
c
t
i
vequa
l
i
t
ta
l
s
ohaveape
aks
i
lt
ono
i
s
e
yhavebe
j
y,bu
gna
r
a
t
i
o(
PSNR)impr
ovemen
to
fabou
t0.
2dBc
ompa
r
r
i
a
l ne
t
gene
[
10]
,
)
具有生成
图
像
清
晰
度
高,
细
节
丰
富
wo
rks GAN
的优 势,研 究 人 员 开 始 研 究 基 于 GAN 的 FSR 算
法。YU 等提 出 UR-DGN 实 现 了 大 尺 度 的 人 脸 超
分辨率重 建 [11]。 随 后,HSU 等 提 出 了 基 于 身 份 信
以深度学习算法为主。
早期人脸超分辨率重建主要使用现有的一般图
像超分辨率重建 方 法,如 SRCNN[1],但 是 其 在 恢 复
FSRG3DFP,通过估计 3D 先验信息来学习 3D 面部
细节信息,帮助进行人脸超分辨率重建 [9]。随后,由
于生 成 式 对 抗 网 络 (
r
a
t
i
ve adve
r
s
a
息保留的 S
iGAN,利用人脸识别网络来定义身份损
失,从而生成更加真实的高分 辨 率 人 脸 图 像 [12]。结
合 GAN 和 人 脸 先 验 信 息,CHEN 等 提 出 PSFRGAN 方法,将面部解析图先验信 息 与 GAN 网 络 进
行融合,进一步提高模型性能 [13]。 MENON 等提出
脸密集对应场 先 验 信 息 并 联 合 FSR 重 建 网 络 进 行
针对 上 述 问 题,本 文 在 人 脸 图 像 降 质 的 过 程 中
信息并 利 用 它 来 促 进 高 分 辨 率 人 脸 重 建 的 方 法。
。CHEN 等 提 出 FSRNe
t方 法,利 用 人 脸 热
力图和人脸解析图两种先验信息进行人脸超分辨率
2022,
36(
5):
37
44.
WEIZ
i
ka
i,
XINJ
i
ngwe
i,
YANG Heng,
e
ta
l.
No
i
s
ef
a
c
eimagesupe
r
r
e
s
o
l
u
t
i
onr
e
c
ons
t
r
uc
t
i
onba
s
edon mu
l
t
i
i
n
f
o
rma
t
i
onf
us
i
on[
J].
J
ou
r
na
lo
fXi’
anPo
l
t
e
chn
2018AAA0103202);陕 西 省 技 术 创 新 引 导 专 项 基 金
(
2022QFY01
15)
第一作者:魏子凯(
1998—),男,西安电子科技大学硕士研究生。
通信作者:王楠楠(
1987—),男,西安电子科技大学教授,研究方向为机器学习、计算机视觉等。
E
-ma
i
l:nnwang@x
i
d
i
图估计网络进行人 脸 解 析 图 估 计,然 后 合 并 粗 略 的
HR 人脸图像和估计的人脸解析图并输入到属性分
析和重建 网 络 中 进 行 人 脸 属 性 估 计 和 最 终 的 HR
像质量虽然比较高,但 是 这 种 类 型 的 网 络 模 型 很 难
训练。因此,设计出 可 以 充 分 利 用 人 脸 的 先 验 信 息
先验引导的 FSR 方 法 是 指 通 过 提 取 人 脸 先 验
并且适用于退化图像的噪声人脸图像超分辨率重建
ZHU 等设计了 一 种 级 联 双 网 络 CBN,通 过 估 计 人
建工作。该方法融合了人脸解析图和人脸属性 2 种
先验信息,采 用 基 于 GAN 的 训 练 方 式 进 行 训 练。
本文方法将像素级先验信息和语义级先验信息进行
充分融合利用,可以 从 含 噪 声 的 低 分 辨 率 人 脸 图 像
Copyright©博看网. All Rights Reserved.
r
i
ywhenapp
o
swhe
r
et
hei
npu
timagei
sa
lwaysc
on
t
ami
na
t
edbyno
i
s
e.Tos
o
l
vet
h
i
sp
r
ob
l
em,a mu
l
t
i
i
n
f
o
r
-
收稿日期:
2022
05
23
基 金 项 目:科 技 部 科 技 创 新 2030 新 一 代 人 工 智 能 重 大 专 项 课 题 (
i
ngtwop
r
i
o
ri
n
f
o
rma
t
i
ono
ff
a
c
epa
r
s
i
ngimageandf
a
c
ea
t
t
r
i
bu
t
e
s.I
nt
h
i
sme
t
hod,a
c
oa
r
s
eSRne
two
rkwa
sc
ons
t
ruc
t
edt
or
e
c
ove
racoa
r
s
eh
i
r
e
s
o
l
u
t
i
onimage.Then,t
hepr
i
o
ri
n
西 安 工 程 大 学 学 报
J
ou
rna
lo
fXi’
anPo
l
t
e
chn
i
cUn
i
ve
r
s
i
t
y
y
第 36 卷第 5 期(总 177 期)
2022 年 10 月
Vo
l.
36,
No.
5(
Sum.
No.
177)
引文格式:魏子凯,辛经纬,杨恒,等 .基于多信息融合的噪声人脸图像超分辨率重建[
J].西安工程大学学 报,
基于生成先验的 FSR 方 法 PULSE,将 FSR 作 为 一
个生成问题来生成高质量的 SR 人脸图像 [14]。
人脸先验指导的方法虽然取得了较好的重建效
人脸高频信息 上 效 果 并 不 好。于 是,HUANG 等 提
果,但是大多数现有 方 法 仅 对 单 一 类 型 的 面 部 先 验
。后来,随着注意力机制的广泛应用,许
些低质人 脸 图 像 进 行 人 脸 超 分 辨 率 重 建 (
f
a
c
esu
-
r
r
e
so
l
u
t
i
on,
FSR)。
pe
人脸超分辨 率 重 建 是 指 从 低 分 辨 率 (
l
owr
e
s
o
-
l
u
t
i
on,
LR)人脸 图 像 重 建 出 高 分 辨 率 (
h
i
r
e
so
l
u
gh
t
i
on,
HR)人脸图像 的 技 术。目 前 主 流 的 FSR 算 法
第5期
魏子凯,等:基于多信息融合的噪声人脸图像超分辨率重建
中重建出细节丰富的高分辨率人脸图像。
39
本文所提出 的 基 于 多 信 息 融 合 的 FSR 网 络 由
3 部分组成:粗超分辨率重建网络、解 析 图 估 计 网 络
与属性分析和重建网络。网络结构如图 1 所示。
1 多信息融合网络
1.
1 算法概述
gh
f
o
rma
t
i
on wa
s mode
l
edbyanana
l
t
i
cg
r
aphe
s
t
ima
t
i
onne
two
rkandana
t
t
r
i
bu
t
eana
l
i
sandr
e
y
ys
cons
t
ruc
t
i
onne
two
rk.Ther
e
c
ons
t
ruc
t
i
ono
fh
i
r
e
s
o
l
u
t
i
onf
a
c
eimage
swa
scons
006
开放科学(资源服务)
标识码(
OS
ID)
No
i
s
ef
a
c
eima
es
upe
r
r
e
s
o
l
u
t
i
onr
e
c
on
s
t
r
u
c
t
i
on
g
ba
s
e
don mu
l
t
i
i
n
f
o
rma
t
i
onf
u
s
i
on
1
1
2
1
WEIZi
ka
i ,XIN Ji
ngwe
i ,YANG Heng ,WANG Nannan
(
1.
Schoo
an.
edu.
cn
Copyright©博看网. All Rights Reserved.
38
西
安
工
程
大
学
学
报
第 36 卷
ma
t
i
onf
us
i
onne
two
rkwa
sp
r
opo
s
ed,wh
i
chc
anr
e
c
ons
t
ruc
th
i
r
e
s
o
l
u
t
i
onf
a
c
eimage
swi
t
hr
i
ch
gh
de
t
a
i
l
sbyus
t
r
a
i
nedi
np
i
xe
l
gh
spa
c
eands
eman
t
i
cspa
c
e.Expe
r
imen
t
a
lr
e
su
l
t
sshow t
ha
tt
hep
r
opo
s
ed me
t
hodc
ane
f
f
e
c
t
i
ve
l
y
,
impr
ovet
her
obus
t
ne
s
so
ft
hemode
lt
ono
i
s
e.Ont
heCe
l
ebAda
t:
Ex
i
s
t
i
ngf
a
c
esupe
r
r
e
s
o
l
u
t
i
on me
t
hodsa
r
ema
i
n
l
sБайду номын сангаас
edonana
s
sump
t
i
ont
ha
tt
hei
npu
t
yba
image
sa
r
eno
i
s
e
f
r
e
e.The
i
rpe
r
f
o
rmanc
edeg
r
ade
sd
r
a
s
t
i
c
a
l
l
l
i
edt
or
e
a
l
-wo
r
l
ds
c
ena
图 1 基于多信息融合的 FSR 网络结构
F
i
1 Thes
t
r
uc
t
u
r
eo
fFSRne
two
r
kba
s
edon mu
l
t
i
i
n
f
o
rma
t
i
onf
us
i
on
g.
图 1 中,首 先 将 LR 图 像 输 入 到 由 残 差 模 块 构
成的粗超分辨率重建 网 络 中,重 建 出 粗 略 的 HR 人
脸图像。随后 将 粗 略 的 HR 人 脸 图 像 输 入 到 解 析
声污染的真实场景时,会出现 模 型 性 能 急 剧 下 降 的 问 题。 针 对 这 一 问 题,提 出 一 种 多 信 息 融 合 网
络,通过利用人脸解析图与人脸属性这 2 种先验信息来重建 出 细 节 丰 富 的 高 分 辨 率 人 脸 图 像。该
方法首先通过一个粗超分辨率重建网络来恢复粗略的高分辨率 图 像,然 后 通 过 解 析 图 估 计 网 络 与
像,因此基于先验指导的 FSR 方法是目前人脸超分
辨率重建领域的一个主要研究热点。
信息进行 探 索,人 脸 先 验 信 息 没 有 得 到 充 分 利 用。
中进行应用。在图 像 退 化 严 重 的 非 限 制 场 景 中,这
些方法会出现先验 估 计 不 精 确 的 问 题,制 约 了 FSR
性能的提升。 而 基 于 GAN 的 FSR 方 法 重 建 的 图
t
as
e
tt
her
e
c
ons
t
ruc
t
edimageo
f
t
hepr
opo
s
ed me
t
hodno
ton
l
t
t
e
rsub
e
c
t
i
vequa
l
i
t
ta
l
s
ohaveape
aks
i
lt
ono
i
s
e
yhavebe
j
y,bu
gna
r
a
t
i
o(
PSNR)impr
ovemen
to
fabou
t0.
2dBc
ompa
r
r
i
a
l ne
t
gene
[
10]
,
)
具有生成
图
像
清
晰
度
高,
细
节
丰
富
wo
rks GAN
的优 势,研 究 人 员 开 始 研 究 基 于 GAN 的 FSR 算
法。YU 等提 出 UR-DGN 实 现 了 大 尺 度 的 人 脸 超
分辨率重 建 [11]。 随 后,HSU 等 提 出 了 基 于 身 份 信
以深度学习算法为主。
早期人脸超分辨率重建主要使用现有的一般图
像超分辨率重建 方 法,如 SRCNN[1],但 是 其 在 恢 复
FSRG3DFP,通过估计 3D 先验信息来学习 3D 面部
细节信息,帮助进行人脸超分辨率重建 [9]。随后,由
于生 成 式 对 抗 网 络 (
r
a
t
i
ve adve
r
s
a
息保留的 S
iGAN,利用人脸识别网络来定义身份损
失,从而生成更加真实的高分 辨 率 人 脸 图 像 [12]。结
合 GAN 和 人 脸 先 验 信 息,CHEN 等 提 出 PSFRGAN 方法,将面部解析图先验信 息 与 GAN 网 络 进
行融合,进一步提高模型性能 [13]。 MENON 等提出
脸密集对应场 先 验 信 息 并 联 合 FSR 重 建 网 络 进 行
针对 上 述 问 题,本 文 在 人 脸 图 像 降 质 的 过 程 中
信息并 利 用 它 来 促 进 高 分 辨 率 人 脸 重 建 的 方 法。
。CHEN 等 提 出 FSRNe
t方 法,利 用 人 脸 热
力图和人脸解析图两种先验信息进行人脸超分辨率
2022,
36(
5):
37
44.
WEIZ
i
ka
i,
XINJ
i
ngwe
i,
YANG Heng,
e
ta
l.
No
i
s
ef
a
c
eimagesupe
r
r
e
s
o
l
u
t
i
onr
e
c
ons
t
r
uc
t
i
onba
s
edon mu
l
t
i
i
n
f
o
rma
t
i
onf
us
i
on[
J].
J
ou
r
na
lo
fXi’
anPo
l
t
e
chn
2018AAA0103202);陕 西 省 技 术 创 新 引 导 专 项 基 金
(
2022QFY01
15)
第一作者:魏子凯(
1998—),男,西安电子科技大学硕士研究生。
通信作者:王楠楠(
1987—),男,西安电子科技大学教授,研究方向为机器学习、计算机视觉等。
E
-ma
i
l:nnwang@x
i
d
i
图估计网络进行人 脸 解 析 图 估 计,然 后 合 并 粗 略 的
HR 人脸图像和估计的人脸解析图并输入到属性分
析和重建 网 络 中 进 行 人 脸 属 性 估 计 和 最 终 的 HR
像质量虽然比较高,但 是 这 种 类 型 的 网 络 模 型 很 难
训练。因此,设计出 可 以 充 分 利 用 人 脸 的 先 验 信 息
先验引导的 FSR 方 法 是 指 通 过 提 取 人 脸 先 验
并且适用于退化图像的噪声人脸图像超分辨率重建
ZHU 等设计了 一 种 级 联 双 网 络 CBN,通 过 估 计 人
建工作。该方法融合了人脸解析图和人脸属性 2 种
先验信息,采 用 基 于 GAN 的 训 练 方 式 进 行 训 练。
本文方法将像素级先验信息和语义级先验信息进行
充分融合利用,可以 从 含 噪 声 的 低 分 辨 率 人 脸 图 像
Copyright©博看网. All Rights Reserved.
r
i
ywhenapp
o
swhe
r
et
hei
npu
timagei
sa
lwaysc
on
t
ami
na
t
edbyno
i
s
e.Tos
o
l
vet
h
i
sp
r
ob
l
em,a mu
l
t
i
i
n
f
o
r
-
收稿日期:
2022
05
23
基 金 项 目:科 技 部 科 技 创 新 2030 新 一 代 人 工 智 能 重 大 专 项 课 题 (
i
ngtwop
r
i
o
ri
n
f
o
rma
t
i
ono
ff
a
c
epa
r
s
i
ngimageandf
a
c
ea
t
t
r
i
bu
t
e
s.I
nt
h
i
sme
t
hod,a
c
oa
r
s
eSRne
two
rkwa
sc
ons
t
ruc
t
edt
or
e
c
ove
racoa
r
s
eh
i
r
e
s
o
l
u
t
i
onimage.Then,t
hepr
i
o
ri
n
西 安 工 程 大 学 学 报
J
ou
rna
lo
fXi’
anPo
l
t
e
chn
i
cUn
i
ve
r
s
i
t
y
y
第 36 卷第 5 期(总 177 期)
2022 年 10 月
Vo
l.
36,
No.
5(
Sum.
No.
177)
引文格式:魏子凯,辛经纬,杨恒,等 .基于多信息融合的噪声人脸图像超分辨率重建[
J].西安工程大学学 报,
基于生成先验的 FSR 方 法 PULSE,将 FSR 作 为 一
个生成问题来生成高质量的 SR 人脸图像 [14]。
人脸先验指导的方法虽然取得了较好的重建效
人脸高频信息 上 效 果 并 不 好。于 是,HUANG 等 提
果,但是大多数现有 方 法 仅 对 单 一 类 型 的 面 部 先 验
。后来,随着注意力机制的广泛应用,许
些低质人 脸 图 像 进 行 人 脸 超 分 辨 率 重 建 (
f
a
c
esu
-
r
r
e
so
l
u
t
i
on,
FSR)。
pe
人脸超分辨 率 重 建 是 指 从 低 分 辨 率 (
l
owr
e
s
o
-
l
u
t
i
on,
LR)人脸 图 像 重 建 出 高 分 辨 率 (
h
i
r
e
so
l
u
gh
t
i
on,
HR)人脸图像 的 技 术。目 前 主 流 的 FSR 算 法
第5期
魏子凯,等:基于多信息融合的噪声人脸图像超分辨率重建
中重建出细节丰富的高分辨率人脸图像。
39
本文所提出 的 基 于 多 信 息 融 合 的 FSR 网 络 由
3 部分组成:粗超分辨率重建网络、解 析 图 估 计 网 络
与属性分析和重建网络。网络结构如图 1 所示。
1 多信息融合网络
1.
1 算法概述
gh
f
o
rma
t
i
on wa
s mode
l
edbyanana
l
t
i
cg
r
aphe
s
t
ima
t
i
onne
two
rkandana
t
t
r
i
bu
t
eana
l
i
sandr
e
y
ys
cons
t
ruc
t
i
onne
two
rk.Ther
e
c
ons
t
ruc
t
i
ono
fh
i
r
e
s
o
l
u
t
i
onf
a
c
eimage
swa
scons
006
开放科学(资源服务)
标识码(
OS
ID)
No
i
s
ef
a
c
eima
es
upe
r
r
e
s
o
l
u
t
i
onr
e
c
on
s
t
r
u
c
t
i
on
g
ba
s
e
don mu
l
t
i
i
n
f
o
rma
t
i
onf
u
s
i
on
1
1
2
1
WEIZi
ka
i ,XIN Ji
ngwe
i ,YANG Heng ,WANG Nannan
(
1.
Schoo
an.
edu.
cn
Copyright©博看网. All Rights Reserved.
38
西
安
工
程
大
学
学
报
第 36 卷
ma
t
i
onf
us
i
onne
two
rkwa
sp
r
opo
s
ed,wh
i
chc
anr
e
c
ons
t
ruc
th
i
r
e
s
o
l
u
t
i
onf
a
c
eimage
swi
t
hr
i
ch
gh
de
t
a
i
l
sbyus
t
r
a
i
nedi
np
i
xe
l
gh
spa
c
eands
eman
t
i
cspa
c
e.Expe
r
imen
t
a
lr
e
su
l
t
sshow t
ha
tt
hep
r
opo
s
ed me
t
hodc
ane
f
f
e
c
t
i
ve
l
y
,
impr
ovet
her
obus
t
ne
s
so
ft
hemode
lt
ono
i
s
e.Ont
heCe
l
ebAda