应用多层感知机回归的无参考型超分

量评估[19]。刘锡泽等提出一种基于多任务学习的超
分辨图像质量评估网络[20]。ZHOU 等设计了一种将
纹理特征与结构特征相结合的双流网络模型来评估
超分辨图像的质量[21]。
大规模的数据集上预训练的 VGGNe
t等经典深
度学习网络被用于解决小样本任务并取得了较好的
成果。此外,
MLP 作为最早被提出的神经网络模型,
n
to
fEc
onomi
c Ma
n
a
eme
n
t,Ya
n’
a
nVo
c
a
t
i
on
a
la
ndT
e
c
hn
i
c
a
lCo
l
l
e
e,
p
g
g
Ya
n’
a
n716000,
Sh
a
a
nx
i,Ch
i
n
a;
4.
S
c
ho
o
lo
fE
l
e
c
t
r
on
i
c
sa
ndI
n
f
o
rma
t
i
on,X
i’
a
nPo
l
t
e
c
hn
i
cUn
i
v
e
r
s
i
t
i’
a
la
ndT
e
c
hn
i
c
a
lCo
l
l
e
e,Ya
n’
a
n716000,
Sh
a
a
nx
i,Ch
i
n
a;
g
2.
De
a
r
tme
n
to
fPub
l
i
cEdu
c
a
t
i
on,Ya
n’
a
nVo
c
a
t
i
on
a
la
ndT
e
c
hn
i
c
a
lCo
l
l
e
e,Ya
n’
a
n716000,
Sh
a
a
nx
i,Ch
i
n
a;
p
g
3.
De
a
r
tme
方法在实际中更具有研究价值。客观质量评价旨在
通过算法自动实现图像的质量评价。根据所需原始
图像信息的多少,客观质量评价方法可以划分为全参
考型图 像 质 量 评 价 (
f
u
l
lr
e
f
e
r
e
n
c
eima
equ
a
l
i
t
s
g
ya
s
e
s
sme
n
t,
FR
IQA)、部 分 参 考 型 图 像 质 量 评 价 (
r
e
通信作者:张凯兵(
1975—),男,西安工程大学教授,研究方向为机器学习、图像超分辨重建等。
E
-ma
i
l:
x
i
hu
a_0169@163.
c
om
Copyright©博看网. All Rights Reserved.
第5期
朱丹妮,等:应用多层感知机回归的无参考型超分辨图像质量评价
71
Ab
s
t
r
a
c
t:
du
c
e
dr
e
f
e
r
e
n
c
eima
equ
a
l
i
t
s
s
e
s
sme
n
t,
RR
IQA)和
g
ya
无参考 型 图 像 质 量 评 价 (
no
r
e
f
e
r
e
n
c
eima
equ
a
l
i
t
g
y
。目 前,在
a
s
s
e
s
sme
n
t,
NR
IQA)
3大类评价方法
(
图像 超 分 辨 重 建 领 域,峰 值 信 噪 比 p
e
a
ks
i
I
no
r
d
e
rt
os
o
l
v
et
h
ep
r
ob
l
emo
fpo
o
rc
on
s
i
s
t
e
n
c
e
twe
e
nt
h
et
r
a
d
i
t
i
on
a
ls
up
e
r
r
e
s
o
l
u
t
i
onima
e
yb
g
(
)
,
a
l
i
t
s
s
e
s
sme
n
t SRIQA i
nd
e
xa
ndhuma
ns
ub
e
c
t
i
v
ep
e
r
c
e
t
i
on t
h
i
sp
a
e
rp
r
e
s
e
J].西 安 工 程 大 学 学 报,
,
(
)
:
2022 36 5 70
78.
ZHU Dann
i,
XU Xi
aohua,
HEJ
i
ng
i
ng,
e
ta
l.
No
r
e
f
e
r
enc
esupe
r
r
e
s
o
l
u
t
i
onimagequa
l
i
t
s
s
e
s
smen
tme
t
hodu
j
ya
s
i
ng mu
l
t
i
l
aye
rpe
r
c
ep
3.延安职业技术学院 经济管理系,陕西 延安 716000;
4.西安工程大学 电子信息学院,陕西 西安 710048)
摘要:为解决传统超分辨图像质量评价(
s
up
e
r
r
e
s
o
l
u
t
i
onima
equ
a
l
i
t
s
s
e
s
sme
n
t,SRIQA)指标与人
g
ya
类主观感知一致性较差的问题,应用多层感知机(
mu
l
onc
o
e
f
f
i
c
i
e
n
t(
SROCC)
o
ft
hep
r
opo
s
e
da
l
r
i
t
hm ont
hepub
l
i
cs
up
e
r
r
e
s
o
l
u
t
i
onima
ed
a
t
as
e
te
x
c
e
e
d0.
95,wh
i
c
hi
ss
i
i
f
i
go
g
gn
,
c
a
n
t
l
up
e
r
i
o
rt
oo
t
h
e
re
x
i
s
t
i
ngima
equ
a
l
i
t
v
a
l
u
a
t
g
ya
me
t
h
o
du
s
i
n
l
t
i
l
a
e
rp
e
r
c
e
t
r
o
nr
e
r
e
s
s
i
o
n
gmu
y
p
g
1
1
2
3
4
ZHU Dann
i ,XU Xi
a
ohua ,HEJ
i
ngj
i
ng ,WANG Ch
e
n ,ZHANG Ka
i
b
i
ng
(
1.
Ne
two
r
kI
n
f
o
rma
t
i
onCe
n
t
e
r,Ya
n’
a
nVo
c
a
t
i
on
型,并将其转化为超分辨图像质量模型[15]。MA 等分
别从局部频域、全局频域、空间域提取特征,再根据随
机森林和脊回归构成两阶段回归模型,从而预测超分
的 高 分 辨 率 图 像 的 图 像 恢 复 技 术,该 技 术 在 公 共 安
辨图像质量[16]。ZHANG 等利用 Ad
aBoo
s
t回归和和
因此,如何评价超分辨重建图像的质量,进而评价不
统方法之外,神经网络也被广泛应用于超分辨图像质
全、医 疗 影 像 等 多 个 领 域 具 有 广 阔 的 应 用 前 景[1-2]。
同超分辨重建算法变得非常重要[3]。
根据评价主体的不同,评价图像的方法包括主观
质量评价和客观质量评价。由于主观质量评价方法
无法运用数学模型对其进行描述,因此客观质量评价
t
i
l
a
e
rp
e
r
c
e
t
r
on,
MLP)构建一种无参考型超分
y
p
辨图像质量评价方法。该方法利用预训练好的 VGG16 网络提取超分辨图像的感知质量特征,并通过
MLP 建立超分辨图像的感知质量特征与对应主观质量分数之间的回归模型。实验结果表明:所提出
的算法在公开 的 超 分 辨 图 像 数 据 集 上 的 皮 尔 逊 线 性 相 关 系 数(
n
t
sar
e
f
e
r
e
n
c
ef
r
e
e
qu
ya
j
p
p
s
up
e
r
r
e
s
o
l
u
t
i
onima
equ
a
l
i
t
v
a
l
u
a
t
i
on me
t
hodbyu
s
i
ng mu
l
t
i
l
a
e
rp
e
r
c
e
t
r
on (MLP).Th
i
sme
t
hod
g
ye
y
p
u
s
e
dt
hep
r
et
r
a
i
n
e
dVGG16n
e
two
r
kt
oe
x
t
r
a
c
e
a
r
s
onl
i
n
e
a
rc
o
r
r
e
l
a
t
i
onc
o
e
f
f
i
c
i
e
n
t,
p
PLCC)、斯皮尔曼秩序相关系数(
s
e
a
rma
nr
a
nko
r
d
e
rc
o
r
r
e
l
a
t
i
onc
o
e
f
f
i
c
i
e
n
t,
SROCC)超过0.
95,明显优
p
于现有其他图像质量评价方法,且与人类主观感知具有更高的一致性。
关键词:深度特征;多层感知机;超分辨图像质量评价;回归模型;平均主观意见值
72
西
安
工
程
训练程度高的神经网络模型时间复杂度较高,本文利
用预训练的 VGG16 图像分类模型提取超分辨图像视
觉统计特征
。
[
23]
VGG16n
e
t主 要 包 含 5 部 分 卷 积 层 (
13 个 卷 积
层)和 3 个全连接层,其中前 2 个全连接层的神经元
个数为 4096,最后一层神经元个数为 1000。随着网
质量分数之间建立回归模型,从而实现超分辨图像质
量的评价。
1 图像质量评价模型
1.
1 深度特征提取
神经网络与传统算法相比无需设计人工特征,可
以将图像直接作为网络的输入,避免了传统算法中复
杂的特征提取和数据重建过程,使得研究人员的研究
方向逐渐从统计特征向深度特征进行转变。考虑到
Copyright©博看网. All Rights Reserved.
a
n710048,Ch
i
n
a)
y
y,X
收稿日期:
2022
04
30
基金项目:国家自然科学基金(
61971339,
61471161);陕西省 自 然 科 学 基 础 研 究 计 划 重 点 项 目 (
2018JZ6002);延 安 职 业 技
术学院科研项目(
zky2114)
y
第一作者:朱丹妮(
1992—),女,延安职业技术学院助理教师。
tt
h
ep
e
r
c
e
t
u
a
lqu
a
l
i
t
e
a
t
u
r
e
so
ft
h
es
up
e
r
r
e
s
o
l
u
t
i
onimp
yf
a
e,a
nde
s
t
a
b
l
i
s
h
e
dt
h
er
e
r
e
s
s
i
on mod
e
lb
e
twe
e
nt
hep