基于堆栈降噪自编码器改进的混合推荐算法
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
Journal o f C om puter A p p lica tio n s
计算机应用,2〇18, 38(7): 1866 -1871ISSN 1001-9081
CODEN JYIIDU
2018-07-10
文章编号:1001-9081 (2018)07-1866-06D O I:10.11772/j. issn. 1001-9081.2017123060基于堆栈降噪自编码器改进的混合推荐算法
杨帅1\王鹃2
(1.国家多媒体软件工程技术研究中心(武汉大学计算机学院),武汉430072;
2.空天信息安全与可信计算教育部重点实验室(武汉大学计算机学院),武汉430072)
(*通信作者电子邮箱sh ua iyy2358@ w h u. edu. cn)
摘要:针对传统协同过滤算法仅利用评分信息作为推荐依据,没有利用用户评论和标签信息,无法准确反映用 户对项目特征的偏好,推荐精确度低且容易过拟合等问题,提出一种基于堆栈降噪自编码(S D A E)改进的混合推荐 (S D H R)算法。
首先利用深度学习模型S D A E从用户自由文本标签中抽取项目的显式特征信息;然后,改进隐因子模 型(L F M)算法,使用显式项目特征信息替换L F M中的抽象特征,进行矩阵分解训练;最后通过用户-项目偏好矩阵为 用户提供推荐。
在公开数据集M o v ie L e n s上的实验测试,与三组推荐模型(基于标签权重及协同过滤、基于S D A E和 极限学习机、基于循环神经网络)比较,该算法推荐精确度分别提高了45.2%、38.4%和16.1%。
实验结果表明,所提 算法可以充分利用项目自由文本标签信息提高推荐性能。
关键词:推荐系统;协同过滤;深度学习;堆栈降噪自编码器;隐因子模型
中图分类号:TP181 文献标志码:A
Improved hybrid recommendation algorithm based on stacked denoising autoencoder
YANG Shuai1, WANG Juan2
(1. National Engineering Research Center for Multimedia Software(School o f Computer Science, Wuhan University), Wuhan Hubei430072, China;
2. Key Laboratory o f Aerospace Information Security and Trusted Computing, Ministry o f Education(School o f Computer Science, Wuhan University),
Wuhan Hubei430072, China)
Abstract:C oncerning the problem th a t tra d itio n a l collab ora tive filte rin g a lgo rithm ju s t u tilize s users9ratings on item s when generating recom m endation, w ith o u t considering users’ labels or com m ents,w h ic h can not re fle ct users’ re a l preference on d iffe re n t item s and the p re d ic tio n accuracy is not hig h and easily ove rfits, a Stacked D enoising A utoE nco der (S D AE) -based im proved H y b rid R ecom m endation (S D H R) a lgo rithm was proposed. F irs tly,S D A E was used to extract item s’ e x p lic it features fro m users’ fre e-te xt labe ls. Then, Latent F a ctor M o del (L F M) a lgo rithm was im proved, the L F M’s abstract item features were replaced w ith extracted e x p lic it ones to tra in m a trix decom position m odel. F in a lly, the u se r-ite m preference m a trix was used to generate recom m endations. E xperim enta l tests on the dataset M ovieLens showed th a t the accuracy o f the proposed algo rithm was im proved b y 38. 4%, 16. 1%and 45. 2%respectively com pared to the three recom m endation models (in c lu d in g the m odel based on label-based weights w ith collab ora tive filte rin g, the m odel based on S D A E and extrem e le a rn in g m achine, and the m odel based on re cu rre n t ne ural n e tw o rk s). The exp erim e ntal results show th a t the proposed algo rithm can make fu ll use o f item s9fre e-te xt la b e l in fo rm a tio n to im prove recom m endation perform ance.
Key words:recom m endation system; collab ora tive filte rin g; deep le a rn in g; Stacked D enoising A utoE nco der (S D A E);
Latent Factor M o del (L F M)
o引百
随着互联网电子商务和多媒体社交网络的发展,信息呈 爆炸式增长,信息过载问题愈发严重,用户需要高效的获取信 息方式,商业公司也希望能够定位目标用户并向其推荐产品 或服务,因此推荐系统被广泛应用,为用户提供个性化推荐。
现有的推荐算法模型可以分为三类:基于内容的推荐、协同过 滤推荐和混合过滤推荐。
基于内容的推荐算法使用用户信息 或项目内容作为推荐依据;基于协同过滤的推荐算法利用了 用户的历史行为偏好,如用户对项目的评分,仅考虑了用户、项目间的联系,没有利用用户或项目内容;混合推荐算法则是 将上述二者结合[1]。
基于内容的推荐算法由于没有考虑用户的历史偏好,推 荐精度不高,且利用用户个人信息将会涉及隐私问题,随着隐 私保护意识的提高,收集用户个人信息的难度也不断加大。
基于协同过滤的推荐算法在用户评分数据稀疏时性能很低, 且也没有利用关于项目内容的有价值信息,因此将二者结合 的混合推荐算法逐渐成为主流[2_3]。
混合推荐算法分为两个步骤,从项目内容中提取特征,然 后利用特征和用户历史偏好进行协同过滤推荐[4]。
如果项 目内容仅通过处理一次,就作为特征提供给协同过滤模型(C o lla b o ra tiv e F ilte rin g M o d e l, C F M),推荐性能往往较低,因为信息流是单向的,没有评分信息作为特征有效性的反馈,在 这种情况下提高推荐性能只有依靠人工编辑或复杂的特征工
收稿日期:2017-12-29;修回日期:2018-02-26;录用日期:2018-03-14。
基金项目:国家自然科学基金资助项目(61402342)。
作者简介:杨帅(1993—),男,山东枣庄人,硕士研究生,主要研究方向:通信与信息系统、模式识别;王鹃(1980—),女,湖北武汉人,副教 授,博士,主要研究方向:系统与网络安全、访问控制、可信计算、云计算、S D N 安全。
第7期杨帅等:基于堆栈降噪自编码器改进的混合推荐算法1867
程[5]。
依据有监督的机器学习思想,在提取项目内容特征时,利用评分信息进行反馈,可以提高特征的质量,而高质量 的项目特征,能够大幅提高C M F的预测能力[6]。
如何从项目内容中提取有效特征,成为提高混合推荐算 法性能的关键因素。
目前深度学习在自然语言处理领域应用 广泛,如机器翻译、社区问答、情感分析、信息提取等都已实现 商用。
当前将深度学习应用到推荐系统中的研究才刚刚起 步,算法尚无法准确理解书籍、电影内容,并从中提取有效特 征,但是从用户原创内容(U ser-G enerated C o n te n t,U G C)如评 论、标签等中提取有关项目内容的特征却是可行的[7]。
在已 有的研究中,国内的张敏等[8]提出的语义增强的隐因子模型 (S em antics E nhanced L a tent F actor M o d e l,S E L F M),利用堆找 降噪自编码器(S ta cke d D enoising A u to E n c o d e r,S D A E)提取商 品评论文本特征,实现评论与评分结合,提高评分预测的准确 性;国际上的深度协同推荐模型(C ollaborative Deep Learning fo r recom m ender system,C D L)[9],将 S D A E算法贝叶斯化,实 现概率化的矩阵分解模型,预测用户对商品评分的数学期望,同时利用商品描述信息提高模型性能;基于自然语言模型正 则化的隐因子推荐模型(Language M o del re gularized Latent Factor m o d e l,L M L F)[10],利用循环神经网络模型长短期记忆 (L o n g S hort-Term M e m o ry,L S T M)网络与 C M F结合,根据评 论文本的词概率分布,计算不同评论文本的似然度,并将其作 为C M F的补充推荐依据。
上述3种算法模型中,C D L利用的 是固定的项目内容描述或分类信息,无法反映不同个体间的 兴趣偏好。
S E L F M和L M L F虽然利用了用户评论信息,但是 评论信息的质量和内容相关度会严重影响推荐算法的精确 度,在没有人工编辑干预的情况下性能并不理想。
在实际应 用中,在线商品评论系统中往往有大量的无效评论,包括内容 无关的用户情感表达和恶意的刷评信息等,而在线标签系统 中,用户出于追溯、管理、分享、检索信息等目的,为感兴趣的 项目打上的自由文本标签,内容相关性较高,是提取项目内容 特征的有效信息源[1142]。
综上所述,利用深度学习对项目内容进行特征提取并用 于推荐的混合推荐算法,已经是相关研究领域的趋势所在。
在真实应用场景下,用户评论数据质量较低,难以从中提取有 效项目特征。
针对这些问题,本文提出基于S D A E算法改进 的混合推荐(S D AE-based im proved H y b rid R ecom m endation, S D H R)算法,通过S D A E深度模型从标签中抽取项目内容特 征,并将项目特征作为隐因子模型(Latent Factor M o d e l, L F M)的显式特征,将深度学习算法与传统的协同过滤算法相 结合,提高推荐算法的性能。
1相关理论
1.1自编码器理论基础
自编码器(A u to E n c o d e r,A E)是最简单的人工神经网络 模型,仅包含一个隐含层,广泛用于样本特征提取。
A E的网 络结构如图1所示,样本数据X经过编码器函数/编码得到编 码特征和满足式(1):
y=/«(*) =+b)(i)其中^为神经网络激励函数,一般使用非线性函数如sig m o id 函数;0 = 1W,61为参数集合。
然后通过式(2):
x=g〇'(y) =s(W'y + b')(2)
将编码特征转换为原始输人x的一种重构表示i,式(3)为A E的优化目标,
L = ||x -无 ||2(3)
通过不断修正参数0和0',使得平均重构误差i最小,此 时得到的^就可以认为保留了原始样本的大部分信息,即样 本^的等价特征。
v i7,v g, | =
-----Encoder |—H Decoder!—!—
图1 A u to E n c o d e r网络结构
F ig. 1 N e tw o rk a rc h ite c tu re o f A u to E n c o d e r
1.2降噪自编码器
当仅保留原始输人数据的信息时,A E无法保证学到有效 的特征表示,比如在极端情况下,A E只需使用恒等函数就能 实现输人数据的完美重构,因此需要给予A E—定的约束以 使其学到比输人数据更好的特征表示。
降噪自编码器(D enoising A u to E n c o d e r,D A E)算法是在A E的基础上,随机 丢弃输人向量x中的某些元素,得到腐蚀的输人数据,,然后 利用,恢复输人向量X,得到重构输人Z a D A E的主要思想是 “一个好的特征能够从一个腐蚀输人鲁棒地得到,并且能够 恢复出未腐蚀的输人”,D A E能够减输人样本中无效特征的 干扰[13],D A E的优化目标如下:
L(x,z)=a(Z('-^―)2)+0(Z('-^―)2)(4)
j t JW)
其中:a为腐蚀维度重构代价权重,jS为未腐蚀维度重构代 价。
1.3S D A E深度模型
由于一层D A E网络的编码能力有限,S D A E将多个D A E 堆叠在一起组成深度学习架构,用于处理超大规模的数据集,挖掘输人样本的深层特征[14]。
S D A E网络模型如图2,第i层 D A E的输出作为第€ + 1层的输人,最后一层D A E的输出作 为原始输人的重构数据。
r(«-i)____ !_
__________… c>,[d a e«]j f-
—h-------1
图2S D A E网络结构
F ig. 2N e tw o rk a rc h ite c tu re o f S D A E
S D A E网络训练采用非监督逐层贪婪训练算法,该算法 由1&〇11等[15]基于深度信念网络(Deep B e lie f N e t,D B N)提 出,是训练深度网络的一种有效方法。
逐层贪婪训练的主要 思路是逐层训练、整体微调,即每次只训练网络中的一层,然 后将之前已经训练好的参数固定,继续训练下一层;当^层D A E训练完成后,利用单独训练各层D A E网络得到的权重初 始化S D A E网络,第层D A E输出作为重构样本i,然后使用 式(3)的优化目标函数,利用反向传播算法对整个网络进行 参数微调。
当S D A E网络训练完成后,使用第ra/2层的编码函 数输出/u作为原始输人样本的有效特征。
1.4隐因子矩阵分解
隐因子矩阵分解(La tent Fa ctor M o d e l,L F M)在基于协同 过滤推荐算法中应用广泛,其目标是将用户-项目评分矩阵 降维分解,得到用户-特征关注矩阵和项目_特征质 量矩阵0为隐因子特征空间维度,《;表示用户〖对&种特 征的喜爱程度,表示项目y包含&种特征的程度),如果L F M 能够在已有的用户评分数据上使得:
~Vn x k' Vk x m (5)
1868计算机应用第38卷
那么通过A * 计算得到的评分~,就可以作为用户f对 项目/预测评分,因此L F M的优化目标函数为:
n+)2⑷基于L F&的协同过滤算法在评分数据稀疏时容易过拟 合,且隐因子空间维度无实际语义,可解释性差,无法反映 项目的真实特征[16]。
2 SDHR算法描述
2.1 S D H R框架
S D H R算法框架如图3所示,框架由2部分组成:基于 S D A E的项目特征提取模型和基于L F M的协同过滤推荐模 型。
在特征提取部分,通过S D A E算法从自由标签文本中提 取项目特征。
对原始的S D A E算法加以改进,加人一个s o ftm a x分类器用于项目预测评分,并引人项目评分作为特征 有效性反馈,参与S D A E网络微调。
在协同过滤部分,改进 L F M算法,使用S D A E网络的输出编码特征矩阵替换L F M中的项目隐因子特征矩阵,将项目-特征质量矩阵由隐因子空间 转换为显因子空间。
F ig. 3 Schem atic d iagram o f S D H R a rc h ite c tu re
2.2改进的S D A E特征提取
S D A E网络由4个D A E网络(^ ~ Z4)组成,Z。
为输人层,初始输人数据^为项目_自由标签数据集合乂为重构输出层, A4用于降维压缩A、Z4进行升维还原。
在逐层训练时,当第€层D A E训练完成后,固定第i层的网络权重,并将其编码输出 乂作为第i+ 1层的输人,当4层D A E训练完成后,得到权重参 数集合< =1(^;),(;))1〖6(1,2,3,4)1,作为30入£网络的初始权重。
由于S D A E网络本身无法实现评分预测,故S D A E提取的 特征无法反映用户对项目的喜爱偏好。
为了充分利用评分信 息提尚特征质量,在最后一■层D A E网络后添加一■个softm ax 分类器,将标签特征分为5个类别,对应项目的5分制评分,预 测评分和真实评分数据将参与网络参数的整体微调,此时的 优化目标需在式(3)的基础上作出相应的调整:
乙―!=丄X(A D2 + A •丄X(兄_无)2⑴
n i=l n i=l
其中七为项目-标签数据忑为X的重构特征,兄为项目真实 评分,义为s o ftm a x分类器基于重构特征*产生的预测评分,A 为基于评分的反馈修正因子。
当S D A E网络训练完成后,记Z2编码输出函数为/2)(Z,W),其中Z为项目标签数据集,0+为W经过网络微调得到
的最终参数集合,此时S D A E输出的项目特征矩阵r可以表
示为:
T=/e2)(X,w+)(8)
2.3改进的CFM
为了提高项目特征的质量和可解释性,项目-特征质量矩
阵F不直接使用L F M从评分矩阵中分解,而是由S D A E模型
提取的项目特征矩阵r计算得到。
由于特征矩阵r是S D A E模
型从项目的语义标签中提取而来,因而能够反映项目的真实
特征。
为了解决稀疏数据上的过拟合问题,在式(6)的基础上
引人L2范数作为过拟合惩罚项,由此得到改进后C F M的优
化目标函数:
N M
=X I(R,J- U l V j)2 + A,II t/,II 2+ A2II F,.II 2
i=l j=l
(9)
其中A i、A2为过拟合惩罚因子,F为:
V=w- T+ b(10)
对式(9)求二阶偏导可知,a2/H y)> 〇/H,y) >
〇,所以损失函数都是凸函数,而V是关于的
线性函数,由复合函数求导的链式法则可知对撕,也是
保凸的,因此可以利用梯度下降法求解出的极小值(4fm
最小值的逼近值,理想情况下是最小值)[17]。
下面给出利用梯
度下降法求解过程。
1)参数初始化,取% = 〇. 1,^ = 0.001,如果用户i没对 项目y评分,则令' =〇,^ =〇;假设用户对项目的真实评分
与算法预测评分的差值服从高斯分布,在此基础上使用服从
N(0,1)的高斯分布随机数初始化用户-特征关注矩阵
超参数\ = A2 = 0. 1,« = 0. 1,= e_9,其中A i、A2为正则项
系数4为梯度下降的学习步长^为停止参数更新的阈值,超
参数的取值应在不同的数据集下由调参决定(调参过程在实
验部分给出)。
2) 确定损失函数梯度,即对t/、y的偏导数:
1
T
d L(U,V)
d U
=(y; +k^U.-R.V j(11) l
T
d L(U,V)
'd V
=(v] +A^V j-R^U,(12)
由式(10)知3?,6)=
〇W
T d V(w,b)
,d b一
1,结合式(12)
可得:
1
T
d L(w,b)
d w
1dL
=Y d V m
^ = ( V] +k2E){w T+ b)T-
R i j U.T(13) l
T
d L(w,b)
d b
1dL
~ 2 d V
■^=(U^ +A2E)(w T+ b)-
(14)
式(11)、(13)、(14)里有三组参数需要优化:1/,和办。
3)对于每一个用户Z和项目j(〇 < <y^n),将
f i y、K、%、〜代人式(11)、(13)、(14),计算梯度下降距离:
K i t
—jk
^jk
d L(w,b)
a--------
細jk
d L(w yb)
a.
dbjk
第7期
杨帅等:基于堆栈降噪自编码器改进的混合推荐算法1869
如果AC/,t < f ,A ,< f
f
,则认为算法满足收敛条
件,此时求解的参数即为最优参数。
否则利用梯度下降法更新参数,?4+1、《^+1、^+1表示第t 轮梯度下降更新后的参数值:
U T :=^~a - dL{^p
£ + 1 t 说jk ••=抝jk
dL (w ,b )d ^jk
b r ._--U ~^
当所有的都更新一次后,重复执行步骤3),进行新一轮的参数更新,直到算法收敛退出。
2.4用户评分预测
对于给定的观测数据集,利用A 、v ,.、〜计算预测评分~, 结合式(8)、式(10),可得:
^ « «; * V - = Ui *(w */e2)
+ b )
(15)
3实验与结果分析
3.1实验设计
3.1.1实验环境和数据集
实验编程环境为Python 3. 5,深度学习计算框架为
TensorFlow 1. 4,系统 0S 为 W indow s 10,8 GB R A M , GPU
G T X 1080。
实验采用的数据集为开源数据集M o vie L e n s ,该数据集收 集了 M ovielens (类似豆瓣电影的电影推荐网站)上138493个 用户对27278个电影的20000263条评分、465 564个标签,评 分为5星制,取值1 ~5,标签为自由文本词汇。
该数据集的 评分稀疏度为 1 -20000236/(138493 x 27278) =0.99471,可 以看出数据非常稀疏。
采用10折交叉验证法(l 〇-fo ld cross -v a lid a tio n )[18]评估 算法性能,将
M o v ie L e n s 数据集随机分成10组互斥的子集,
每次选择其中1组作为测试数据集,其余9组作为训练数据 集,重复1〇次测试算法,确保每个数据都参与且仅参与一次 测试,最后取10次测试结果的平均值作为实验结果。
3.1.2评价标准和对比模型
米用均方误差(M ean Square E rro r , M S E )和T o p -_K
推荐
精度(
作为衡量算法性能的标准。
1) M S E 。
对于给定的测试数据集,用户对项目的评分集合
尺=
h
A ,…,d ,推荐算法计算得到的预测评分集合P = …,
,则有:
燃五=丄*文-A )2 (16)n
i=i
2)/C -p re c k io ra 。
在给定的测试数据集上,算法计算用户m 在项目集合J 上的预测评分,并将评分最高的前个项目推荐给该用户,记推荐集合为u ;J ),用户真实评分的T 〇P -X 集合记为f l e d ⑷
U ;J
),则T 〇P -/f 推荐精度定义为:
K-precision
P re(k\
f] R ea l(k \ u{;J)|
Pre(k I ur,J)
|
(17)
本次实验使用了 3组对比模型,基于标签改进的协同过 滤算法(Im proved C ollaborative F ilte rin g a lgo rithm based on
T a gs , IT C F )[19]、基于S D A E 及极限学习机的协同过滤推荐模
型
(collab ora tive filte rin g m odel based on Stacked D enoising
autoencodes and Extrem e Le arnin g M a c h in e , S D E L M ) [20]和
L M L F 。
其中文献[19]提出的IT C F 模型是在传统的协同过滤
算法基础上引人标签词频动态权重,本质上仍是一种浅层模 型(Shallow L e a rn in g ) ;S D E L M 和L F M L 属于深度模型,文献[20]提出的3〇£1^使用3〇入£提取特征,并使用极限学习机 和最近邻算法预测评分,文献[10]提出的L M L F 模型使用
L S T M 分析文本词汇概率分布,计算不同文本的似性度,并将
似然度作为推荐参考依据。
3.1.3数据预处理和S D H R 模型超参数
需要将原始训练数据表示为向量形式,才能参与S D H R 模型的训练。
这里借助one -h o t 编码的思想,使用iV 位状态寄 存器表示/V 位信息,对于评分使用长度为5的数组表示,具体 编码如表1。
由于S D A E 只能接收定长的输人,数据集中不重
复的标签(忽略大小写)共有35 173条,对标签进行编号,并 使用长度为35 173的数组表示一条标签集合记录,例如用户 ^对项目)打上一系列标签%,标签编号集合为丨2,3,4,6丨,则 、=[011101000000…00],其中只有第2、3、4、6位置上的元 素值为1,其余值全部为〇。
表1
评分值的o n e -h o t 编码
T ab. 1
O n e -h o t e n co d in g fo r ite m scores
评分值
one -ho t 编码评分值
one -ho t 编码1[10000]4[00010]2[01000]5
[0 000 1 ]
3
[00100]
S D H R 模型的超参数取值如表2所示,其中S D A E 网络层
数为4,由于输人向量x 的长度为35 173,所以和^层的网 络节点数是为35173,相邻网络层之间的节点数保持10 ~ 100 倍的倍数关系。
为了保持网络的对称性,^的节点数和&相
同山的节点数和^相同。
使用随机梯度下降法(S tocha stic
G ra d ie n t D e s c e n t , S G D )
训练 S D A E 网络和 C F M ,学习率 a 取
值〇_ 1。
超参数& = 3〇〇、\ = 〇. 1 a 2 = 〇_ 1 >、心a 2的取值是 由实验调参确定的,不同取值会对S D H R 模型的性能产生影
响。
表
2
S D H R 模型的超参数T ab. 2
H yp erp ara m eters o f S D H R m odel
超参数
取值
参数说明
n (l 〇)35173S D A E 网络输入层的节点数n (h )
3 000S D A E 网络第1层的节点数
n (l 2)300S D A E 网络第2层的节点数,取值同左n (h )300S D A E 网络第3层节点数,取值同〃(Z2)n {l A)
3 000S D A E 网络第4层节点数,取值同
)
o 35173
S D A E
网络输出层的节点,取值同n (Z 0)
A 0. 1式(8)中的评分反馈修正因子
A i
0. 1式(10),施加在C /上的过拟合惩罚因子入2
0. 1式(10),施加在V 上的过拟合惩罚因子
k
300
式(9)中r 的维度
3.2实验结果和分析 3.2.1 模型超参数的影响
由于超参数^的取值既是S D A E 从文本标签中提取出的 项目特征的有效维度,也是C F M
中矩阵分解的隐因子空间维
1870
计算机应用
第38卷
图F ig , 7
4结语
针对协同过滤推荐算法推荐精度低,在大规模稀疏数据 集上表现不佳的问题,本文提出使用深度学习模型S D A E 改 进的混合推荐模型,利用S D A E 从自由标签文本中提取项目 特征,并结合改进的隐因子矩阵分解算法,以此提高推荐系统 性能。
对比深度模型L F M L 和S D E L M ,在推荐性能提升的同 时,模型训练时间并未明显增加,能够保证在合理时间内处理 大规模数据。
随着深度学习算法研究的进步,未来利用自然 语言处理相关的深度模型对项目标签、评论、内容或分类描述 文本进行语义处理,提取高质量项目特征,可以进一步提高推 荐系统的推荐性能。
5
10
15
20
25
30
K
图6
不同模型T o p i 推荐命中率
F ig. 6
Top-K h it rate o f d iffe re n t m odels
图7是不同模型在同一训练数据集下的模型训练花费时 间。
模型训练所用时间与训练数据的特征有效维度和模型复 杂度相关,特征维度越低(特征质量低),数据预处理耗时越 少,模型复杂度越低(学习能力弱),网络训练消耗的时间越
少。
传统的IT C F 模型简单,仅使用项目评分矩阵作为学习特 征,在数据预处理和网络训练花费的时间最少;S D H R 模型由 于引人了额外的特征辅助增强信息(自由文本标签),且使用 了深度学习网络S D A E ,因而在数据预处理和模型训练时花 费的时间较多,但是对比深度模型L F M L 和
S D E L M ,S D H R 模
型在性能提高的同时,所花费的时间代价仍是接受的。
限学习机和最近邻算法严重依赖特征质量,学习能力弱于
S D H R 使用的隐因子矩阵分解算法。
与L F M L 相比S D H R 模 型推荐准确率提升约为16.06%,L F M L 模型使用的深度学习 算法长短期记忆网络虽然在自然语言特征提取上表现优异, 但在评分预测上性能不如S D H R 。
图6是不同推荐模型的T 〇P -X 推荐性能表现。
T 〇P -/f 推 荐的命中率与模型评分预测的准确性呈正相关,由表3结果 可以看出,S D H R 推荐准确率优于其他3个模型,因而T 〇P -X 推荐命中率最高。
随着推荐项目数量K 的增大,模型推荐命中率会不断降低。
100C F L F M L S D E L M S D H R
模型
7
不同模型的训练用时
T ra in in g tim e o f d iffe re n t m odels
度,即式(5)中的因此的取值将会直接影响算法的精确 度,图4是不同值对S D H R 的模型性能的影响。
由图4可以看 出,当^值较低时,无法提取到有效的项目特征;当^值较大 时,又会在项目特征中引人干扰信息导致推荐精度降低4 = 300时,模型性能最优。
图4
超参数模型性能(M S E )的影响
F ig. 4
E ffe c t o f hyp e rp a ra m e te r k on m o del perform ance
式(i 〇)中的/^和/^是为了防止模型过拟合,加在t /、y
上的正则项惩罚因子,不同取值对推荐结果准确度的影响如 图5所示。
由于1/是通过评分矩阵/f 分解得到的,A i = 0时模 型处于过拟合状态,取其他值时A i 的变化对推荐结果的影响 不大。
从图5(b )可以看出,A 2 = 0时模型并未出严重的过拟 合现象,由于F 是由r 计算得到,而
r
是S D A E 模型学习到的 特征,当A 2取值较大时,导致对F 的惩罚过高,反而使得
S D H R 模型的性能降低。
当
= 0. 1,A 2 = 0. 1时,S D H R 模型
的学习效果达到最优。
图5
超参数A !、A 2 X t 模型性能(M S E )的影响
F ig. 5
E ffe c t o f hyp e rp a ra m e te r A ! ,A 2 〇n m 〇d e l perform ance
3.2.2不同模型性能对比
在测试数据集分别运行S D H R 、IT C F 、S D E L M 和L F M L 模
型,得到的评分预测性能如表3所示。
表3
不同模型性能(M S E )对比
T ab. 3
P erform ance com parison o f d iffe re n t m odels 模型
M SE S D H R
的性能模型M SE S D H R
的性能名称
提升比例/%
名称
提升比例/%
S D H R 0.724—S D E L M 1.17538.38IT C F
1.321
45.19
L F M L
0.862
16.06
从表3中可知,本文提出的S D H R 模型与传统的协同过 滤推荐模型I T C F 相比,性能提升明显,提升了约45. 19%。
IT C F 是一种浅层机器学习模型,学习能力较弱,在大规模稀
疏数据集上的表现很差,同时其引人标签词频作为特征加强
信息,对提高推荐性能效果不明显。
在同样使用S D A E 抽取 特征的情况下,S D H R 比
S D E L M
性能提升了约38. 83%,
S D E L M 没有引人额外的特征加强信息,且其评分预测使用极
口数据预A 理
口模型训练
12
匚一
o o
o
o
8
6
4
2
o
o
o
o
8
6
4
2
第7期杨帅等:基于堆栈降噪自编码器改进的混合推荐算法1871
参考文献(R eferences)
[1]R IC C I F, R O K A C H L, S H A P IR A B, et a l. R e com m end er Systems
H a n d b o o k [ M]. B e rlin: S p rin g e r, 2015: 127 -131.
[2]T U Z H IL IN A. Tow ards th e n e xt g e n era tion o f recom m en der systems:
a survey o f th e sta te-o f-th e-a rt and po ssi
b le extensions [ J] • IE E E
Transactio ns o f K n ow ledge and D ata E n g in e e rin g, 2005, 17(6): 734
-749.
[3]A B H IS H E K K, K U L K A R N I S, K U M A R V N, et a l. A re vie w on
p ersona lize d in fo rm a tio n re com m en dation system u s in g co lla b o ra tive
filte r in g[ J]. In te rn a tio n a l Joum gil o f C o m p u te r Science £ind In fo rm a
tio n Tech nolo gies, 2011, 2(3):1272-1278.
[4]H U L, C A O J, X U G, et a l. P ersonalized re com m en dation v ia
cross-d om m n tria d ic fa c to riz a tio n[ C]//P roceedings o f th e 22n d In
te rn a tio n a l W o rld W id e W e b C onference. N e w Y o rk: A C M, 2013:
595 -606.
[5]S E V IL S G, K U C U K T U N C O, D U Y G U L U P, et a l. A u to m a tic tag
expa nsion u s in g v is u a l s im ila rity fo r pho to sh a rin g w ebsites [ J].
M u ltim e d ia Tools &A p p lic a tio n s, 2010, 49(1):81 -99.
[6]W A N G C, B L E I D M. C o lla b o ra tive to p ic m o d e lin g fo r recom m en
d in g s c i
e n tific a rtic le s[ C] //P roceedings o
f th e 2011 A C M S IG K D D
In te rn a tio n a l C onference on K n o w le d g e D isco ve ry and D a ta M in in g.
N ew Y o r k:A C M, 2011:448-456.
[7]赵宇翔,范哲,朱庆华.用户生成内容(U G C)概念解析及研究进
展[J].中国图书馆学报,2012,38(5): 68- 81.(Z H A O Y X, F A N
Z, Z H U Q H. C o n ce p tu a liza tio n and reseeirch progress on u ser-gen
erated c o n te n t [ J]. Jo u rn a l o f L ib ra ry S cience in C h in a, 2012, 38
(5):68-81.)
[8]张敏,丁弼原,马为之,等.基于深度学习加强的混合推荐方法
[J].清华大学学报(自然科学版),2〇17,57 (10): 10M-1〇21.
(Z H A N G M, D IN G B Y, M A W Z, et a l. H y b rid recom m en dation app roa ch enh anced b y deep le a rn in g[ J]. Jo u rn a l o f T sin g h u a U n i
v e rs ity(Science and T e c h n o lo g y), 2017, 57(10):1014-1021.) [9]W A N G H, W A N G N, Y E U N G D Y. C o lla b o ra tiv e deep le a rn in g fo r
recom m en der systems [ C]//Proceedings o f th e21th A C M S IG K D D
In te rn a tio n a l C onference on K n ow ledge D isco ve ry and D a ta M in in g.
N e w Y o rk: A C M, 2014: 1235 -1244.
[10]A L M A H A IR I A, K A S T N E R K, C H O K, et a l. L e a rn in g d is trib u
te d representations fro m review s fo r c o lla b o ra tiv e filte r in g[ C ] //
Proceedings o f th e 9th A C M C onference on R ecom m end er Systems.
N e w Y o rk: A C M, 2015: 147 -154.
[11]G O L D E R S A, H U B E R M A N B A. T h e stru ctu re o f co lla b o ra tive
tagging systems [ J]. Jo u rn a l o f In fo rm a tio n Science, 2006, 32
(2):198 -208.
[12]A D R IA N B, S A U E R M A N N L, R O T H T. ConTag: a sem antic tag
re com m en dation system[C]//I-S E M A N T IC S2007: P roceedings
o f th e3rd In te rn a tio n a l S e m an tic T ech nolo gy C onference. N ew
Y o rk:A C M, 2007: 297-304.
[13]W A N G H, S H I X, Y E U N G Y. R e la tio n a l stacked d e n o isin g au
toencode r fo r tag re com m en dation [ C] //Proceedings o f th e T w e n
ty-N in th A A A I C onference on A r t if ic ia l In te llig e n c e. M e n lo P a rk:
A A A I Press, 2015: 3052-3058.
[14]V IN C E N T P, L A R O C H E L L E H, L A J O IE I,et a l. S tacked d e
n o is in g autoencoders: le a rn in g u s e fu l representations in a deep n e t
w o rk w ith a lo c a l d e n o isin g c rite rio n[ J]. Jo u rn a l o f M a ch in e
L e a rn in g R esearch, 2010, 11(12):3371 -3408.
[15]H IN T O N G, O S IN D E R O S, T E H Y. A fast le a rn in g a lg o rith m fo r
deep b e lie f nets [ J]. N e u ra l C o m p u ta tio n, 2006, 18(7):1527 -
1554.
[16]Z H A N G W, W A N G J, F E N G W. C o m b in in g la te n t fa c to r m odel
w ith lo c a tio n features fo r even t-based group re co m m e n d a tio n[ C] //
Proceedings o f th e19th A C M S IG K D D In te rn a tio n a l C onference on
K n ow ledge D isco ve ry and D ata M in in g. N ew Y o rk: A C M, 2013:
910-918.
[17]Y U A N K, L IN G Q, Y IN W. O n th e convergence o f d e ce n tra lize d
g ra d ie n t descent [ J]. S IA M Jo u rn a l on O p tim iz a tio n, 2016, 26
(3):1835 -1854.
[18]R E F A E IL Z A D E H P, T A N G L, L IU H. C ro s s-v a lid a tio n[M]//
E n c y c lo p e d ia o f D atabase System s. B e rlin: S p rin g e r, 2009: 532-
538.
[19]郭彩云,王会进.改进的基于标签的协同过滤算法[J].计算机
工程与应用,2016, 52(8): 56-61.(G U O C Y,W A N G H J.Im
p ro ve d c o lla b o ra tiv e filte r in g a lg o rith m based on tags [ J]. C o m pu t
e r E n g in e e rin g and A p p lic a tio n s, 2016,52(8):56-61.)
[20]潘昊,王新伟.基于S D A E及极限学习机模型的协同过滤应用
研究[J].计算机应用研究,2017, 34( 8): 2332- 2335. ( P A N H,W A N G X W. S tudy on c o lla b o ra tiv e filte r in g re co m m e n d a tio n algo
r ith m based on extrem e le a rn in g m a ch in e stacked d e n o isin g autoen-
codes [ J]. A p p lic a tio n R esearch o f C o m pu ters, 2017, 34(8):
2332-2335.)
T h is w o rk is p a rtia lly supp orted b y th e N a tio n a l N a tu ra l Science F o u nd a tio n o f C h in a(61402342).
YANG Shuai, b o m in1993, M. S. ca n d id a te. H is research in te rests in c lu d e co m m u n ica tio n a n d in fo rm a tio n system, p a tte rn re co g n itio n.
WANG Juan, b o m in1980, Ph. D., associate professor. H e r re- seeirch in terests in c lu d e system£ind n e tw o rk s e cu rity, access c o n tro l, tru ste d co m p u tin g, c lo u d co m p u tin g, S D N se cu rity.
(上接第1865页)
[12]S IM O N Y A N K, Z IS S E R M A N A. V e ry deep c o n v o lu tio n a l netw o rks
fo r la rg e-sca le im age re c o g n itio n[ J]. a rX iv p re p rin t, 2014: a rX-
iv: 1409.1556[2017-06-03]. h ttp s: //a r s iv.o r^a b s/1409.1556.
T h is w o rk is p a rtia lly supp orted b y th e A c a d e m ic and T e ch n o lo g ica l L e a d e rsh ip T ra in in g F o u n d a tio n o f S ich u a n P ro vin ce( W Z0100112371408, Y H1500411031402), th e A c a d e m ic and T e c h n o lo g ic a l L e a d e rsh ip R esearch F o u n d a tio n o f S ich u a n P ro vin ce( W Z0100112371601/004), the D e m o n stra tio n P ro je ct in T e ch n o lo g y S ervice In d u s try o f S ich u a n P rovince (2016G F W0166).
TAN Jiefan, b o m in1992, M. S. ca n d id a te. H e r research in terests in c lu d e im age data m in in g.
ZHXJYan,b o m in1965,Ph. D.,professor. H e r research in terests in c lu d e data m in in g, W e b ano m aly d e te ctio n, b ig data m anagem ent and in te llig e n t analysis.
CHEN Tung-shou, b o m in1964, Ph. D., professor. H is research in te re sts in c lu d e im age processing, data m in in g, in fo rm a tio n se cu rity.
CHANG Chin-chen, b o m in1954, Ph. D. , professor. H is research in terests in c lu d e database d esign, e-business se cu rity, e le c tro n ic m u lti-m e d ia im a g in g te c h n iq u e, crypto gra phy.。