基于矩阵分解的矩阵填充算法研究实现

基于矩阵分解的矩阵填充算法研究实现一．矩阵填充应用
矩阵填充理论主要有两个应用方向：一个是视频去噪主要应用于视频或图像的处理过程，其原理是通过填充像素实现图像的恢复；另一个是协同过滤，主要应用于推荐系统的一种模型，其原理是通过分析用户的历史行为数据，给用户预测推荐，本文主要介绍协同过滤算法及实现。

二．协同过滤问题描述
使用协同过滤进行推荐的一个著名的例子是Netflix电影推荐系统。

在网站有很多用户和影片，但是不是所有的用户都看过所有的影片，并且也不是所有看过的影片用户都会打分。

现在我们使用协同过滤预测用户未看过的影片的评分，进而给用户做出推荐。

假设用一个“用户-影片”的矩阵来描述用户的评分记录如下表：
使用矩阵填充算法填充上面表格中缺失的信息，预测用户未看过的影片的评分，根据预测评分给用户做出推荐。

三．协同过滤算法概述
协同过滤算法分类如下
协同过滤推荐算法分类图
3.1基于内存的协同过滤推荐
基于内存的协同过滤推荐算法分为基于用户的协同过滤推荐和基于用户的协同过滤推荐。

基于用户的协同过滤推荐基于假设：相似的用户会有相似的喜好，其原理是通过寻找相似用户来预测用户对未知物品的评分，将评分较高的项目推荐给目标用户。

基于项目的协同过滤基于的假设：用户喜欢的项目都是同类型相似的项目，也就是用户喜欢与自己喜好项目相似度高的项目。

基于内存的协同过滤推荐系统实现主要三个步骤：收集用户偏好，创建用户-评分矩阵；最近邻搜索；计算预测评分并推荐。

3.2基于模型的协同过滤推荐
基于模型的协同过滤推荐是通过数据挖掘、机器学习、深度学习的方法利用用户的历史行为数据进行建模，根据模型训练的结果进行相应的推荐。

基于内存的协同过滤算法虽然易于理解和实现，但当用户-评分矩阵的规模逐渐增大且稀疏度增高时，该类算法的效果并不理想，而基于模型的协同过滤推荐算法能够很好的缓解稀疏性问题。

按照机器学习训练方法的不同可以将基于模型的协同过滤推荐算法划分为基于矩阵分解的推荐、基于贝叶斯分类器的推荐、基于聚类模型的推荐以及基于图模型的推荐等。

四．矩阵分解
推荐系统中的用户和项目数量不断增长，造成用户-项目矩阵变成高纬度的矩阵，同时一般情况下用户只对少数项目进行评分，因此评分矩阵会是极其稀疏的。

传统的协同过滤推荐算法在稀疏、高维的矩阵上进行推荐时，它的性能和推荐精度会受到影响，因此，矩阵分解技术被引入到推荐系统中。

对矩阵进行分解的方法有很多，最早的矩阵分解模型从SVD 奇异值分解开始，到后来发展出来的Funk-SVD 算法又被称为隐语义模型（LFM ）。

4.1LFM 算法原理
隐语义模型的核心思想是对评分矩阵进行分解，得到隐含的特征（latent factor ），并通过隐含特征来联系用户和项目。

设用户集合 m u u U ,,u 21 ，项目集合 n i i I ,,i 21 ，m 表示用户数量，n 表示项目个数， n m R ,表示评分矩阵则“用户-项目”评分矩阵表示如
下：
在隐语义模型中，假设有F 个特征因子，对于每个用户u ，令向量u p 表示用户与特征因子的关联程度，),,,(p 2u uF u ui p p p 。

对于每个项目i ，令向量i q 表示项目与特征因子的关联程度， iF i i i q q q ,,q 21 。

，那么原始评分矩阵R 就可以分解成两个低维的矩阵相乘
公式如下：i u Q P R ，ui ˆR 表示用户u 对项目i 的预测评分，则ui
ˆR 可以表示成用户u 对每个特征因子的关联程度与项目i 对每个特征因子关联程度的乘积求合，公式如下：
F
f if
uf q R 1
ui p ˆ（4.1）
，其中uf p 表示用户u 对特征因子f 的关联程度，if q 表示物品i 对特征因子f 的关联程度。

因此求预测评分需要求出P,Q 的参数值。

对推荐系统的推荐效果进行评测经常使用RMSE.所以通过最小化训练集的RMSE ，找到合适的P,Q ，因此目标函数如下
Train i u F f if
uf ui Train i u ui ui q p r r r q p C ),(1
),(2
)ˆ(),(（4.2）
我们的目标时要使预测评分的分值逼近真实的已知评分值，也就是要使目标函数最小。

当用户-项目评分矩阵R 非常稀疏的时候，求解目标函数的最小值时，可能会出现学习过拟合问题，因此要进行正则化，在目标函数中引入用户因子和项目因子的二范数
2
2
u p i
q 。

其中 是正则化参数。

因此目标函数如下：
2
2
u ),(1
),(2
p )ˆ(),(i
Train i u F f if
uf ui Train i u ui ui q q p r r r q p C
（4.3）
采用随机梯度下降法最小化目标函数。

随机梯度下降法大致思想是通过求参数的偏导数找到最快下降的梯度方向，让变量沿着目标函数的负梯度的方向移动，直到移动到极小值点。

对i u Q P ,分别求导如下：
uf
ui if uf
p e q p C
22 （4.4）
if
ui uf if
q e p C
22q （4.5）
根据随机梯度下降法，将参数沿着最快下降的方向推进，得到如下P,Q 的更新公式
)(p uf ui if uf uf p e q p （4.6）)
(q if ui uf if if q e p q （4.7）
其中， 为学习速率，即迭代步长， 为正则化参数，ui ui ui r
r ˆe 为真实评分与预测评分的差值。

4.2算法实现
实现步骤
输入评分矩阵R ，输出P,Q 第一步：初始化P,Q 矩阵；
第二步：根据公式（4.1）算出预测得分ui r
ˆ，从而计算ui ui ui r r ˆe 误差项第三步：根据（4.6），（4.7）得到更新的参数P ，Q
第四步：判断终止条件，通过计算均方根误差RMSE 是否收敛或者是否达到固定迭代次数。

若满足训练结束要求，训练结束，返回P 、Q 。

否则回到第二步继续进行迭代第五步：由公式（4.1）计算预测评分，选取预测评分中最高的前N 项进行推荐.主要逻辑代码
多次实验得到。