推荐系统实验

不常用
用户满意度（这个指标只能通过调查问卷形式得到，成本高且用户填写的问卷可能不能完全反应事实） 覆盖率（针对商品等的长尾效应，更适合于商业系统） 多样性/新颖性/惊喜度（推荐结果和用户历史兴趣不相似，但却让用户觉得满意，就可以说是推荐结果惊喜 度很高） 这三个指标不好度量和实现
表现提出算法有效性用什么样的方式：表格？图？你觉得比 较印象深刻的方式是什么？
印象深刻的是图，这是人的视觉系统决定的。 但是大多数论文都是有图，有表，相辅相成，互相说明。也可以认为是他们懒，不想画图吧。
图就面临一个问题，作图时，是全屏的，图很 大，可能大的时候看的效果就很好，但一旦放 入文章中排版，必然缩小，看起来效果就不会 那么好了。
但是反观表格的话，因为本来就 是很多字，基本论文排版时表格 不会做太大改动，所以即便缩小 一点，在论文中占得地方也会大， 还是看的清。
常用的数据集有哪些，这些数据集可以下载吗？
https://grouplens.org/datasets/movielens/ GroupLens是明尼苏达大学计算机科学与工程系的一个研究实验室，贡献和维护了几 个推荐系统中常用的标准数据集
http://www.grouplens.org/taxonomy/term/14 Movielens Dataset： 其中Movielens-100k和movielens-1M有用户对电影的打分，电 影的title、genre、IMDB链接、用户的gender、age、occupation、 zip code。movielens-10M中还有用户对电影使用的tag信息。 HetRec2011 Dataset：包括了movielens-2k、delicious-2k和 last.fm-2k。 在movielens-2k中，电影的信息更加丰富了，有IMDB和Rotten Tomatoes的信息，具体还有电影对应的genre、director、actor、 发行的国家、拍摄的地点、tag信息，当然还有打分信息。 在delicious-2k中，是用户对bookmark（书签）的tag信息。具 体包括用户之间的relation、书签的title和url、用户对书签使用的tag。 这个数据集适用于tag的推荐。 在last.fm-2k中，是用户收听音乐的信息。具体包括双向的朋友关 系、艺术家、用户收听艺术家信息（有weight）、用户对艺术家的 tag信息、艺术家tag信息。 Wikilens Dataset BookCrossing Dataset: 用户对书的打分信息，用户城市、用户年龄、 书在Amazon的信息及url。 Jest Joker Dataset Eachmovie Dataset
LFM：隐语义模型Latent Factor Model MF：矩阵分解Matrix factorization （基于SVD，奇异值分解） NMF： 非负矩阵分解 Nonnegative matrix factorization WNMF: 加权非负矩阵分解Weighted nonnegative matrix factorization
常见数据集汇总表
上图摘自论文Recommender System Survey
稳定的基准数据集：包含13.8万用户对2.7万部电影的2千万评分和 46.5万个标签。发布于2015.4,2016.10更新了link.csv同时添加了标签。 大小为190M。 该数据集可用于新研究 最新数据集：由于会不断跟新，所以不适合用来报告研究结果。 精简版： 700个用户对于9000部电影的10万个评分和1300个标签 更新于2016.10 完整版：27万用户对于4.5万部电影的2600万评分和75万标签。 更新于2017.8 该数据集用于教育研究 更多旧版数据集： https://grouplens.org/datasets/movielens/
从Epinions.com网站收集的5周内（2003年11月/ 12月）的数据集。 数据集包含 49,290位用户对 139,738个不同的项目进行了至少一次评分， 664,824条评论和 487,181份已发布的信任声明。 用户和项目由匿名数字标识符表示。 http://www.trustlet.org/downloaded_epinions.html 该数据集共有两个文件组成，一个是评分文件，一个是信任文件。 还有一个扩展的Epinions数据集 数据集包含 13.2万名用户，发布84.1372份声明（717,667份信托和123,705份不信 任）。 8.5万名用户至少收到一份声明。 用户和项目由匿名数字标识符表示。 http://www.trustlet.org/extended_epinions.html
Flixster Dataset: 用户对电影的打分以及 用户的friendship信息。 http://www.sfu.ca/~sja25/datasets/ Epinions Dataset: 包括用户trust关系、 用户对item的打分信息、评论信 息。 http://www.trustlet.org/wiki/Epini ons_datasets Yelp Dataset: https://www.yelp.com/academic_da taset Bibsonomy Dataset: 与delicious类似。 http://www.kde.cs.unikassel.de/bibsonomy/dumps CisoDVD： https://www.librec.net/datasets.html
图和表，看数据量，排版要 求和个人对色彩掌控能力。
BookCrossing(BX)数据集收集于Book-Crossing社区2004年8月到9月 间四周的数据。包括27.8858万用户（匿名，但是有人口统计信息）对 27.1379本Fra Baidu bibliotek提供了114.978万个评分（显性或隐性）
http://www2.informatik.uni-freiburg.de/~cziegler/BX/
很多数据集的说明文件都会附有： 免费使用数据集，但是自己论文中要引用某篇论文的声明。
有哪些算法常被用作对照组算法？
UCF：UserCF –User Collaboration Filter基于用户的协同过滤算法
ItemCF：Item Collaboration Filter，基于物品的协同过滤
实验概要
黄珊
论文实验部分通常是怎么设置的？
说明实验目的，例如：经过实验，本文提出的算法是否提高了推荐性能，是否解决或改善了一些本 领域存在的问题。 介绍实验设置，例如：说明本实验所采用的评测指标（MAE/RMSE等），说明所采用数据集，也可 以进一步说明测试集和训练集的划分。 将本文所介绍的算法与经典算法进行比较，从图表中分析，重点强调对本文所提出系统有优势的观 察结果。这里可以进一步设置一些对照组，说明本文提出系统在解决推荐系统所存在问题时优于其 他已知系统，对应于实验目标，表明本系统有用，比以前的有进步。 参数分析，说明本文参数适用于哪些场合，在哪些场合表现性能好，哪些会相对较差。以及参数变 化对整体性能的影响。
有哪些常用的评价指标，不常用的评价指标是依据什么得到的？
常用
推荐准确度
这个参数可以离线计算所得，而且较为的客观，所以是各大研究论文算法最重要的参考指标。 评分预测：学习用户的评价模型，用于预测用户对于未接触事物的评分，其实可以看作是一个回归模型 ，一般用均方根误差MAE或者绝对误差RMSE来衡量; TopN推荐：给用户一个个性化的推荐列表，其一般通过准确度、召回率等指标评估。其中N也是一个可 变参数，可以根据不同的N描绘出对应算法的ROC曲线来进一步评价推荐效果;