推荐系统评价指标综述
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
推荐系统中的多样性体现在用户间的多样性和用户内的多样性。
在信息论中，两个字码中不同位值的数目称为汉明距离（异或操作）例如： 1011101 与 1001001 之间的汉明距离是 2。 2143896 与 2233796 之间的汉明距离是 3。 "toned" 与 "roses" 之间的汉明距离是 3。
多种推荐算法
信息过滤，为满足用户需求推荐个性化推荐。协同过滤算法、基于内容的推荐算法、 混合推荐算法。。。
ห้องสมุดไป่ตู้
孰优孰劣
如何有效、客观评价推荐系统的效能，从实验室到实际应用的转换。
.
4
研究背景
.
评价方法
在线评价
设计在线用户实验，根据用户在线实时反馈或事后问卷调查等结果来衡量推荐系统的表现 A/B测试 高额成本
局限：对MAE指标贡献大的往往是那种很难预测准确的低分商品
.
预测评分的准确度
MSE和RMSE指标对每个绝对误差首先做平方运算，所以这两个指标对比较大的绝对误差有 了更重的惩罚
.
预测评分的准确度
.
预测评分关联
衡量算法预测的评分与用户实际评分之间的相关性 最常见的三种相关性指标：Pearson积距相关、Spearman相关、Kendall’s Tau
.
分类准确度
对于一个没有明确二分喜好的系统？推荐的阈值不确定？往往采用AUC指标来衡量推荐效果的准确性。 AUC指标表示ROC（receiver operator curve）曲线下的面积，它衡量一个推荐系统能够在多大 程度上将用户喜欢的商品与不喜欢的商品区分开来。
正如我们在这个ROC曲线的示例图中看到的那样， ROC曲线的横坐标为false positive rate （FPR），纵坐标为true positive rate（TPR）
离线评价
根据待评价的推荐系统在实验数据集上的表现来衡量推荐系统的质量 方便、经济 数据集的划分（常用随机划分）与评价指标的选择
.
6
评价指标
✓ 准确度指标 ✓ 基于排序加权的指标 ✓ 覆盖率 ✓ 多样性和新颖性
.
7
准确度指标
.
预测评分的准确度
衡量算法预测的评分与用户实际评分的贴近程度 思路：计算预测评分和用户真实评分的差异
推荐系统评价指标综述
汇报人：李烽
.
文献来源： 朱郁筱,吕琳媛. 推荐系统评价指标综述[J]. 电子科技大学学报,2012,02:163-175.
.
研究背景
信息过载
多种推荐算法
孰优孰劣
.
3
研究背景
信息过载
Web2.0时代，每个人既是信息接收者，也是信息创造者。信息数量庞大但质量参差 不齐，造成信息过载。
.
排序准确度
.
基于排序加权的指标
.
基于排序加权的指标
目前半衰期效用指标的使用仍然是有很大的局限性： 首先参数的选取尚未有统一的标准。 用户的浏览概率与商品在推荐列表中的位置呈指数递减这一假设并不是在所有系统中 都适用。
.
覆盖率
覆盖率指算法向用户推荐的商品能覆盖全部商品的比例。
.
多样性和新颖性
.
分类准确度
从高到低依次将”Score”值作为阈值threshold,当测试 样本属于正样本的概率大于或等于这个threshold时， 我们认为它为正样本，否则为负样本。
AUC指标仅用一个数值就表征了推荐算法的整体表现， 而且它涵盖了所有不同推荐列表长度的表现。但是 AUC指标没有考虑具体排序位置的影响，导致在ROC 曲线面积相同的情况下很难比较算法好坏，所以它 的适用范围也受到了一些限制
.
预测评分关联
.
预测评分关联
弱关系排序问题：在实际系统中可能有某用户对两个或者多个商品评分一致的情况。
.
预测评分关联
.
预测评分关联
某用户对商品实际评分为：4.4，3.9, 3.8, 3.9, 1.0 推荐系统预测评分为：3.3, 3.1, 3.0, 4.3, 3.1 那么此时，具有严格偏好差别的商品对有(1,2)、(1,3) 、(1,4)、(1,5)、(2,3) 、(2,5) 、 (3,4) 、(3,5) 、(4,5) 排序相悖的商品对： (1,4)、 (3,5) 排序兼容的商品对： (2,5) 得 NDMP=(2*2+1)/2*9=0.278
.
多样性和新颖性
.
.
THANKS
.
.
分类准确度
经过分析，ROC曲线越接近左上角，该分类器性能越好。AUC的取值范围介于0.5和1之间。
.
分类准确度
假如我们已经得到了所有样本的概率输出（属于正样 本的概率）。 根据每个测试样本属于正样本的概率值从大到小排序。 图中共有20个测试样本，“Class”一栏表示每个测试 样本真正的标签（p表示正样本，n表示负样本）， “Score”表示每个测试样本属于正样本的概率
NDMP指标不仅适用于弱关系排序问题还可以用来评价推荐算法在不同数据及上的表现。 PS：这些预测评分关联额性指标都是只关注于预测排序值而不关注于具体的预测评分值， 所以它们不适用于那些旨在为用户提供精确预测评分值的系统。
.
分类准确度
衡量推荐系统能正确预测用户喜欢或者不喜欢某个商品的能力。适用于那些有明确二分喜 好的用户系统，对于非二分喜好系统，需要设定一个阈值来区分用户的喜好。
并非衡量系统预测具体评分值的能力，只要是没有影响商品分类的评分偏差都是被允许的。
最常用的分类准确度指标：准确率(precision)、召回率(recall)、F1指标和AUC。
.
分类准确度
.
分类准确度
.
分类准确度
准确率与召回率容易受到推荐列表长度、评分稀疏性以及喜好阈值的等多方面因素的影响，很多学 者不提倡用准确率与召回率来评价系统，特别是只考虑一种指标时偏差极大。 准确率和召回率指标往往是负相关的而且依赖于推荐列表长度。一般情况下，随着推荐列表长度的 增大，准确率指标会减小而召回率会增大。
在信息论中，两个字码中不同位值的数目称为汉明距离（异或操作）例如： 1011101 与 1001001 之间的汉明距离是 2。 2143896 与 2233796 之间的汉明距离是 3。 "toned" 与 "roses" 之间的汉明距离是 3。
多种推荐算法
信息过滤，为满足用户需求推荐个性化推荐。协同过滤算法、基于内容的推荐算法、 混合推荐算法。。。
ห้องสมุดไป่ตู้
孰优孰劣
如何有效、客观评价推荐系统的效能，从实验室到实际应用的转换。
.
4
研究背景
.
评价方法
在线评价
设计在线用户实验，根据用户在线实时反馈或事后问卷调查等结果来衡量推荐系统的表现 A/B测试 高额成本
局限：对MAE指标贡献大的往往是那种很难预测准确的低分商品
.
预测评分的准确度
MSE和RMSE指标对每个绝对误差首先做平方运算，所以这两个指标对比较大的绝对误差有 了更重的惩罚
.
预测评分的准确度
.
预测评分关联
衡量算法预测的评分与用户实际评分之间的相关性 最常见的三种相关性指标：Pearson积距相关、Spearman相关、Kendall’s Tau
.
分类准确度
对于一个没有明确二分喜好的系统？推荐的阈值不确定？往往采用AUC指标来衡量推荐效果的准确性。 AUC指标表示ROC（receiver operator curve）曲线下的面积，它衡量一个推荐系统能够在多大 程度上将用户喜欢的商品与不喜欢的商品区分开来。
正如我们在这个ROC曲线的示例图中看到的那样， ROC曲线的横坐标为false positive rate （FPR），纵坐标为true positive rate（TPR）
离线评价
根据待评价的推荐系统在实验数据集上的表现来衡量推荐系统的质量 方便、经济 数据集的划分（常用随机划分）与评价指标的选择
.
6
评价指标
✓ 准确度指标 ✓ 基于排序加权的指标 ✓ 覆盖率 ✓ 多样性和新颖性
.
7
准确度指标
.
预测评分的准确度
衡量算法预测的评分与用户实际评分的贴近程度 思路：计算预测评分和用户真实评分的差异
推荐系统评价指标综述
汇报人：李烽
.
文献来源： 朱郁筱,吕琳媛. 推荐系统评价指标综述[J]. 电子科技大学学报,2012,02:163-175.
.
研究背景
信息过载
多种推荐算法
孰优孰劣
.
3
研究背景
信息过载
Web2.0时代，每个人既是信息接收者，也是信息创造者。信息数量庞大但质量参差 不齐，造成信息过载。
.
排序准确度
.
基于排序加权的指标
.
基于排序加权的指标
目前半衰期效用指标的使用仍然是有很大的局限性： 首先参数的选取尚未有统一的标准。 用户的浏览概率与商品在推荐列表中的位置呈指数递减这一假设并不是在所有系统中 都适用。
.
覆盖率
覆盖率指算法向用户推荐的商品能覆盖全部商品的比例。
.
多样性和新颖性
.
分类准确度
从高到低依次将”Score”值作为阈值threshold,当测试 样本属于正样本的概率大于或等于这个threshold时， 我们认为它为正样本，否则为负样本。
AUC指标仅用一个数值就表征了推荐算法的整体表现， 而且它涵盖了所有不同推荐列表长度的表现。但是 AUC指标没有考虑具体排序位置的影响，导致在ROC 曲线面积相同的情况下很难比较算法好坏，所以它 的适用范围也受到了一些限制
.
预测评分关联
.
预测评分关联
弱关系排序问题：在实际系统中可能有某用户对两个或者多个商品评分一致的情况。
.
预测评分关联
.
预测评分关联
某用户对商品实际评分为：4.4，3.9, 3.8, 3.9, 1.0 推荐系统预测评分为：3.3, 3.1, 3.0, 4.3, 3.1 那么此时，具有严格偏好差别的商品对有(1,2)、(1,3) 、(1,4)、(1,5)、(2,3) 、(2,5) 、 (3,4) 、(3,5) 、(4,5) 排序相悖的商品对： (1,4)、 (3,5) 排序兼容的商品对： (2,5) 得 NDMP=(2*2+1)/2*9=0.278
.
多样性和新颖性
.
.
THANKS
.
.
分类准确度
经过分析，ROC曲线越接近左上角，该分类器性能越好。AUC的取值范围介于0.5和1之间。
.
分类准确度
假如我们已经得到了所有样本的概率输出（属于正样 本的概率）。 根据每个测试样本属于正样本的概率值从大到小排序。 图中共有20个测试样本，“Class”一栏表示每个测试 样本真正的标签（p表示正样本，n表示负样本）， “Score”表示每个测试样本属于正样本的概率
NDMP指标不仅适用于弱关系排序问题还可以用来评价推荐算法在不同数据及上的表现。 PS：这些预测评分关联额性指标都是只关注于预测排序值而不关注于具体的预测评分值， 所以它们不适用于那些旨在为用户提供精确预测评分值的系统。
.
分类准确度
衡量推荐系统能正确预测用户喜欢或者不喜欢某个商品的能力。适用于那些有明确二分喜 好的用户系统，对于非二分喜好系统，需要设定一个阈值来区分用户的喜好。
并非衡量系统预测具体评分值的能力，只要是没有影响商品分类的评分偏差都是被允许的。
最常用的分类准确度指标：准确率(precision)、召回率(recall)、F1指标和AUC。
.
分类准确度
.
分类准确度
.
分类准确度
准确率与召回率容易受到推荐列表长度、评分稀疏性以及喜好阈值的等多方面因素的影响，很多学 者不提倡用准确率与召回率来评价系统，特别是只考虑一种指标时偏差极大。 准确率和召回率指标往往是负相关的而且依赖于推荐列表长度。一般情况下，随着推荐列表长度的 增大，准确率指标会减小而召回率会增大。