个性化推荐技术的十大挑战

一
种 “ 眭化”推荐。 个
决， 精确 度和多样性 又远胜于热销榜 ， 其 这一点 事实上， ｎ ｅ Ｍｃ ｅ 等人 已经警告大家 ， 目崇拜 精 盲 后面会进一步介绍。 确性指标可 能会伤害推荐系统 ， 因为这样可能会
导致用户得到～些信息量为０ “ 的 精准推荐”并且
增量计算 问题
一
个特别 困难 的挑 战是如何 设计一种 能够保证
户罕有可以利用的行 为信 息， 所 其误 差不会累积的算法， 也就是说其结果与利 用 出精确的推荐 。 反过来 ， 由于新 全部数据重新计算的结果之间的差异不会单调上
商品被选择次数很少，也难以找到合适 的办法推 升 。我们把这种算法 叫做 自适应算法 ， 它是增量 荐给用户。 一种办法是利用文本信息进行辅助推 算法的一个加强版本 ， 其设计要求和难度更高。 荐， 者通过注册和询问得 知一些用户的属性信 或
的可能方案 ， 因为标签既可 以看作是商品内容的 现 了增量技术 ， 没有达到所有算法都 能够 自适应 萃取 ， 同时也反映了用户的个性化 喜好 。以 《 桃 学习的程度 ， 还有很长的路要走 。 姐》这部电影为例 ， 有的人打的标签是 “ 伦理”， 有的人打的标签是 “ 刘德 华”， 两个人看 的电影
分别是预测评分准确度、 预测评分关联、 分类准
确度和排序准确度 。 以分类准确度为例，又包括 准确率、召回率、准确率提高率、召回率提高率、
１ 口 ｕ 值。 为不同用户赋予不同参数 （ 算法结果 的个性化 Ｆ 指标干 Ａ ｃ 从
推荐系统评价综 述》一 到算法本 身的个性化 ）， 甚至允许用户自己移动 朱郁筱和吕琳媛撰 写的 《
比固然有了长 足的进步 ， 距离 “ 但 为每一个用户 问题 。
量身定做的信息服务”还有很大 的差距 ， 只有做
个陛化才能实现亚马逊Ｃ ＯＪｆＢ ｚｓ Ｅ ｅ ｅｏ 的梦想 “ 如 果我有１０ ０ 万个用户， 我就为他们做１ ０ ０ 万个亚马
逊 网站 ”。所以 ， 市场 细分只是初级 阶段 ，而个
１ ７ ０
Ｃｌｕ ｍｐ ｔ ｇ 云计 算 ｏ ｄＣｏ ｕ ｉ ｎ
越稀疏。现在认为能够处理稀疏数据的算法 （ 如 着加人 的信息量的增多，这种算法的误差会积累
扩散 、 迭代寻优、转移相似性等）更有价值。
变大 ， 最终每过一段时间还 是需要利用全局数据
重新 进 行 计 算 。
问题
遗憾的是， 推荐多样的商品和新颖的商品与推荐
的精确性之 间存在矛盾，因为前者风险很大——
推荐一个没人看过或者打分较低的东两 ， 很可能
被用户 恶，从而效果更 差。 多时候，这是一 很
另一种解决方法是设计增量算法。也就是说 ，当 个两难 的问题，只能通过牺牲多样性来提高精确 产生新用户、新商品和新 的连接关系时，算法 的 性 ， 或者牺 牲精确性 来提 高多样性 。 一种可行之
首歌 和团购房 子时的区别 ）， 些都 可以用来 这
的攻击策略 。
提 高推荐的效果 。
评 估
荐
比
经提 出几十年了， 怎 但 仍 然 是一 个很 大 的问 题。 常见 的评估指标可 以分为四大类 ， 分别是准
如 ， 用户和老用户具有很不一样的选择模式 ： 新
通常 ， 用户倾 向于选择热 门商 品， 新 而老用 户对 确度 、多样性 、新颖性和覆盖 率。每一类还有不 ｂ？ ， 小众商品关注更多； 新用户所 选择的商品相似度 同的指标 。 ｈ ｚ 准确 度指标还可 分为四大类 ， 更高， 老用户所选择的商品多样性较高。 有些混合算法可以通过一个参数调节推荐结果的 多样性和热门程度 。 在这种情况下 ， 就可以考虑
１９ Ｏ
Ｃｌｕ ｏ ｄＣｏｍｐ ｔ ｇ 云 计 算 ｕｉ ｎ
文几乎总结了文献中曾经出现 过的所有推荐系统 该分别放置哪些推荐栏 ？不同的推荐栏放在页面
指标 ， 这些指标 都是基于数据本身的指标 ， 以 的什么位置能够优化 用户体验 ？什么情况下应该 可 认为是第 一层次 。实际上，在真实应用时 ， 为 让用户自己选择推荐的个性化程度 ？基于用户行 更 重要的是 另外两个层次的评价 。 第二个层次是商 为的实证研究可以回答一部分 问题，同时需要建
Ｃｌｕ ｍｐ ｔ ｇ 云计 算 ｏ ｄ Ｃｏ ｕ ｉ ｎ
个 性化推荐技术 的十大挑 战
文／ 周涛
个性化推荐经常被人误解 为细分市场和精准营销这两个概念。 虽然它们之间有一些联 系， 但实质 上却相差甚远。 本文不仅清楚地讲述了个性化推荐技术， 更列出了其所面临的十大挑战。
很 多人都 知道个性化推荐 ， 却有不少认识上的误
（ 仅代表个人观 点 ）， 中有一些是很 多年 前就 其
区。 的人认为个 陛化推荐就是细分市场和精准 认识到 但一 直没 有得到解 决 的长 期 问题 。 实 有 事 营销 ， 但实际上细分市场和精准营销往往是把潜 上，有些挑战 是不可能完全解决的，只能提出改 在的用户分成很多群体 ， 与基于全体 的统计相 良方 案， 这 还有一些是在最近研究中提 出来 的焦点
结果不需要在整个数据集上重新进行计算， 只 策是直接对推荐列表进行处理 ， 而 从而提升其多样
需考虑所增加节 点和连边局部的信 息， 对原有的 性 。 这种方法固然在应用上是有效 的， 但没有任 结果进行微扰 ，快速得到新结果 。一般 而言，随 何理论的基 础和 优美 『 生可言，只能算一种实用的
１８ ０
Ｃｌｕ ｍ ｐ ｔ ｇ 云计 算 ｏ ｄ Ｃｏ ｕ ｉ ｎ
招数。
一
个滑钮调节这个参数 —— 当 用户想看 热门产品
我们发现 ， 精巧 混合精确性高和多棒 性好 的两种 算法 ， 以同时提高算法的多样性 和精确性 ， 可 不
时，算法提供热门推荐 ；当用户想找 点很酷 的产 品时，算法也可以提供冷门推荐 。 用户行为的时
按照指数递减 ， 也能的难题 。
荐 系 统 的 脆 弱性 ． 问题
・ 荐 统 电 商 领 能 来 大 经 — 系在子务域带重的
●－ ， ． 济利益的驱动， － 导致一些心怀不轨的用户
会提供 一些虚假或恶意的行 为， 故意增加或 者压
制某些商品被 推荐 的可 能性 。 因此 ， 一个算法能
否在 一定程度上保持对恶意攻击 的鲁棒性 ， 成为 需要认 真考虑 的一个特 征。以最简单的关联 规则
深入挖 掘用户的行为模 式有望提高推荐的效果或在更 复 杂的场景下进行推荐。 有些混淆算法能通过一个参数调节 推荐结果的多样性和复杂程度。
一
样， 但兴趣点可 能不尽 相同。当然 ，利用标 签
也只能是提高有少量 行为的用户的推荐准确性， 对于纯粹的冷启动用户，没有任何 帮助 ，因为这 些人还没有打过任何标签 。
别高的商品 ， 因为这些商品有更可能被喜欢 （ 至
少Ｂ ｚｓ ｅｏ 会这么想 ）， 往坏了说 ， 也很难特 别被讨
有趣的是，最近的研究显 示， 用户更容易选择 厌。 新 但这种推荐产生的用户体验并 不一定好 ， 因 特别 流行 的商品 。无论如 何 ，这 都是 一个好 消 为用户很可能已经知道这些热销或流行 的产品，
息， 明使 用热销榜也能获得不错 的结果。 说 冷启 所 以得到的信息量很 少， 并且用户不会认 为这 是 动问题还 可以通过 多维数据 的交叉推荐部 分解
足新环境下 的要求 ， 无法解决新出现的问题 。令 人兴奋的是，过去十年中，我们见 证了无数 顶尖 级专家与学者投身于推荐方 法与技术 的创新中。 今天， 些人认为个性化推荐技术的研 究已经进 还 入了很成 熟阶段 ， 没有什么特别激 动人 心的问题 和成果。事实却恰恰相反， 现在个性化 推荐技术 面临很大的挑战 ， 我们之前只看到了爪＿ ｝ 生化推荐 技术难题这座冰山所露出的一角。 本文将 列出个性化 推荐技 术所面 临的十个挑 战
业应用上的关键表现 指标 ， 如受推荐影响的转化 立一个可以进行Ａ Ｂ Ｉ 的系统，或可积累重要 ／￣试 Ｊ
率、 买率、客单 价 、 购 购买 品类数 等。第三个层 的实验数据。
次是用户真实的体验。
绝大部分研究只针对第一个层次的评价指标， 而 业界真正感兴趣的是第二个层次 的评价 （ 比如， 到底是哪个指标或者哪些指标组合的结果能够提 人能知道 ， 只能通过第二层次来 估计 。 因此 ， 如
一
的分 析还 很缺 乏 ， 反而 是攻 击策 略层 出不穷 ，
有 种 “ 高 一尺 ，魔 高 一丈 ”的 感觉 。Ｂ ｒ ｅ 道 ｕ ｋ
等人２ １ 年的研究报告 “ ｏ ｕ ｔＣ ｌ ｂ ｒｔ ｅ ０ １ Ｒ ｂ ｓ ｏｌ ｏａｉ ａ ｖ Ｒ ｃｍｍｅ ｄ ｔ ｎ ｅｏ ｎ ａｉ ”中就分析了４ ｏ 大种类、 种不同 ８
，
视野变得越来越狭窄。 让用户视野变得狭窄是协
大 部 分 数 据 都 拥 有 同过滤算法的一个主要缺 陷。与此 同时 ， 应用个
商品 ， 所以如何快速高 性化推荐技术的商家 ， 也希望推荐 中有更多的品 效地处理这些数据成 为迫在眉睫 的问题 。 而算法 类出现 ， 从而激发用户新 的购物需求 。 时间和空间上的复杂性 ， 尤其是 前者， 到了空 得 前重视 。 一个高效 的算法 ， 么复杂性很低 ， 要 要 么能够很好地并行化， 么两 者兼具 。 要 局部扩散 算法在这两个方面都具有明显优势。
息，比如年龄 、居住城市 、受教育程度 、 别和 性 职业等 。
现 在业界已经在应用增量算法。例如 ， 分点科 百 技 推荐 引擎中的若干算法都 采用了增量技 术， 使
得用户每次浏览收藏或者购买商品后其推荐列表 最近广泛应用的标签 系统提供了解决冷启动问题 立刻得 到更新 。当然 ， 只是该引擎 的部分算法实
性化推荐则是市场细分的极致 。 还有入认为个性
一
化推荐等同于协 同过滤 ， 这可能是因为协 同过滤 出现得 比较早并且比较容易被大众理解 ， 但实际 上协 同过滤只不过是众多个性化推荐技术中的一 个早期成员， 远不能代表个性化推荐技术。 随着个性化的商业应用延展到用户生活信息流的
方方面面 ， 个性化推荐技术也在日新 月异不断发 展，类似于协 同过滤这样的早期技术 已经不能满
需要牺牲任何一方 。 的是 ， 遗 我们还没有办法 空统计 特性 也可 以用于提 高推荐或者 设计针对 就这个结果提供清晰 的解读和深刻的见解 。 多样 特定场景 的应用。 性和精确性之间错综复杂的关系和隐匿其后的竞 用户的选择可 能同时蕴含了长期的兴趣和短期的 兴趣，通过将这两种效应分离出来，可以明显提 高推荐的精确度 。 事实上 ， 假设用 户兴趣随时间
挖掘算法为例 ， ｒ ｒ Ａｐｉ ｉ ｏ 算法 的鲁棒性就远 胜于ｋ 现在 用手机 上网已经越来越普及 ，与此同时 ， 嵌 近邻算法 。 入Ｇ Ｓ Ｐ 的手机越 来越多，因此，基于位置 的服务
基 已有一些技术专门用来提高推荐系统面对恶意攻 成 为一个受到学术界和 业界广泛关注的问题 。 击的鲁棒性 。 比如 ， 通过分析对比真实用户和疑 于位置信息的推荐可能会成为个性化推荐的一个 而解决这 个问题需 似恶意用户之间打 分行为模式 的差异，提前对恶 研究热点和重要的应用场景 ， 包括预测 意行为进行判断 ， 从而阻止其进入 系统或将 恶意 要能够对用户的移动模式有深入理解 （ 用户的影响力降至最低 。 总 体 来 说 ，这 方 面 的 研 究 相 对 较 少 ，系统 性 用 户的移动轨迹和判断用户在当前位置是否有可 能进行 餐饮购物 活动等），同时还要 有定量 的办 法 定义用户之 间以及地点之 间的相似性 。另外 ， 不同用户打分的模 式也很 不一样 ， 用户针对不同 商品的行为模式也不一样 （ 想象一下在网上下载