拆解“猜你喜欢”系统功能分析

许多年来，推荐系统的开发者试过用各种各样的方法来采集和解析所有这些数据。

最近这段时间，多数人都选择使用被称为个性化协同推荐(Personalized Collaborative Recommender)的算法。

这也是亚马逊、Netflix、Facebook 的好友推荐，以及一家英国流行音乐网站 Last.fm 的核心算法。

说它 “个性化”，是因为这种算法会追踪用户的每一个行为(如浏览过的页面、订单记录和商品评分)，以此进行推荐;它们可不是瞎猫碰上死耗子——全凭运气。

说它 “协同”，则是因为这种算法会根据许多其他的顾客也购买了这些商品或者对其显示出好感，而将两样物品视为彼此关联，它不是通过分析商品特征或者关键词来进行判断的。

不同类型的个性化协同推荐系统最晚从 1992 年开始便已经出现。

除了 GroupLens 计划，另一项早期的推荐系统是 MIT 的 Ringo，它会根据用户的音乐播放列表从而给用户推荐其他他们有可能会喜欢的音乐。

User-User 算法：计算用户之间的相似度GroupLens 和 Ringo 都使用了一种简单的协同算法，被称为 “用户关联”(user-user)的算法。

这种类型的算法会计算一对用户之间的 “距离”，根据的是他们对同一物品打分的相似程度。

举例来说，如果吉姆和简都给《电子世界争霸战》(Tron)这部电影打了 5 分，那么他们之间的距离就是 0。

如果吉姆给它的续集《创：战纪》(Tron: Legacy )这部电影打了 5 分，而简只打了 3 分，那么他们之间的距离就变大了。

按照这样的计算得出来品味相对 “靠近” 的用户，我们把他们称之为共有一个 “邻集”(neighborhood)。

但是，这种用户关联的策略效果并不是很好。

首先，形成有意义的邻集很难：很多用户两两之间只有很少几个共同评分，有的就完全没有;而仅有的那几个都打了分的项目呢，往往是票房大片，基本上人人都喜欢的那种。

再来，由于用户之间的距离可以变得很快，算法必须当场就进行大部分的计算;而这可能会比一个在网站上这儿点点那儿戳戳的人下一个动作发出之前需要更久的时间。

Item-Item 算法：计算物品之间的关联因此，大部分的推荐系统如今都依靠一种“物-物关联”(item-item)的算法，这种算法计算的是两本书、两部电影或者两个其他什么东西之间的距离，依据的是给它们打过分的用户的相似度。

喜欢 Tom Clancy 书的人很可能会给 Clive Cussler 的作品打高分，因此 Clancy 和 Cussler 的书就共处一个邻集。

一对物品之间的距离可能是根据成百上千万的用户的评分计算得出，在一段时间里往往保持相对稳定，因此推荐系统可以预先计算距离，并更快的生成推荐结果。

亚马逊和 Netflix 都曾公开表示过他们使用的是物-物关联算法的变种，但对细节都绝口不提。

用户关联算法和物-物关联算法都有的一个问题，是用户评分的不一致性。

当给他们机会再评一次分时，用户往往会对同一件物品给出不同的得分。

品味在变、心情在变，印象也在变。

MIT 在上世纪 90 年代进行的一项研究表明，在最初打分一年以后，用户的评分会发生平均 1 分(满分 7 分)的变动。

研究人员们也在一直在尝试不同的方法在模型中纳入这一变量;比如说，如果用户给某个商品了打一个分，但这个评分与推荐算法所了解的关于这个人和这个商品的所有其他信息不相符，有的推荐算法就会邀请用户再次对这个商品进行评价。

降维算法：把事物特征一般化不过，用户关联算法和物-物关联算法还存在一个比一致性更大的问题：它们太死了。

就是说，它们能发现都喜欢同一样东西的人，但却忽略了爱好非常相似的潜在用户组合。

比如说你喜欢莫奈的睡莲。

那么，在这个法国印象派大师画的 250 幅睡莲中，你最喜欢哪一幅?在一群喜欢莫奈的人当中，完全可能每个人喜欢的睡莲都不相同，而基本的算法就有可能识别不出这些人都有着共同的爱好。

大约十年前，研究者们想出了一个办法，通过一个叫降维(Dimensionality Reduction)的过程，把事物更一般化的表现出来。

这种方法在计算量上比用户关联和物-物关联算法要密集得多，因此也就没有那么快的得到采用。

但随着计算机变更快更便宜，降维算法也逐步取得了一些进展。

为了弄清降维算法是怎么工作的，我们来看看你爱吃的东西，以及如何把它跟其他一百万人爱吃的东西做比较。

你可以把这些信息用一个巨型矩阵表示出来，每一条竖线代表一样食物，每个人爱吃什么东西就自然形成了一行。

在你的这一行上面或许会显示你给了烤牛排 5 颗星、红烧小排 4 星半、烤鸡翅 2 颗星、冻豆腐卷 1 颗星、奶酪烤蘑菇 5 颗星、盐水毛豆 4 颗星，等等。

然而，使用这个矩阵的推荐算法并不关心你给哪种食物评了多少颗星。

它想要了解的是你一般而言的喜好，这样它可以将这个信息应用到更丰富多样的食物上。

比如说，基于你上面给出的信息，算法可能会认为你喜欢牛肉、咸的东西和烤制菜品，不喜欢鸡肉和任何油炸的东西，不喜欢也不讨厌蔬菜，依此类推。

你爱吃的食物所拥有的特点或者说维度，它的数量和符合你要求的食物的数量比起来要小得多——至多可能 50 或 100。

通过查对这些维度，推荐算法可以迅速决定你是否会喜欢一种新的食物(比方说盐焗排骨)，方法就是把这种食物的各项维度(咸的、牛肉做的、不是鸡肉、不是炒的、不是蔬菜、不是烤的)同你的资料进行比对。

这种更为一般性的呈现使得推荐算法能准确的发现有着相似但不同喜好的用户。

而且，它大幅压缩了矩阵的规模，使算法变得更加高效。

这是一个很酷的解决方案。

不过，你爱吃的食物的维度该上哪儿去找呢?肯定不是去问厨师。

推荐系统会使用一种称为奇异值分解的数学方法来计算维度。

这种方法涉及到把最初的一个巨型矩阵分解为两个 “口味矩阵”——其中一个包含了所有的用户和 100 项口味维度，另一个则包含了所有的食物和 100 项口味维度——再加上第三个矩阵，当乘以前面两个矩阵中的任意一个时，会得到最初的那个矩阵(※此处已更改)。

不像上面例子中说的那样，计算用的维度既不是描述性的，也一点儿都不直观;它们是纯抽象的值。

这并没有什么，只要这些值最终生成准确的推荐结果就行了。

这种方法的主要缺点是，创建矩阵所需要的时间会随着客户和产品数量的增多而飞速增长——创建一个拥有 2.5 亿名客户和 1000 万种产品的矩阵，需要花上创建一个 25 万名客户和 1 万种产品的矩阵 10 亿倍那么多的时间。

而且这一过程还需要经常重复。

一旦收到新的评分，矩阵就已经过时;在像亚马逊这样的公司，每一秒钟都会收到新的评论。

幸运的是，就算略微过时，矩阵仍然能以一个挺不错的水平运作。

研究人员们也已经在设计新的算法，为奇异值分解提供可用的近似值并显著缩短计算时间。

讲完了推荐算法是如何“猜你喜欢”的，现在，你对于每回上网购物时在线零售商是如何打量你，并努力把你的喜好和其他人的相匹配有了一个基本的概念。

推荐系统还有另外两大特点，也对你最终看到的推荐结果有着显著的影响：第一，在弄清楚你和其他购物者的相似度有多高之前，推荐系统必须先弄明白你真正喜欢什么;第二，推荐系统依照一组商业规则运行，以确保推荐结果既让你觉得有用，也使商家有利可图。

推荐算法是如何赢得你的信任，又让商家有钱可赚的? 采集你的上网数据举个例子，来看亚马逊的艺术品商店，上次我们去看的时候那里有 900 多万册印刷品和海报在降价促销。

亚马逊的艺术品商店有这样几个方法来评估你的喜好。

它会让你在 1 到 5 颗星的等级上给某一件艺术作品打分，它也会记录下你把哪些画点击放大了来看、哪些画你反反复复看了好多次，你把哪些放进了心愿单，还有你最终实际下单买了什么。

它还会追踪在你浏览过的每一个页面上都显示了哪些画作。

在线零售商会使用你在其网站行进的路径(你浏览过的页面和点击商品的链接) 来向你推荐相关联的商品。

此外，它还把你的购买记录和打分信息结合起来，建立一个你长期购买偏好的档案。

像亚马逊这样的公司会收集大量此类有关客户的数据。

在你登录期间，你在它网站上的几乎每一个动作都会被记下来，留作将来使用。

多亏有了浏览器 cookie，连匿名购物者的上网记录商家也能维持，最终这些数据将在匿名购物者创建账户或者登陆时，链接到顾客的个人资料。

这种爆炸式的数据采集并非为在线商家所独有，沃尔玛便以其对现金收据数据的深入挖掘而著称于业界。

但是，网上商店处在一个更有利的位置去查看和记录，不止是消费者买了些什么，还包括你曾考虑过、浏览过和决定不买哪些商品。

在全世界大部分地区，所有这类活动都是任人监视和记录的;只有在欧洲，数据隐私法在一定程度上限制了这种操作。

当然，不论法律如何，顾客发现自己的数据被人滥用后，都会产生强烈的抵触情绪。

早在 2000 年 9月，亚马逊吃过一次苦头：有一部分顾客发现他们收到的报价更高，因为网站将他们识别为老顾客，而不是匿名进入或是从某个比价网站转接进来的顾客。

亚马逊声称这只是一项随机的价格测试，其呈现出来的结果与老顾客身份之间的关联纯属巧合。

话是这样说，它还是叫停了这项操作。

在商业规则下运行加在推荐算法之上的种种商业规则，旨在防止算法给出愚蠢的推荐，并帮助在线零售商在不失去你信任的前提下实现营业额的最大化。

最起码，推荐系统应该避免人们说的超市悖论(Supermarket Paradox)。

例如，差不多每个去超市的人都喜欢吃香蕉，也经常会买一些。

那么，推荐系统该不该向每一位顾客都推荐香蕉呢?答案是否定的——这样做既帮不上顾客，也提高不了香蕉的销量。

所以，智能的超市推荐系统始终会包括有一条规则，明确地将香蕉排除在推荐结果之外。

这个例子可能听起来没什么，但在我们早期经手的一个项目中，我们的推荐系统就曾经向几乎每一个到访我们网站的人推荐披头士的《白色专辑》(White Album)。

从统计学的意义上讲，这是个很棒的推荐：顾客此前都没有从这个电子商务网点购买过这张专辑，而大多数顾客对《白色专辑》的评价都很高。

尽管如此，这个推荐仍然是无效的——任何一个对《白色专辑》感兴趣的人都已经有了一张了。

当然，大部分的推荐规则都是更加微妙的。

比如说，当约翰在 9 月份在 Netflix 索动作影片时，结果中不会出现《复仇者联盟》(T he Avengers)，因为这部大片在当时还没有租借版，这样的推荐结果不会让 Netflix 有钱赚。

因此，约翰被导向了《钢铁侠 2》(Iron Man 2)，这部片已经可以用流媒体播放了。

其他的规则还包括禁止推荐为招徕顾客而亏本销售的商品(loss leader);反过来，鼓励推荐滞销品。

在经营Net Perceptions期间，我们就曾与一位客户合作，他利用推荐系统来识别库存积压商品的潜在客户，取得了相当大的成功。