推荐引擎-信息暗海的领航员

百分点推荐引擎：信息暗海的领航员随着互联网的出现，我们可以获取的信息总量一直以指数的形式爆炸式的增长：目前已知的网页超过5000亿，而仅仅淘宝上就有接近10亿件商品。

遗憾的是，我们分辨甄选信息的能力并没有相应的飞速增长，如同隐匿在宇宙深处的暗物质一样，绝大多数信息对于普通用户来说就是暗信息——我们有可能对这些信息很有兴趣，遗憾的是没有领航员的帮助，我们无法看到这些信息。

这个在很多学术文献中被称为“信息过载”的问题，正是目前互联网发展中遭遇到的最棘手最重要的问题！推荐引擎被认为最有希望解决信息过载的问题。

推荐引擎的本质是通过分析用户历史的活动记录，包括音乐下载、视频观看、图书购买、网络约会、朋友互动、论坛评论等等，分析用户的个性化喜好，主动向用户推荐他们感兴趣的信息。

推荐引擎的精髓是个性化——通过分析群体的数据，得到每一位用户的个性化喜好，并据此进行个性化的推荐。

事实上，北京大学光华管理学院苏萌教授在其最近出版的专著《个性化：商业的未来》一书中明确指出，个性化是商业，尤其是信息服务业的未来。

很多互联网用户最早接触推荐引擎都是通过Amazon的推荐服务，因此也形成了一些刻板的印象，譬如推荐引擎服务的都是电子商务公司，推荐引擎采用的都是相似性的挖掘方法（例如关联规则和协同过滤），推荐引擎给出的“看过还看过，买过还买过”这类的推荐通过简单的数据库查询就可以完成。

本文作者代表了部分业界和学术界从事个性化推荐开发应用和理论研究的声音。

我们正在经历个性化推荐技术构筑未来商业模式的历史的一幕，与此同时，我们注意到了很多读者对于个性化推荐的憧憬和误解。

本文将以国内领先的推荐引擎提供商为实例，通过对其架构和算法的介绍，以及展示基于个性化推荐技术的广泛丰富的由应用场景和产品，呈现给读者较完整的有关个性化推荐的轮廓。

架构做为一个商用的推荐引擎，良好的架构设计是服务稳定可靠和扩展的基础。

下面我们以百分点推荐引擎为例，介绍推荐引擎应有的组件。

图1：百分点推荐引擎架构图。

如图1所示，百分点推荐引擎分为存储层，业务层，算法层和管理层四大功能组件。

每个组件内部又可以细分为更小的单元，或者服务模块，提供基本的存储或运算服务。

单元与单元之间尽量解耦和，仅通过API协议进行协作，这样一个单元的升级变动带来的影响是可控的。

存储层。

存储层提供基本的数据存取服务，并做好备份和灾难恢复工作，以保证数据的安全可靠。

根据不同的应用需求，存储层细分为Redis集群，Membase 集群，MySQL集群和Hadoop/HDFS四类。

其中Redis和Membase作为缓存，提供高效的读写操作以便支持实时计算；MySQL集群用于固化缓存中的数据；Hadoop/HDFS则为海量数据的存储和分析提供支持。

算法层。

这是推荐引擎最核心也是最具挑战性的部分，在百分点推荐引擎中这一层是一系列推荐算法的集合，从简单的基于相关的联规则挖掘，用户协同过滤，产品协同过滤，局部扩散与热传导算法等等，到复杂的考虑标签、内容和属性的统计学习模型，剖分用户长短期兴趣的实时自适应算法等等。

算法层并不关心具体的业务逻辑，而只负责数据处理和结果返回。

这就使得推荐算法具有了最大的通用性，也保证了前端的推荐功能模块可以根据逻辑需求综合多个算法。

业务层。

这是推荐引擎中直接面对客户的部分，这一层的主要职责是：收集客户提交的数据，并将其转换为各个推荐算法需要的输入，交由推荐算法计算；根据客户提交的推荐请求，向一个或几个推荐算法请求数据，并转换为客户接受的数据格式。

业务层是连接具体需求与推荐算法，真实世界与计算机世界的桥梁。

管理层。

管理层负责整个系统的服务管理，服务监控和应急处理。

这是推荐引擎的控制中枢，直接决定了推荐服务的质量和体量。

当前，百分点推荐引擎每个请求的平均响应时间在200毫秒左右，每天处理50,000,000次左右的推荐请求，每天通过推荐引擎产生价值4,000,000多元的订单，并且这个数字还在快速不断上升中。

推荐引擎的内部升级维护完全不能影响对外的服务提供。

这些指标的达成都是以高可靠的管理层为基础的。

目前，百分点推荐引擎为200多家客户服务，这些客户来自于电子商务零售业、团购业、互联网资讯业等多个行业，业务需求也千差万别。

百分点推荐引擎能在跨度如此之大的应用场景中游刃有余，正是源于良好的架构设计。

案例正如我们在引言中提到的，推荐引擎的应用并不仅仅局限于商品的推荐。

目前，以个性化推荐为主营业务的公司，除了本文着重介绍的百分点科技以外，还有Baynote、ChoiceStream、Goodrec等等。

很多公司自身也开发了推荐引擎。

表1给出了若干有代表性的例子，从中我们可以看到，信息推荐实际上是一个非常广泛的例子，可以应用到方方面面。

下面，我们以百分点科技和其合作伙伴有代表性的推荐引擎应用场景为例，为大家展现商业化推荐引擎应用的图景。

表1：有代表性的利用了推荐引擎服务的公司及其所推荐产品示例，更多的例子可以参考苏萌等人的著作《个性化：商业的未来》推荐引擎服务的公司推荐信息类型Amazon 书/其他商品Douban 书/电影Facebook 朋友WeFellow 朋友SinaWeibo 关注对象Nanocrowd 电影Jinni 电影Digg 新闻Zite 新闻Netflix CD/DVDCDNow CD/DVDeHarmmy 约会Chemistry 约会Perfectmatch 约会CareerBuilder 工作Monster 工作Pandora 音乐Mufin 音乐StumbleUpon 网页图2是推荐引擎最常见的展现形式——“看过还看过”与“买过还买过”推荐栏，与此类似的还有“看过的最终购买”，“买过还看过”等等，本文不再赘述。

图2是来自于百分点合作伙伴“新七天电器网”的真实推荐，事实上，最终这两个用户都购买了推荐栏中的产品。

读者或许已经注意到了，“看过还看过”推荐栏的产品品类比较集中，这是因为用户在这个“选择-购买”的阶段，其行为具有“聚焦性”，大多围绕同一品类产品进行比较遴选。

与此相对，当用户有了购买行为后，“买过还买过”或者“买过还看过”的产品，就具有一定的“发散性”。

事实上，很多用户都不会购买两个同品类的产品——你会一次买两只篮球吗？需要特别提醒注意的是，这类推荐栏绝对不是简单的数据库查询就能得到的，除了要对数据进行严格的异常检测和去噪去偏处理，在计算商品推荐分数的时候，往往都是基于内容、行为、网络结构等等因素的多种推荐算法的组合应用，而组合应用中各成分的权重以及各成分自身的动态参数选择都需要强有力的自适应后验系统（根据用户行为反馈实时进行学习优化）和A/B测试系统（将用户随机分为两类或多类，每类展示不同算法的结果）支持。

图2：“看过还看过”与“买过还买过”推荐栏示意图。

图3给出了一个个性化着陆页的示意图，所选用的结果摘自百分点科技合作伙伴“酷运动”网站上该类应用的真实效果。

该应用的基本思路是，通过分析注册用户或存放有相关Cookie用户最近数次在“酷运动”浏览和购买记录，在用户下一次登陆“酷运动”首页的时候，就给出个性化的展示——原则上每一个用户登陆酷运动看到的首页都不一样！如图3所示，用户A上月曾经在酷运动上浏览（但未购买）过两款鞋，本次登陆酷运动后首页中栏就向他展示了关联的推荐；用户B几天前曾经在酷运动上看过裤子和衣服，他所看到首页就和A很不一样。

事实上，百分点科技目前积累和拥有了超过200家电商共计1.45亿可识别用户的近百亿次浏览和购买偏好记录，在客户选择加入联盟的情况下，全网打通的用户兴趣图谱将帮助其服务的每一个企业显著提高用户转化率与销售额——一个在耐克网站上浏览了很多漂亮慢跑鞋但是因为价格太贵没有购买的客户到了酷运动说不定会接受到称心且便宜的慢跑鞋推荐，这对于用户难道不是一种难得的惊喜吗？这种方式也可以部分解决推荐引擎中最为困难的“冷启动问题”，是个性化推荐未来发展的方向之一。

图3：个性化着陆页示意图。

图4给出了百分点科技为其合作伙伴“猛买网”提供的电子邮件营销（EDM）的个性化服务。

该服务具有和上面案例不同的形式，但是其技术内核依然是个性化推荐。

由于采用了个性化的标题和称谓，该邮件成功通过垃圾邮件过滤的比例是原来的3倍左右，而其被打开的概率是原来的4-5倍，总体打开率可以达到原来的十多倍——这不是20%或者30%的提升，甚至不是一倍两倍，而是数量级的提升，其惊人的效果完全来自于个性化的精髓！图4：个性化电子邮件营销示意图。

总结本文简单介绍了推荐引擎发展的背景和意义，并以国内领先的推荐服务提供商百分点科技为例，介绍了推荐引擎实施的架构和三个典型案例。

希望各位读者能从这篇短文中获得对推荐引擎的初步了解。

最后，我们对本文希望告诉读者的信息做一个简要的小结：（1）信息过载是互联网发展至今最具挑战性也最重要的问题之一；（2）推荐引擎是有望解决信息过载的问题，其个性化推荐的核心技术将驱动并铸就未来商业的领导模式；（3）推荐引擎并不简单局限于商品推荐，而是一种可以适用于丰富场景并衍生出丰富产品的通用技术系统；（4）快速高效处理海量数据的架构方案是推荐效果的保证；（5）成功的推荐引擎必然建立在若干高效算法智能融合的基础之上。

作者介绍Terry Lau博士，北京大学数学科学学院，博士期间主要研究软件理论，程序语言以及形式化方法，曾在国外学术刊物上发表多篇论文。

现任北京百分点信息科技有限公司架构师一职，负责百分点推荐引擎的设计和研发。

pr@Felix Zhang清华大学电气工程硕士，百分点公司首席运营官兼技术副总裁。

长期研究推荐系统、数据挖掘和商业智能在互联网、电子商务领域的应用。

shaofeng.zhang@Tao Zhou电子科技大学，互联网科学中心主任，教授，博士生导师。

tao.zhou@百分点介绍：北京百分点信息科技有限公司（）拥有目前国内最专业的推荐引擎技术平台、最大的跨网站消费偏好平台，专注为电子商务企业提供站内流量转化和商业智能分析的整体优化解决方案。

百分点的产品包括百分点推荐引擎（BRE）和百分点分析引擎（BAE），这些产品旨在通过分析全网消费偏好，为电子商务企业提供精准的营销服务，提高电子商务网站的流量转化率、客单价，提升客户购买的品类数和多样性，延长客户生命周期，从而提高电子商务企业的核心竞争力。

百分点于2009年7月在北京成立，在沈阳、上海、深圳设有分支机构，并与电子科技大学互联网科学中心合作，在成都建立了国内首个个性化推荐系统联合研究所，该研究所专注于个性化推荐系统、消费心理学、交叉推荐等相关研究。

2011年7月，百分点获得IDG资本和名力中国成长基金720万美元的投资。

目前百分点已经和凡客诚品、库巴网、唯品会、58团购、走秀网、红孩子、麦包包、玛萨玛索、途牛网、果壳网、天极网等在内的近300家知名电子商务企业和资讯类网站成为合作伙伴。