一个电子商务网站商品推荐系统的设计与实现

一个电子商务网站商品推荐系统的设计与实现
目
录Fra Baidu bibliotek
第 1 章 绪论 .................................................................................................................. 1 1.1 背景 .................................................................................................................... 1 1.2 意义 .................................................................................................................... 1 1.3 内容 .................................................................................................................... 2 第 2 章 推荐系统应用场景 .......................................................................................... 4 2.1 推荐系统的应用现状 ........................................................................................ 4 2.2 本推荐系统应用场景 ........................................................................................ 5 2.2.1 应用场景设计 .......................................................................................... 5 2.2.2 应用场景目标 .......................................................................................... 8 第 3 章 现有推荐系统分析 ........................................................................................ 10 3.1 推荐系统的核心问题 ...................................................................................... 10 3.2 常见的推荐算法及其优缺点 .......................................................................... 12 3.2.1 协同过滤推荐算法 ................................................................................ 12 3.2.2 基于内容的推荐算法 ............................................................................ 13 3.2.3 基于知识的推荐算法 ............................................................................ 14 3.2.4 组合推荐 ................................................................................................ 15 3.3 推荐系统中常用的数据挖掘方法 .................................................................. 15 3.3.1 数据预处理 ............................................................................................ 15 3.3.2 分类 ........................................................................................................ 15 3.3.3 聚类 ........................................................................................................ 15 第 4 章 推荐系统整体架构 ........................................................................................ 17 4.1 整体架构设计 .................................................................................................. 17 4.2 应用场景处理流程 .......................................................................................... 18 4.3 推荐数据生成流程 .......................................................................................... 19 4.4 推荐算法设计概述 .......................................................................................... 20 4.4.1 数据噪声处理 ........................................................................................ 20 4.4.2 算法性能考虑 ........................................................................................ 21 4.5 技术选型 .......................................................................................................... 21
一个电子商务网站商品推荐系统 设计与实现
作者：徐东来 邮箱：alaix.xu@gmail.com
二〇一三 年 八 月
版权声明
任何收存和保管本文各种版本的单位和个人，未经本文作者同意，不得将本 文转借他人，亦不得随意复制、抄录、拍照或以任何方式传播。否则，引起有碍 作者著作权之问题，将可能承担法律责任。
XuDongLai Directed by LiuXin
Abstract
This Paper designed the scenes of recommender system in the E-commerce web site, studied the core problem in a recommender system, which is the user, the commodity and the relation between them. Listed the usual recommend algorithm and data mining algorithm used in the existing recommender system. Based on this, this paper designed a recommender system and chose the open source frameworks and developing language used in practice, designed some new recommend algorithm, which considered the user behavior and the property content of commodity together, then it can be thought as a combined recommend algorithm. The algorithm put an emphasis on how to distinguish the noisy user behavior data from the normal data, and reduce the impact when it's running on the online system. At last, this paper designed a series of evaluation indexes of the recommender algorithm, and gave a data analysis on the indexes, which indicated the sales percentage of the recommender system in the whole site can be reached to 9% nearly, the recommender system played an important role in the E-commerce site.
一个电子商务网站商品推荐系统的设计与实现
摘
要
本文分析和设计了一个电子商务网站推荐系统的应用场景， 结合电子商务应用 场景介绍推荐系统的核心问题：用户、商品以及用户和商品的关联方法，对现有 的推荐算法进行总结，分析各自的优缺点和适用场景，以及常用到的数据挖掘算 法。在此基础上设计了一个电子商务网站中推荐系统的整体架构和实践中的技术 选型，并采用多层软件体系结构的角度去分析推荐系统的整体架构，分为数据处 理层、推荐算法层、应用接口层和应用层；推荐算法依据的用户行为数据来源于 Web 日志，本文对 Web 日志的意义、各个处理阶段的存储格式、处理方法和流程 进行了设计和描述，提取出结构化的用户行为数据，并识别和关联用户，对用户 的历史行为进行建模，形成用户偏好数据；在此基础上针对各个推荐应用场景设 计了对应的全新改进的推荐算法，考虑了如何将用户行为和商品内容属性进行综 合，以提供更好的 Top N 推荐排序结果，并重点考虑了如何在数据处理环节识别 和存储噪声数据，如何在算法设计环节降低噪声数据的影响；最后设计了在电子 商务网站中推荐系统的效果评估指标，并结合推荐系统运行后的指标数据分析了 推荐系统在全站的整体效果和不同推荐位置的效果对比。本文是在一个实际的电 子商务网站中设计和实现了推荐系统，并且达到了良好的效果，提升了网站整体 的转化率和用户体验。
Keywords: Recommender, E-commerce recommender, Web log analysis, Users' behavior modeling, Content-based recommender, Collaborative filtering recommender
关键词：推荐系统，电子商务推荐系统，Web 日志分析，用户行为建模，噪声数 据过滤，基于内容的推荐算法，协同过滤推荐
一个电子商务网站商品推荐系统的设计与实现
The design and implantation of a commodity recommender system in a e-commerce Web Site