基于微博用户的协同过滤系统--以python为例

基于微博用户的协同过滤推荐系统--以python为例

袁玉芳 12214043

（师大学数学与统计学院 221116）

摘要微博即微型博客，是一种通过关注机制分享即时信息的社交网络平台.在经过十几年的发展，到2013年时新浪微博的注册量就已经达到了5.36亿.微博以其独特的运行方式吸引了世界各地的网民，在中国微博也获得了大量网友的青睐.本文是根据部分随机微博用户所关注的标签，通过计算各用户间的相关系数，将基于用户的协同过滤技术应用到微博信息推荐中，对目标用户推荐其潜在关注东西.

关键词微博；推荐系统；协同过滤；python

0 引言

从2006年twitter的建立，到2007国第一个具有微博色彩的饭否网，微博开始了轰轰烈烈的发展.越来越多的人开始使用微博.关注功能的使用带来的是一场微博人气的大战，名人开始使用微博聚揽人气，草根也怀有成为名人的梦想，网红群体的出现刺激大量籍籍无名的群众，从默默无闻到一夜成名往往就在不经意之间.

微博用户可以通过客户端发布在140字（包括标点符号）的文字信息，并实现即时分享.随着时间的发展，140字的限制也已取消.可以传播的信息量也就越大.微博的关注功能使得用户可以获得他人的微博信息，因此如何从这庞大的信息中获取用户希望看到的信息具有重要意义.近几年，研究微博推荐系统的论文有很多，比如华南理工大学林文旋的硕士论文，基于用户兴趣的微博个性化信息推荐研究[1]，还有工业大学汤斌的硕士论文，基于微博的知识词条推荐算法研究[2]，华中科技大学硕士论文，微博协同过滤推荐系统的设计与实现[3]等等.推荐系统使软件的实用性大大提高，它使得用户自动获取有用的信息，极减少了搜索时间.在Google之前的众多浏览器之所以输给Google,正是由于Google研发了推荐系统，极大满足了用户需求.之后搜索引擎的开发大都注重了推荐系统的研发.更为突出的是，现在流行的app基本也都含有推荐这个功能，如淘宝，京东，亚马逊等等.

而python软件以其简单的语法，强大的功能征服了很多人，它不仅含有很多功能的模块以供使用，更可以融合其他语言，使其他语言在平台上运行.但是因为相关书籍大都是英文，中文译本较少，所以python在国可找到的资料并不是很多，应用也并不是很广泛，但不能否认的是它的确是一款实用且强大的计算机编程软件.

互联网发展至今已达到了令人惊讶的地步，它给用户带来了大量的信息，满足了用户在信息时代对信息的需求，但网络的迅速发展所带来的海量信息，使无法直接从中获得自己真正有用的那部分，所以信息的使用效率反而降低了，这就是所谓的信息超载（informationoverload）问题.

而推荐算是在这样的情况下火起来的，因为互联网的信息爆发有了大量的数据，这使得推荐系统有了用武之地.与传统搜索引擎相比，推荐系统通过研究用户兴趣偏好，进行计算，发现用户的潜在兴趣，从而使用户获得期望信息.就比如假如我们直接搜索，我们可以通过搜索引擎获得精准的信息，可当我们不知道自己想要找什么的时候，推荐系统的优势就显现出来了.

随着 web2.0 技术的日益成熟，为了给用户提供更好的体验进而达到一些商业目的，越来越多的系统提供个性化推荐服务，比如Netflix, Google.推荐算法也得到了越来越多的学者的关注和研究.推荐系统使用户不需要主动查找自己感兴趣的信息，也不用填写意向表格，系统将直接根据用户的历史行为信息为用户进行新信息的推荐.

推荐系统的目的是为每个用户推荐“个性化”的项目.（推荐系统旨在给不同的用户推荐符合其个性化要求的项目）1995年3月（20世纪末），卡耐基.梅隆大学的RobertArmstrong等人在美国人工智能协会上提出了个性化导航系统Web Watcher；斯坦福大学的MarkoBalabanovic 等人在同一会议上推出了个性化推荐系统LIRA.经过不间断的发展，（在美国人工智能协会上来自卡耐基梅隆大学的罗伯特.阿姆斯特朗和斯坦福大学的马克。巴拉巴诺维奇俩人分别推出了个性化导航系统Web Watch与个性化推荐系统LIRA，随着信息化、大数据时代的全面到来）推荐系统现在正在我们生活中发挥重要作用。它将用户的信息与推荐对象的信息相匹配，然后利用推荐算法进行计算，找到相似的物品推荐给用户。

Python是一种面向对象，解释型计算机程序设计语言，由Guido van Rossum于1989年底发明.其语法简介明了，具有丰富和强大的类库，它能够将其他语言制作的各种模块如C,C++轻松的在一起.Python代表着简单主义，因为其简单的语法，它很容易上手.

作为一款计算机程序设计语言，python几乎可以被应用于任何地方.从软件质量上看，python的代码设计致力于可读性，这使得python具备了优秀的可重用性和可维护性.即使代码非本人所写，python代码的一致性也保证了其代码容易理解.Python的开发效率相对于其他语言来说更高，它的代码大小往往只有C++或Java的1/5-1/3，因此无论是录入还是调试，维护都仅需要少量代码.且python程序可立即运行，无需编译.

Python置了众多预编译并可移植的功能模块，这些模块即标准库.标准库支持一系列应用级的编程任务，涵盖了从字符模式到网络脚本编程的匹配等方面，此外还通过自行开发的库或者众多第三方应用支持软件进行扩展.

Python相较于其他语言来说属于高级语言，在编写方面以简答著称，但这并不意味着python 编写复杂程序上面会非常吃力.反而Python可以做很多事情，很多著名的包括YouTube就是Python写的；也可以做网络游戏的后台，很多在线游戏的后台都是Python开发的，比如EVE Online这款大型多人网络游戏.NASA，Los Alamos也使用python实现科学计算任务，等等.

在本篇文章中选择以python来进行设计正是因为python的简单容易上手，且功能强大，它可以用其简单的语言实现复杂的功能. 本文所研究的就是以微博用户关注的信息为容，使用python软件，利用协同过滤的方法想用户推荐其未关注的容.

1协同过滤推荐系统

协同过滤推荐（Collaborative Filtering Recommendation）技术是推荐系统中应用最早和最为成功的技术之一.协作型过滤算法通常选择对一大群人搜集其偏好，从中找到与目标用户品味相近的一小群人.算法会对这一小群人的关注信息进行考察，并组合在一起构造出一个推荐列表，这个推荐列表的信息是经过排名的，我们可以通过排名看出用户可能感兴趣的信息的可能性大小.

协同过滤是基于这样的假设：如果一个用户想要找到他真正感兴趣的容，可以有这样的方法：首先找到与此用户有相似偏好的用户，然后将这些用户感兴趣的容推荐给此用户.这个基本思想非常易于理解，比如我们在日常生活中，想要了解一件商品，或者电影，歌曲等，我们一般会选择向朋友进行询问，然而在这些朋友中有些人的品味比较高，有的人不太好，我们就会选择与我们品味相似的朋友，让他们进行推荐.协同过滤推荐系统正是把这一思想运用到电子商务中来，以给使用者带来更好的使用体验.

基于协同过滤的推荐系统是用户的角度来进行推荐的，自动获取推荐结果，即用户获得的推荐是系统是从用户的搜索，浏览历史中得来的，不需要用户使用搜索引擎一直搜素直到找到适合自己兴趣的信息，也不用填写调查表格之类的东西.

协同过滤方法一般分为两类：基于存的（也叫基于近邻的）方法和基于模型的方法.其中基于近邻的协同过滤又可以分为基于项目的协同过滤（item-based collaborative filtering , IBCF）和基于用户的协同过滤（user-based collaborative filtering , UBCF）.

1.1收集用户偏好