爬虫技术是什么 - 360文档中心

合集下载

相关主题

爬虫技术是什么

爬虫就似乎对于做数据分析、人工智能、SEOSEM的人来说非常熟悉，是日常工作中都需要用到或者得非常熟悉的一种数据采集的技术。

爬虫技术是什么

互联网上有着无数的网页，包含着海量的信息。但很多时候，无论出于数据分析或产品需求，我们需要从某些网站，提取出我们感兴趣、有价值的内容，但是我们不可能去每一个网页去点去看，然后再复制粘贴。所以我们需要一种能自动获取网页内容并可以按照指定规则提取相应内容的程序，这就是爬虫技术。

爬虫技术能用来做哪些好玩的事情

利用爬虫技术挖掘社交网站，比如有知乎大牛挖掘Twitter数据，然后分析一般大家几点睡觉，通过统计一下sleep这个词在twitter上出现的频率。又比如如何判断一个用户的职业，验证六度分隔理论, 以及网络扩张速度的建模。

利用爬虫技术建立机器翻译的语料库。具体思路可以参考知乎大V刘飞的文章：网上双语的资源还是挺多的，利用爬虫技术在爬取网页时对当前网页进行简易判断，如果有双语嫌疑，则收录整理出来双语的正文；如果没有，弃用；

将正文内容进行详细判断，确定是双语文本，则进行段落对齐和句子对齐，整理到语料库；如果没有，弃用；对当前网页的所有链接网页，重复步骤。抓取大量的这种数据之后，就可以建立一个庞大的语料库了。

3、利用爬虫技术预测票房。利用爬虫技术抓取新浪博客某部电影相关的数据，然后利用微博上大家表现出来的，对某部电影的期待值和关注度，来预测其票房。

4、利用爬虫技术抓取数据训练AI，比如知乎用户grapeot爬了知乎12万用户的头像，把长得像的头像放在一起，方便浏览，然后搜集了用户的点击，预测出来这是你们（平均）最喜欢的人长的样子：然后根据点击数据训练出来了一个机器人，可以自动识别美女。

利用爬虫技术抓取数据然后做成API接口，比如知乎用户张航把学校所有重要的在线服务用爬虫集合成了一套JSON API ，然后开发成了App，并且加了一个类似微信朋友圈的功能，可以说是校友圈吧。全校同学和同班同学都可以通过它互相交流，和微信不同的是，同班之间的交流会有消息推送。

利用爬虫技术批量且自动化得获取和处理信息。对于宏观或者微观的情况都可以多一个侧面去了解（不知道能不能帮统计局一些忙）。比如获得各个机场的实时流量、获得热点城市的火车票情况、各种热门公司招聘中的职位数及月薪分布、某公司的门店变化情况等等信息获取以及做数据分析处理。

以上只是爬虫技术的一些应用，爬虫技术还可以用来做很多好玩有趣的东西，所以感兴趣的朋友可以去学习下爬虫相关的技术，比如java，python之类的程序语言，当然也可以利用市面上操作比较简单的爬虫软件。