微信公众号信息采集

微信公众号信息采集
产品简介：
微信公众号信息采集（微爬虫）系统，是由厦门数腾信息科技有限公司研发的，专注于微信公众号的搜索、监控、采集及分类筛选的系统。

该系统在移动互联网领域信息采集、信息监控方面的全新产品，具有公众号覆盖全面、公众号信息采集快捷、多维角度分类筛选等特点。

公司简介：
微信公众号信息采集（微爬虫）系统是由厦门数腾信息科技有限公司所研发的，是国内权威的大数据爬虫系统、互联网商业情报挖掘系统及舆情系统软件的研发机构。

公司拥有多年的互联网数据挖掘与信息处理经验，在互联网信息抓取、自然语言分析和数据分析方面有深厚的技术背景。

厦门数腾信息科技有限公司团队包含各个领域的专业人员和互联网技术专家，有睿智的市场策划团队、优质的测试团队、专业的调研团队以及经验丰富的程序和客服人员等。

数腾软件成立至今，一直致力于舆情监测相关技术的研发与创新，为政府、企业、机构以及各类组织提供全方位的舆情监测、分析报告、危机预警和互联网危机公关处理为一体的整体解决方案。

主要功能：
1、关键词管理：创建关注的关键词、系统将自动搜集及监控含有此类关键词的微信公众号。

2、公众号查询：查询具体关注的公众号，系统自动运算公众号的发文频率。

3、文章查询：文章内容检索。

大数据支撑平台：
平台包括：调度监控引擎、UIMA流计算平台、分布式计算平台、发布工具和建模工具。

数据分析：
1、非结构化数据抽取：网页上的信息多为非结构化文本数据，通过独特的数据抽取技术，能转换为结构化的可索引结构；并支持文档矢量化特性，供各类文本分析算法使用。

2、互联网网页智能清洗：普通网页上超过70%为杂质信息，通过适用于网页的智能清洗技术，我们可以获取到准确的标题、正文等关键内容，排除掉各类网页广告和无关信息，提高阅读及分析精度。

3、网页模式挖掘：对同一类的网页，系统可以自动发现其模式，并根据该模式进行清洗及信息提取。

我们拥有完全无监督的机器学习算法，极大的提高了生产力及客户操作的便利性。

4、指纹去重及转载分析：每一篇文档都拥有其特征，我们将其特征编码为语义指纹，存储在系统中；通过比对指纹，可以获得重复信息，并跟踪同样文章的转载情况。

对于更为复杂的应用场景，同样支持基于文本相似度的比对算法。

5、文本相关性挖掘：在内容发布网站、网页广告、文档库、案例库等应用中，有时需要提供与当前内容相关的其他内容，此时需要对指定数据库进行文本相关性挖掘。

我们提供基于海量文本数据库的文本相关性挖掘算法。

分布式云爬虫技术：
数腾分布式云爬虫系统具有效性、高效性、可扩展性、可控性的提点，技术路线主要有：
1、爬虫系统基于数腾分布式流数据计算平台实现，执行采集任务，最大限度利用资源，平衡资料利用率。

2、在对某些网站进行高频率采集时，可能会遭到对方的IP封锁。

针对这种情况，采用多条adsl线路，并使用adsl池技术动态切换爬虫IP达到破解封锁的需求。

3、通过模板技术实现智能提取功能，在模板中定义数据提取规则，对数据按需求格式化存储。

采用xpath选择器，jsoup选择器，正则表达式等提取采集信息中所关心的数据。

如果网站的模板发生了改变，在处理过程中会发送错误信息至爬虫运维平台，运维人员监控到该错误信息后，即可重新配置模板。

4、当爬取资源不足时，可以随时增加机器至数腾云爬虫系统中而不影响当前的系统运行。