2015年数学建模B题数据采集步骤

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

2015年数学建模B题数据采集文档教程
今天开始了2015年数据建模大赛,其中B题是互联网+时代出租车资源配置,集搜客GooSeeker已经将录制好获取B题数据的方法和文档教程了,下面的文档教程介绍如何快速获取苍穹上的数据,视频已经发布在集搜客官方网站。

大家也可以进官方群进行咨询,和大家一起头脑风暴,分享建模数据以及讨论方法。

网址:从“苍穹”(滴滴快的只能出行平台)提取数据
操作步骤:
第一步,安装Firefox
第二步,打开火狐的菜单栏,在最顶上,点鼠标右键,选择“菜单栏”
第三步,选择工具-》web开发者-》浏览器控制台
第四步:在火狐浏览器窗口打开你们要抓数据的那个网址目标数据:出租车分布打车难易度打车需求量抢单时间车费和出行轨迹
点击地图,到你们需要的那个尺度
回到浏览器控制台,会看到消息一条条出现了
分析:这些数据实时在变,轨迹能看就能抓下来,但要确定采集频度。

攻略:
大家用MS谋数台的时候,可以玩一个功能:用快捷键冻结页面。

比如,要抓取鼠标悬浮以后出现的内容,要定义抓取规则,首先要冻结住,按alt键,就能选择“文件”菜单,选择“冻结页面”,就能针对冻结页面做抓取规则,目前大家用的这个版本还没有开放抓取svg上的内容,上面那个功能只能玩一下了。

这个地图上的信息都存在于svg上,要定制一些代码。

要做鼠标模拟悬浮和点击,要写一些javascript代码的,一个月前给朋友做过百度指数和淘宝指数的抓取,每做一个要花费挺长时间的调试,难度很大啊,这个抓取要在这么短时间内出数据难度太大了。

用抓包工具,配合手工处理,可能是一条路。

用浏览器的抓包工具看这个东西,似乎定期把一个zip发过来的。

底下是一个进度条,在前进的时候,实时在发包,放到底好像就停止了
抓到的数据是这样的
大家有没有人会用wireshark?这个软件可以把所有消息存下来,只要他们的数
据不加密,就能分解出来,一般会用json格式
好像没有加密
集搜客GooSeeker。

相关文档
最新文档