基于Python的网络爬虫程序设计

该爬 虫 系统主 要 由三 个模 块： 页面抓 取 模块、页面分析模块 、数据存储 模块，三个模 块之间相互协作 ，共 同完成 网页数据 的抓 取。
（１）爬虫实现流程如 图 １所示 。 （２）打 开 某 信 息 网 招 聘 信 息， 该 网 站
１．２ 聚 焦 型 爬 虫 该 爬 虫专注 某 一方 面， 只搜索 事 先定 义
根 据爬 取 的对 象、使 用 的结 构及 技术 ， 爬 虫可分 为：
Ｐｙｔｈｏｎ具 有丰 富 的标 准库 和强 大 的第 三 方库 。它常被昵称为胶水语 言，能够 和其他语 言制 作的各种模块 （尤其是 Ｃ／ｃ＋＋）很轻松地 联 结在一起，易于扩展 。常见 的一种应用情形 是，使 用 Ｐｙｔｈｏｎ快速 生成 程序 的原型 （有时 甚至是程序的最终界面 ），然 后可 以用更合适 的语言改写其 中有特别 要求 的部分， 比如对于 性能要求特别高的 ３Ｄ游戏中的 图形渲染模块 ， 完全可 以用 Ｃ／Ｃ＋＋重写封 装为 Ｎ ｏｎ可 以调 用的扩展类库 。
该爬 虫 一般 需要 登录 提交 数据 ，才 能进 入页面提取信息 。
利 用网 络爬 虫 ，能够 帮助 用户 解 决上 网 浏览过程 中的一些信息的快速抓取及保存 。比 如 日常 上网浏览网页过程 中，经常会看 到一些 喜欢 的图片，希望保存下来作 为素材 使用，一 般 的方法 就是通 过单击 鼠标右键选择 另存 为来 保存图片 ，如果批量保存 图片工 作量会比较大， 而利用设计 的网络爬虫来爬取 图片 ，自动化 处
本 文通 过 Ｐｙｔｈｏｎ语 言来实现 一个 简单 的 聚焦爬 虫程序 ，把需要 的招聘信 息爬取保存到 本地。该爬虫的功能是爬取 某信息网上关于互 联网职位的信息 ，并将其 发布的招聘信息保存 在 Ｅｘｃｅｌ文档 中。
３．１ 解 决 Ｗｈｅｒｅ、Ｗｈａｔ、 Ｈｏｗ的 问题
（１）Ｗ ｈｅｒｅ：．爬 哪 里 ，确 定 要 抓 取 的页 面 。 解决这个 问题 由用户对数据 的需求来决定
程序设计 ● Ｐｒｏｇｒａｍ Ｄｅｓｉｇｎ
基于 Ｐｙｔｈｏｎ的网络爬虫程序设计
文／郭 丽 蓉
网络 信 息量 的迅 猛 增 长，对 如何 从海 量 的信 息 中准确 的搜 索 到用 户 需要 的信 息提 出了极 大 的
挑 战。 网络爬 虫具有 能够 自动 提 取 网 页信 息 的 能 力 。 本 文 根 据 某 信 息 网的特 点 ，提 出 了一 种 基 于 Ｐｙｔｈｏｎ的聚 焦爬 虫程序 设 计。 实 验 结 果表 明：本 程序 具有 针 对性 强 ，数据 采集速度快 、简单等优 点， 有 利 于对 其它 的数 据 进行 后续 的 挖 掘 研 究 。
分析代 码 过程 中 ，可利 用开 发者 工 具确
１．３增 量 型 爬 虫
（２）提供功能强大 的爬 虫框架 。 （３）丰 富 的 网络 支 持 库 及 网页 解 析器 。
定 每 个 数 据 对 应 的 元 素 及 Ｃｌａｓｓ名 称 。例 如 本 页面 的公 司名 称、职 位 、薪水 对应 的 元 素及
３．２具体 实施
１．１ 通 用 型 爬 虫
该爬 虫又 称为 全 网爬 虫，主 要用 在搜 索 引擎 ，从初始 的 ＵＲＬ到全 网页 面，但 需要的 存储容量大 ，速度要求快 ，工作 性能强大。
在 使用 之 前，必 须搭 建好 使 用环 境 。到 Ｐｙｔｈｏｎ官 网下 载针 对用 户所 使 用 的操作 系 统 Ｐｙｔｈｏｎ版本来安装 ，安装完成后 需要 设置 环境 变量便 于启动 Ｐｙｔｈｏｎ。同时可 选择 一款合适的 编辑工 具来完 成爬虫的编写。
数 据 存储模 块
洁清晰 的开源编程 语言，特色之一是强制用 空
白符 （ｗｈｉｔｅ ｓｐａｃｅ）作为语 句缩进 。
１ 爬 虫 技 术
网 络 爬 虫， 又 称 网 页 蜘 蛛 （ｗｅｂ ｓｐｉｄｅｒ），是一 个功 能强大 的能够 自动提 取 网 页信息 的程序 ，它模仿浏览器访 问网络 资源 ， 从而获取用户 需要的信息 ，它可 以为搜索 引擎 从万维 网上下载网页信息 ，因此也是搜 索引擎 的重要组成 部分。
（２）Ｗｈａｔ：爬 什么 ，分 析上述 页面，确 定从页面 中爬取 的数据 。
（３）Ｈｏｗ：怎么爬 ，可使用 Ｐｙｔｈｏｎ强大 丰富 的标准库及 第三 方库来完成 。这是爬 虫的 核 心部 分 。 尤 其 是 对 网 页 的 解 析 ， 可使 用 正 则 表达 式、ＢｅａｕｔｉｆｕｌＳｏｕｐ、Ｉｘｍｌ来解 析 网页，三 种 方法 各有千秋，使用时可根据用 户的熟练程 度和 需要选 择一种适合的解析方法 。
每 隔 一段 时 间更新 ，重 新爬 取 ，更新 数
本文 中的爬虫 是在 Ｐｙｔｈｏｎ ３．６环境下 调试 Ｃｌａｓｓ如 表 ｌ所 示 。
据库 。
完 成 的 。
（３）确定 爬虫方 法，导入程 序 中所 用到
１．４ 深层 爬 虫
３爬虫案例
的库 。对 服 务器 发 出请求 ，打 开 网页 ，需要 使用 ｒｅｑｕｅｓｔｓ库，本爬 虫中分析 网页使用 的是
目前 Ｐｙｔｈｏｎ的版 本 有 ２．Ｘ 和 ３．Ｘ。 两 者 主要在语法、编码 、性能 、模块上有些不 同。
使用 Ｐｙｔｈｏｎ开发爬虫的优点 ：
ＵＲＬ是 爬虫 主要 的处 理对 象 ，打 开互 联 网职 位页面 并分 析网页源代码结构 ，代码 如图 ２所 示 。
的 关键 信 息 。
（１）语言简洁 ，使用方便 。
表 １：各个数据定位的 Ｃｌａｓｓ
理 ，快速高效。 同时 ，利用爬 虫可以获取大量 的感性认识中得不到有价值数据 ，为一些决策 提 供 依 据 。
２ Ｐｙｔｈｏｎ概 述
目标 患网
Ｐｙｔｈｏｎ语 言是一 种 功能 强大 面 向对 象 的
【关键 词】 网 络爬 虫 Ｐｙｔｈｏｎ
解释型计算机程序 设计 语言，能有效而且简单 地实现面 向对象编程 。￣ｔｈｏｎ语言属于语法简