Java网络爬虫简单实现
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
首先介绍每个类的功能：
DownloadPage.java的功能是下载此超链接的页面源代码.
FunctionUtils.java 的功能是提供不同的静态方法，包括：页面链接正则表达式匹配,获取URL链接的元素,判断是否创建文件,获取页面的Url并将其转换为规范的Url,截取网页网页源文件的目标内容。
HrefOfPage.java 的功能是获取页面源代码的超链接。
UrlDataHanding.java 的功能是整合各个给类，实现url到获取数据到数据处理类。UrlQueue.java 的未访问Url队列。
VisitedUrlQueue.java 已访问过的URL队列。
下面介绍一下每个类的源代码：
DownloadPage.java 此类要用到HttpClient组件。
1.package com.sreach.spider;
2.
3.import java.io.IOException;
4.import org.apache.http.HttpEntity;
5.import org.apache.http.HttpResponse;
6.import org.apache.http.client.ClientProtocolException;
7.import org.apache.http.client.HttpClient;
8.import org.apache.http.client.methods.HttpGet;
9.import org.apache.http.impl.client.DefaultHttpClient;
10.import org.apache.http.util.EntityUtils;
11.
12.public class DownloadPage
13.{
14.
15. /**
16. * 根据URL抓取网页内容
17. *
18. * @param url
19. * @return
20. */
21. public static String getContentFormUrl(String url)
22. {
23. /* 实例化一个HttpClient客户端 */
24. HttpClient client = new DefaultHttpClient();
25. HttpGet getHttp = new HttpGet(url);
26.
27. String content = null;
28.
29. HttpResponse response;
30. try
31. {
32. /*获得信息载体*/
33. response = client.execute(getHttp);
34. HttpEntity entity = response.getEntity();
35.
36. VisitedUrlQueue.addElem(url);
37.
38. if (entity != null)
39. {
40. /* 转化为文本信息 */
41. content = EntityUtils.toString(entity);
42.
43. /* 判断是否符合下载网页源代码到本地的条件 */
44. if (FunctionUtils.isCreateFile(url)
45. && FunctionUtils.isHasGoalContent(content) !=
-1)
46. {
47. FunctionUtils.createFile(FunctionUtils
48. .getGoalContent(content), url);
49. }
50. }
51.
52. } catch (ClientProtocolException e)
53. {
54. e.printStackTrace();
55. } catch (IOException e)
56. {
57. e.printStackTrace();
58. } finally
59. {
60. client.getConnectionManager().shutdown();
61. }
62.
63. return content;
64. }
65.
66.}
复制代码
FunctionUtils.java 此类的方法均为static方法
1.package com.sreach.spider;
2.
3.import java.io.BufferedWriter;
4.import java.io.File;
5.import java.io.FileOutputStream;
6.import java.io.IOException;
7.import java.io.OutputStreamWriter;
8.import java.util.regex.Matcher;
9.import java.util.regex.Pattern;
10.
11.public class FunctionUtils
12.{
13.
14. /**
15. * 匹配超链接的正则表达式
16. */