基于文本及符号密度的网页正文提取方法
一种基于SVM及文本密度特征的网页信息提取方法
Ａｂｓｔｒａｃｔ Ａｉｍｉｎｇａｔｔｈｅｄｉｖｅｒｓｉｔｙ，ｃｏｍｐｌｅｘｉｔｙａｎｄｎｏｎｓｔａｎｄａｒｄｉｚａｔｉｏｎｏｆｗｅｂｐａｇｅｓ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｗｅｂｐａｇｅ ｉｎｆｏｒｍａｔｉｏｎｅｘｔｒａｃｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎＳＶＭ ａｎｄｔｅｘｔｄｅｎｓｉｔｙｆｅａｔｕｒｅｓ．ＷｅｐａｒｓｅｄｔｈｅｗｈｏｌｅｗｅｂｐａｇｅｉｎｔｏａＤＯＭ ｔｒｅｅ， ａｎｄｐｒｏｐｏｓｅｄｆｉｖｅｋｉｎｄｓｏｆｗｅｂｐａｇｅｄｅｎｓｉｔｙｆｅａｔｕｒｅｓａｃｃｏｒｄｉｎｇｔｏｔｈｅｗｅｂｐａｇｅｓｔｒｕｃｔｕｒｅ．Ｔｈｅｎｗｅｕｓｅｄａｍａｔｈｅｍａｔｉｃａｌ ｍｏｄｅｌｔｏｐｅｒｆｏｒｍ ｄｅｎｓｉｔｙｒａｔｉｏａｎａｌｙｓｉｓ，ａｎｄｕｓｅｄａＧａｕｓｓｉａｎｋｅｒｎｅｌｆｕｎｃｔｉｏｎｔｏｔｒａｉｎｔｈｅｓａｍｐｌｅｄａｔａ．Ｔｈｅｄａｔａｍｏｄｅｌ ｔｒａｉｎｅｄｂｙｔｈｅｍｅｔｈｏｄｃｏｕｌｄａｃｃｕｒａｔｅｌｙｒｅｍｏｖｅｎｏｉｓｅｉｎｆｏｒｍａｔｉｏｎｓｕｃｈａｓｗｅｂｐａｇｅａｄｖｅｒｔｉｓｅｍｅｎｔ，ｎａｖｉｇａｔｉｏｎ，ａｎｄ ｃｏｐｙｒｉｇｈｔｉｎｆｏｒｍａｔｉｏｎ．Ａｎｄｉｔｒｅｔａｉｎｅｄｔｈｅｂｏｄｙｉｎｆｏｒｍａｔｉｏｎｂｌｏｃｋ，ａｎｄｐｅｒｆｏｒｍｅｄｎｏｉｓｅｒｅｍｏｖａｌｉｎｔｈｅｂｏｄｙｉｎｆｏｒｍａｔｉｏｎ ｂｌｏｃｋ．Ｅｘｐｅｒｉｍｅｎｔｓｓｈｏｗｔｈａｔｔｈｉｓｍｅｔｈｏｄｎｏｔｏｎｌｙｈａｓｈｉｇｈａｃｃｕｒａｃｙ，ｂｕｔａｌｓｏｈａｓｇｏｏｄｖｅｒｓａｔｉｌｉｔｙ．
使用特征文本密度的网页正文提取
ｔｘ ｒ ｐ ｒｉｎ ａ ｄ ｄ ｎ ｉ ， ｕ ｄ ｎｉ ｅ ｈ ｏ ｔｎ ｎ ｏ ｍａｉｎ ａ ｃ ｒｔｌ．ｈ ｔｏ ａ ａｈ ｒ ｌｗ ｉ ｅ ａ ｄ ｓ ａ ｅ ｏ － ｅ ｔｐ ｏ ｏ ｔ ｎ ｅ ｓ ｔ ｓ ｉｅ ｔ ｓ ｔｅ ｃ ｎｅ ｔｉｆｒ ｔ ｃ ｕ ａｅｙＴ ｅ ｍｅｈ ｄ ｈ ｓ ｒｔｅ ｏ ｔ ｎ ｐ ｃ ｃ ｒ ｏ ｙ ｔ ｈ ｉ ｆ ｏ ｍ ｎ ｐｅ ｉ ． ｐ ｒ ｎｓ ｈ ｗ ｈ ｔ ｉ ｃｎ ｅ ｔａ ｔｃ ｎｅ ｔ ｉｆｒ ａｉｎ ｅ ｅ ｔ ｅｙ ｆｏ ｌｘｔ Ｅｘ ｅｉ ｔ ｙ ｍｅ ｓ ｏ ｔａ ｔ ａ ｘ ｃ ｏ ｔｎ ｎ ｏ ｒ ｍ ｔ ｆ ｃｉ ｌ ｒｍ ｃ ｍｐｅ ｄ ｍｕｔ ｔｐｃ ｗｅ ａ ｅ ｄ ｈ ｓ ｏ ｖ ｏ ｌｘ ａ ｌ—ｏ ｉ ｂ ｐ ｇ ｓ ａ ａ ｎ ｉ ｎ ａ ｗｉｅ ａ ｐ ｉａ ｉｔ． ｄ ｐ ｌ ｂｌ ｃ ｉ ｙ Ｋｅ ｒ ｓ ｔｘ ｅ ｓｔ ；ｅ ｔｆａｕｅ； ｆｒ ｔ ｎ ｅ ｔａ ｔ ｎ； ｂ ｐ ｇ ｙ ｗｏ ｄ ： ｅ ｔｄ ｎ ｉ ｔｘ ｅ ｔｒ ｉ ｏｍａｉ ｘｒｃｉ ｗｅ ａ ｅ ｙ ｎ ｏ ｏ
关键词 ： 文本 密度 ； 本特 征 ； 息抽 取 ； 文 信 网页 Ｄ ０ ７ ８ ． ｓ． ０ —３ １ ０ ０２ ．０ 文 章编 号 ：０２８ ３ （０ ０ ２ －０ １０ 文 献 标 识 码 ： Ｏｈ１． ７ ／ｉ ｎ１ ２８ ３ ． １．０ １ ３ ｊｓ ０ ２ ０ １０ —３ １２ １ ） ００ ０ —３ Ａ 中 图 分 类 号 ： Ｐ ９ Ｔ ３３
Ｃ ｍ ｕｅ ｎ ｉ ｅｉ ｎ Ａ ｐ ｉ ｔ ｎ ￣ 算机工程与应用 ｏ ｐ ｔ Ｅ ｇｎ ｒ ｇａ ｄ ｐ ｌ ａｉ ｓ ｆ ｒ ｅ ｎ ｃ ｏ
２ １ ，６ ２ ） ０ ０４ （ ０
网页文章正文采集方法,以微信文章采集为例
网页文章正文采集方法，以及微信文章采集为例当我们想要将今日头条上的新闻、搜狗微信上的文章正文内容保存下来的时候，怎么办？一篇篇复制粘贴？选择一款通用的网页数据采集器，将会使工作简单很多。
八爪鱼是一款通用的网页数据采集器，可采集互联网上的公开数据。
用户可以设置从哪个网站爬取数据，爬取那些数据，爬取什么范围的数据，什么时候去爬取数据，爬取的数据如何保存等等。
言归正传，本文将以搜狗微信的文章正文采集为例，讲解使用八爪鱼采集网页文章正文的方法。
文章正文采集，主要有两大类情况：一、采集文章正文中的文本，不含图片；二、采集文章正文中的文本和图片URL。
示例网站：/使用功能点：Xpath /search?query=XPath判断条件/tutorialdetail-1/judge.html分页列表信息采集/tutorial/fylb-70.aspx?t=1AJAX滚动教程/tutorialdetail-1/ajgd_7.htmlAJAX点击和翻页/tutorialdetail-1/ajaxdjfy_7.html一、采集文章正文中的文本，不含图片具体步骤：步骤1：创建采集任务1）进入主界面，选择“自定义模式”网页文章正文采集步骤12）将要采集的网址URL复制粘贴到网站输入框中，点击“保存网址”网页文章正文采集步骤2步骤2：创建翻页循环1）在页面右上角，打开“流程”，以展现出“流程设计器”和“定制当前操作”两个板块。
网页打开后，默认显示“热门”文章。
下拉页面，找到并点击“加载更多内容”按钮，在操作提示框中，选择“更多操作”网页文章正文采集步骤3 2）选择“循环点击单个元素”，以创建一个翻页循环网页文章正文采集步骤4由于此网页涉及Ajax技术，我们需要进行一些高级选项的设置。
选中“点击元素”步骤，打开“高级选项”，勾选“Ajax加载数据”，设置时间为“2秒”网页文章正文采集步骤5注：AJAX即延时加载、异步更新的一种脚本技术，通过在后台与服务器进行少量数据交换，可以在不重新加载整个网页的情况下，对网页的某部分进行更新。
从html中提取正文的方法
从html中提取正文的方法从HTML中提取正文的方法随着互联网的发展，网页内容呈现多样化的趋势，其中HTML是最常见的网页编程语言之一。
但是在浏览网页的过程中，我们往往只关注页面的主要内容，即正文部分。
如何从HTML中提取出正文内容，成为了一个非常重要的问题。
本文将介绍几种常用的方法来实现这一目标。
一、基于标签的提取方法HTML文档通常由一系列的标签组成，不同的标签有不同的作用和语义。
在提取正文时，我们可以根据标签的特点来进行筛选。
常用的标签有p、div、span等，这些标签通常用来包裹正文内容。
我们可以通过解析HTML文档，找到这些标签，并提取出其中的文本内容。
同时，我们还可以根据标签的属性进行筛选，比如class属性、id 属性等。
通过这种方法，我们可以较为准确地提取出正文内容。
二、基于文本密度的提取方法正文通常具有较高的文本密度，即正文部分的文字数量较多。
而其他非正文的内容，比如导航栏、广告等，通常具有较低的文本密度。
基于这个特点，我们可以通过计算页面中每个标签的文本密度，来判断其是否属于正文内容。
具体的方法可以是统计标签内文本的字符数或词数，然后除以标签的总字符数或词数，得到文本密度的比值。
根据这个比值的大小，我们可以判断标签是否为正文内容。
通过这种方法，我们可以较为准确地提取出正文内容。
三、基于机器学习的提取方法除了基于标签和文本密度的方法，还可以利用机器学习的方法来提取正文内容。
通过训练模型，我们可以将HTML文档中的各个标签和属性作为特征，将其对应的正文内容作为标签，然后利用已有的正文和非正文数据进行训练。
训练完成后，我们可以使用这个模型来预测新的HTML文档中的正文内容。
这种方法的优势在于可以适应不同的网页结构和样式，提取效果较为准确。
从HTML中提取正文内容是一个比较复杂的问题，但是通过合理的方法和技术手段，我们可以实现较为准确地提取。
基于标签、文本密度和机器学习的方法都具有一定的优势和适用场景，可以根据实际需求选择合适的方法。
基于文本密度模型的Web正文抽取
基于文本密度模型的Web正文抽取朱泽德;李淼;张健;陈雷;曾新华【期刊名称】《模式识别与人工智能》【年(卷),期】2013(000)007【摘要】为从大量无关信息中获取有用内容，正文抽取成为Web数据应用不可或缺的组成部分。
文中提出一种基于文本密度模型的新闻网页正文抽取方法。
主要通过融合网页结构和语言特征的统计模型，将网页文档按文本行转化成正、负密度序列，再根据邻近行的内容连续性，利用高斯平滑技术修正文本密度序列，最后采用改进的最大子序列分割序列抽取正文内容。
该方法保持正文完整性并排除噪声干扰，且无需人工干预或反复训练。
实验结果表明基于文本密度抽取正文对不同数据源具有广泛的适应性，且准确率和召回率优于现有统计模型。
%In order to obtain useful content encompassed by a large number of irrelevant information, the content extraction becomes indispensable for web data application. An approach of web content extraction based on the text density model is proposed, which integrates page structure features with language features to convert text lines of page document into a positive or negative density sequence. Additionally, the Gaussian smoothing technique is used to revise the density sequence, which takes the content continuity of adjacent lines into consideration. Finally, the improved maximum sequence segmentation is adopted to split the sequence and extract web content. Without any human intervention or repeated trainings, this approach maintains the integrity of content and eliminatesnoise disturbance. The experimental results indicate that the web content extraction based on the text density model is widely adapted to different data sources, and both accuracy and recall rate of the proposed approach are better than those existing statistical models.【总页数】6页(P667-672)【作者】朱泽德;李淼;张健;陈雷;曾新华【作者单位】中国科学技术大学自动化系合肥230026; 中国科学院合肥智能机械研究所合肥230031;中国科学院合肥智能机械研究所合肥230031;中国科学院合肥智能机械研究所合肥230031;中国科学院合肥智能机械研究所合肥230031;中国科学院合肥智能机械研究所合肥230031【正文语种】中文【中图分类】TP391【相关文献】1.基于文本特征值的正文抽取方法 [J], 孟川;武小年2.基于文本块密度和标签路径覆盖率的网页正文抽取 [J], 刘鹏程;胡骏;吴共庆3.基于文本行特征的网页正文信息抽取方法研究 [J], 刘志杰;潘洋4.基于标签路径覆盖率和多文本特征的正文抽取算法 [J], 郑野; 宋旭东; 于林林; 陈鑫影5.基于文本标点密度连续和的网页正文抽取 [J], 汤佳杰; 曹永忠; 顾浩因版权原因，仅展示原文概要，查看原文内容请购买。
基于文本块密度和标签路径覆盖率的网页正文抽取
些噪声对 Ｗｅｂ信息检索、Ｗｅｂ内容的管理和分析、Ｗｅｂ信息聚 合和推送等研究带来了巨大的挑战。因此，过滤网页中的噪声 信息，抽取网页的正文内容息 时 代 的 标 志，Ｗｅｂ逐 渐 成 为 很 多 应 用 的 重要信 息 来 源。《２０１６年 互 联 网 趋 势 报 告 》（２０１６Ｉｎｔｅｒｎｅｔ ｔｒｅｎｄｓ）［１］指出，全球互联网用户已达 ３０亿，比上年增长 ９％， 互联网 全 球 渗 透 率 达 到 ４２％。根 据 中 国 互 联 网 信 息 中 心 （ＣＮＮＩＣ）的调查 显 示 ［２］，互 联 网 用 户 的 主 要 行 为 之 一 就 是 阅 读网络新闻，同时中国互联网用户阅读互联网新闻的普及率为 ８１．６％，其中移动互联网用户比率达到 ７８．９％。移动互联网 的快 速 发 展，对 新 闻 媒 体 质 量 有 着 更 高 的 要 求，各 种 各 样 的 Ｗｅｂ新闻替代传统报纸，成为人们获取最新信息的重要载体。
第 ３５卷第 ６期 ２０１８年 ６月
计算机应用研究 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ
Ｖｏｌ３５Ｎｏ６ Ｊｕｎ．２０１８
基于文本块密度和标签路径 覆盖率的网页正文抽取
刘鹏程，胡 骏，吴共庆
（合肥工业大学 计算机与信息学院，合肥 ２３０００９）
摘 要：大多数网页除了正文信息外，还包括导航、广告和免责声明等噪声信息。为了提高网页正文抽取的准 确性，提出了一种基于文本块密度和标签路径覆盖率的抽取方法（ＣＥＴＤＴＰＣ）。结合网页文本块密度特征和标 签路径特征的优点，设计了融合两种特征的新特征，利用新特征抽取网页中的最佳文本块，最后，抽取该文本块 中的正文内容。该方法有效地解决了网页正文中噪声块信息过滤和短文本难以抽取的问题，且无须训练和人工 处理。在 ＣｌｅａｎＥｖａｌ数据集和从知名网站上随机选取的新闻网页数据集上的实验结果表明，ＣＥＴＤＴＰＣ方法在不 同数据源上均具有很好的适用性，抽取性能优于 ＣＥＴＲ、ＣＥＴＤ和 ＣＥＰＲ算法。 关键词：正文抽取；文本块密度；标签路径覆盖率；特征融合 中图分类号：ＴＰ３９１．１ 文献标志码：Ａ 文章编号：１００１３６９５（２０１８）０６１６４５０６ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１８．０６．０１０
基于文本密度的藏文网页正文提取方法
用Ｈ Ｔ ＭＬ 标记用途分析提到的此方法对标签 的依赖
性高， 加之 Ｈ Ｔ ＭＬ语言的规范性不是很好 ， 网页设计
人员的语言风格也不尽相 同， 如遇未使用＜ ｄ ｉ ｖ ＞ 标记的 网页很难实现有效提取 。有些论文 中提到了关于网
引擎能帮助人们快速地搜索到想要的信息 ， 但每个 网
Ｌ ｕ ｏ ｓ ｏ ｎ ｇ Ｑ ｉ ｕ ｐ ｅ ｉ ， Ａｎ ｊ ｉ ａ ｎ Ｃ ａ ｉ ｒ ａ ｎ ｇ
（ Ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ Ｑ ｉ ｎ ｇ ｈ ａ ｉ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ｆ ｏ ｒ Ｎａ ｔ ｉ ｏ ｎ ａ ｌ ｉ ｔ ｉ ｅ ｓ ，Ｘｉ ｎ ｉ ｎ ｇ ，Ｑ ｉ ｎ ｇ ｈ ａ ｉ ８ ｗｏ ｏ ７ ，Ｃ ｈ ｉ ｎ ａ ）
正文提取 方法 ， 利 用半 结构化 的ＨＴ ＭＬ网页 中正文 内容的连续性特点 ， 结合 正则表 达式过滤 Ｈ Ｔ ＭＬ标 签。此方 法针对主 题型 网页， 类似新闻类 网页中的正文提取具有较 高的准确率。
关 键 词 ：藏 文 信 息 ；藏 文 网 页正 文 提 取 ；Ｈ Ｔ ＭＬ；Ｗｅ ｂ网 页
中图分类号 ： Ｔ Ｐ ３ ９ １
文献标志码 ： Ａ
文章编号 ： １ ０ ０ ６ — ８ ２ ２ ８ （ ２ ０ １ ７ ） ０ ８ － － ４ ６ － ０ ２
Ａ ｃ ｏ ｎ ｔ ｅ ｎ ｔ ｅ ｘ ｔ ｒ ａ ｃ ｔ ｉ ｏ ｎ ｍｅ ｔ ｈｏ ｄ ｏ ｆ Ｔｉ ｂ ｅ ｔ ａ ｎ Ｗｅ ｂ ｂａ ｓ ｅ ｄ ｏ ｎ ｔ ｅ ｘ ｔ ｄ ｅ ｎｓ ｉ ｔ ｙ
・
４ ６ ・
Ｃｏ ｍｐ ｕ ｔ ｅ ｒ Ｅｒ ａ Ｎｏ． ８ ２ ０１ ７
网页正文提取方法
网页正文提取方法
网页正文提取是指从网页中提取出主要内容部分的一种技术方法，常用于网页内容分析、文本挖掘和搜索引擎等领域。
以下介绍几种常用的网页正文提取方法：
1. 基于HTML结构分析：利用网页的HTML结构和标签信息，通过分析标签的层次结构和属性特征，提取出可能的正文区域。
常用的方法有基于文本标记的算法（如正文段落的密度、标签嵌套深度等），和基于行块分布函数的算法（如正文行的长度、行距等）。
2. 基于文本密度分析：通过计算网页上文本的密度，提取出文本密度较高的区域作为正文区域。
常用的方法有基于文本行分割的算法（如基于文字行的密度变化、连续空行的数量等），和基于文字块分割的算法（如基于文本块的字数、字符密度等）。
3. 基于机器学习的方法：通过训练一个机器学习模型，将正文区域分类为正文和非正文区域。
常用的方法有基于支持向量机（SVM）的分类算法、基于朴素贝叶斯分类（NB）的算法、和基于深度学习的算法（如卷积神经网络CNN）等。
4. 基于文本特征的方法：通过分析正文和非正文区域的文本特征差别，提取出正文区域。
常用的方法有基于关键词匹配的算法（如正文区域的关键词覆盖度、
连续关键词的数量等），和基于语义相似度的算法（如正文区域的语义相似度、文本主题相关度等）。
根据具体应用场景和需求可选择适合的方法进行网页正文提取，通常需要结合多种算法和技术手段进行综合分析和提取，提高提取的准确性和可靠性。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
电子设计工程Electronic Design Engineering第27卷Vol.27第8期No.82019年4月Apr.2019收稿日期：2018-07-20稿件编号：201807113作者简介：洪鸿辉（1992—），男，广东揭阳人，硕士研究生。
研究方向：大数据处理。
自互联网问世以来，经过多年的发展，互联网站点的数量在不断的增长，互联网上的信息也在不断的增加，然而，由于商业因素的问题，这些网站在为我们提供有价值的信息的同时，还会包含其他信息，例如广告或其他网站的链接。
链接可能是图片，文字。
这些相对于正文内容无用的信息会降低我们的阅读效率，而且这些无用的文字可能会被搜索引擎作为索引关键词，不仅降低了搜索的效率还影响了用户的体验。
很多互联网公司也发现了这一问题，所以现在越来越多的网页都会支持RSS 。
若一个网页支持RSS ，我们就可以很轻易的提取网页的正文内容，但大多数网页还是不支持RSS ，所以关于正文提取这一方面的研究工作一直没有停止。
网页的类型有很多种，比如新闻网站，博客网站，论坛等。
新闻类网站的正文提取一直是研究的主要方向，新闻类的文章通常要提取正文内容，标题，时间，作者等。
文章通常要提取正文内容，标题，时间，作者等。
一方面，网页正文提取结果的好坏会影响着文本聚类，去重，语义指纹等结果。
另一方面，网页正文提取在大数据时代也是一项不可或缺的环节。
1相关工作1.1VIPS2003年，微软公司亚洲研究所提出了一种网页进行视觉分块[1]算法—VIPS [2]算法。
该算法的思想是模仿人类看网页的动作，基于网页视觉内容结构信息结合Dom 树对网页进行处理。
简单的说就是把页面切割不同大小的块，在每一块中又根据块网页的内容和CSS 的样式渲染成的视觉特征把其分成小块，最后建立一棵树[3]。
但是，VIPS 必须完全渲染一个页面才能对其进基于文本及符号密度的网页正文提取方法洪鸿辉，丁世涛，黄傲，郭致远（武汉邮电科学研究院湖北武汉430000）摘要：大多数的网站的网页除了主要的内容，还包含导航栏，广告，版权等无关信息。
这些额外的内容亦被称为噪声，通常与主题无关。
由于这些噪声会妨碍搜索引擎对Web 数据的挖掘性能，所以需要过滤噪声。
在本文中，我们提出基于网页文本密度与符号密度对网页进行正文内容提取，这是一种快速，准确通用的网页提取算法，而且还可以保留原始结构。
通过与现有的一些算法对比，可以体现该算法的精确度，同时该算法可以较好的支持大数据量网页正文提取操作。
关键词：文本密度；算法；噪音；正文提取中图分类号：TP391文献标识码：A文章编号：1674-6236（2019）08-0133-05Text extraction method based on text and symbol densityHONG Hong⁃hui ，DING Shi⁃tao ，HUANG Ao ，GUO Zhi⁃yuan（Wuhan Research Institute of Posts and Telecommunications ，Wuhan 430000，China ）Abstract:Most web pages contain not only the main content ，but also navigation bar ，advertising ，copyright and other irrelevant information.These extra contents are also referred to as noise ，usually irrelevant to the topic.Since these noises will hamper the performance of search engine for Web data mining ，noise removal is needed.In this paper ，we propose a fast ，accurate and general web content extraction algorithm based on text density and symbol density ，which can preserve the original pared with some existing algorithms ，the algorithm can reflect the accuracy of the algorithm ，and thealgorithm can better support the large amount of data Web page text extraction operation.Key words:text density ；algorithm ；noise ；text extract --133《电子设计工程》2019年第8期行分析。
这就导致VIPS算法占用的内存资源以及CPU运算资源较多。
由于该算法在提取一个网页时消耗的资源过多，所以这种网页提取方法在面对海量网页处理时并不适用。
1.2基于块分布网页正文提取该方法由哈尔滨工业大学的陈鑫提出。
该方法大致过程如下：1）将网页中的html标签全部去掉，再去掉空白行和空白部分，得到文本。
2）将文本的行按照一定的数量分成一个一个的文本块。
3）对这些块进行分析，找出骤升和骤降的块，最后分析取出骤升和骤降块之间的内容。
这个算法代码不到100行，可以在O（n）的时间复杂度内提取出网页正文，但是该方法的准确率在95%左右，而且无法保留原有的html标签。
这对于一些特殊场景并不适用。
1.3Readability网页提取中，应用最广泛的就是Readability，该算法需要解析DOM树，因此时间复杂度和空间复杂度较高。
在使用过程中，发现该算法有很多种语言实现，虽然使用方便，但是提取的网页正文的时间比较长。
1.4基于网页模板的抽取算法总的来说，基于模板的网页抽取算法是通过移除所有输入的网页中相同的部分。
通过URL判断出所输入的网页是否有相同的结构。
页面中相同的部分为非正文，页面间相差较大的是正文[4-5]。
例如，在很多网页中，导航栏，页眉，页脚等都是一样的，这些就不是正文。
这是一种较为精确的方法，但这种方法需要对每个网站进行建模，所以也是很繁重的一种算法。
而且每次网站改版以后，原有的模板就不能用了，必须重新生成一次模板。
所以如果不是有针对的对某些网站进行爬取的话，这种方法并不是很好[6]。
2网页正文提取设计2.1系统设计系统功能：本系统输入网页文件或者URL即可提取出网页正文，系统框架如图1所示。
正文提取的内容结构如图2所示，首先是网址，然后是标题，接着是时间，内容，最后是网页源码。
通过文本提取后，我们可以得到正文的主要内容以及逻辑结构，保留的网页源码是为了保留其完整的文本结构样式。
图2输出结果2.2基于文本密度提取早期有一些算法比如MSS算法，程序把html网页转换为序列，然后打分，比如一个标签给负分，一个内容文本给正分。
通过打分，我们可以获取一个序列，然后我们取出token序列中分数最大的子序列[7]。
但是在实验中发现其提取正文的准确度并不是很好。
但是这给我们提供了一个思路。
根据笔者的工作经验以及对大量不同的网站进行等结构分析可以发现，即使不同的人编写不同的网页，但不同的网页时有一定的共性[8]:1）正文内容一般在网页的<body>标签内的<p>标签中；2）<p>标签一般都为<div>、<td>等标签的子标签，并不独立存在。
同时，在分析的过程中也发现了一些问题: 1）各个网站对标签的class，id等属性名称命名不统一。
2）网页正文内容中可能有超链接，其可能是文字也可能是图片，标签<p>中不一定就是内容，还可能还会其他标签。
图1系统框架--1343）<p>标签之间可能还会有JS 脚本或者是其他的html 标签。
4）<p>标签的内容不全都是或不一定是正文内容等。
网站的版权信息一般也是<p>标签的内容，但这部分内容属于噪声。
通过文献[9-10]。
，我们知道可以用每行的文本密度来判断这一行属不属于正文。
我们把网页解析成Dom 树，然后判断每个节点属于正文内容的可能性是多少。
每个网页都可以被解析成一颗Dom 树，所有的标签都是节点，而文字和图片等都是叶子节点。
例如以下是html 代码示例：1.<div class="box">2.<h1class="title">article</h1>3.<div id="content">4.<p>hello world</p>5.</div>6.<div class="foot">7.<a>pre</a>8．<a>next </a>9.</div>10.</div>该html 代码解析成Dom 树如图3所示，从树中我们可以很清楚地看出各个节点之间的关系以及各个层次之间的联系。
图3Dom 树根据以前编写网页的经验来看，一个网页中，正文标题通常会用<h*></h>（*:1-6）标签包含，而正文通常会使用<p></p>标签包含。
有可能在<p></p>标签中还会包含<a>链接或者<span>标签等，但是这些都没关系，我们只需要找到包含正文内容的<p></p>既可以，无论<p></p>标签内会包含什么标签，我们都视为正文内容[11]。
可以通过Jsoup 提供的标准库中的Parse 函数把本地的网页文件解析，返回Document 对象，即Dom 树。
通过该Dom 树，我们可以很轻松的得出以下变量。
而且我们还可以的计算出每个点字符串子树和标签数的比率。
定义一：如果i 为Dom 树的一个结点，那么该节点的文本密度TD i 为：TD i =T i -LT iTG i -LTG i（1）T i ：结点i 的字符串字数。
LT i ：结点i 的带链接的字符串字数。
TG i ：结点i 的标签数。
LTG i ：结点i 带链接的标签数。
核心程序：Algorithm 1computeInfo （node ）hashMap<Node ，NodeInfo>map ；computeInfo （node ）{if （node is Element ）{NodeInfonodeInfo ；for （childNode in node ）{nodeInfo =computeInfo （childNode ）；nodeInfo.T+=childNode.T ；nodeInfo.LT+=childNode.LT ；nodeInfo ，TG+=childNode.TG ；nodeInfo.LTG+=childNode.LTG ；}if （node is a ）{nodeInfo .LTG i ++；nodeInfo.txt+=node.txtLength ；}else if （node is p ）{nodeInfo.PNum++；}map.put （node ，nodeInfo ）；}else if （node is TextNode ）{nodeInfo.T=node.txtLen-node.LT ；}}TD i 是衡量一个网页的每个结点文本密度，如果一个结点的纯文本字数比带链接的文本字数明显多很多的时候，根据公式（1），我们可以判定该结点的文本密度就会很大，从而就可以很容易判断该节点洪鸿辉，等基于文本及符号密度的网页正文提取方法--135《电子设计工程》2019年第8期是不是正文的一部分。