基于权值优化的网页正文内容提取算法_吴麒

华南理工大学学报（自然科学版）第39卷第4期Journal of South China University of TechnologyVol．39No．42011年4月（Natural Science Edition ）April 2011文章编号：1000-565X （2011）04-0032-06收稿日期：2011-01-10*基金项目：国家“973”计划项目（2007CB311106）作者简介：吴麒（1985-），男，博士生，主要从事数据挖掘、信息安全等的研究．E-mail ：acuteleopard@gmail．com 基于权值优化的网页正文内容提取算法*吴麒1，2陈兴蜀1谭骏1（1．四川大学计算机学院∥网络与可信计算研究所，四川成都610065；2．中国电子科技集团公司第二十九研究所信息综合控制国家重点实验室，四川成都610065）摘要：目前网页上出现越来越多的广告信息，使得准确抽取网页正文信息变得越来越难．针对这一问题，文中提出了一种基于权值优化的网页正文内容提取算法．该算法首先通过分析网页正文内容的特点，确定主题块的特征属性，得出这些属性的统计特征；然后，利用各个特征属性具有不同重要性的特点，使用粒子群优化算法对特征权值及阈值进行了优化和确定，使其性能得到进一步的提升；最后通过实验对该方法进行验证．结果表明，与未经权值优化的提取算法相比，在基本维持相同精确率的基础上，该方法可使网页正文内容提取的召回率提升至95.8%．关键词：权值优化；正文内容提取；特征属性；统计特征；准确率；召回率中图分类号：TP391doi ：10．3969/j．issn．1000-565X．2011．04．006随着互联网的迅速发展，Web 上的信息呈爆炸式的增长．面对如此海量的数据，在Web 页面上发现有价值的信息成了一项重要的任务．Web 页面作为信息的载体，目前绝大数采用HTML 语言编写．由于该语言为半结构化的语言，不具备XML 的严格定义，使得页面内容抽取比较困难，而且目前页面广告信息的广泛存在，使得Web 网页的主题信息隐藏在大量无关信息中．因此，如何准确地从页面中提取主题内容成为了Web 挖掘的重要难题．关于此类问题，有关人员已进行了大量的研究．Wang 等［1］提出了基于模板去除噪音来提取主题块的方法，该方法假定Web 中的同类网页具有类似的DOM ［2］（Document Object Model ）树结构；但由于其主要基于模板或者简单启发式规则对主题内容进行提取，因此识别率不高且通用性不强．基于网页结构的方法［3-5］需根据网站模板而不断调整自己，因为不同的网站的页面模板是不同的；该方法不适用于机器学习，而且由于需要知道整个网站的页面信息才能获取其页面结构规律，因此会消耗大量的时间和资源．欧健文等［6］提出采用机器学习的方式对网页主体信息进行抽取，该方法通过分析页面结构，不断生成新的模板，建立模板库，然后依据模板库的提取规则进行网页主体信息提取；该方法也具有局限性，因为其只对模板对应的网页集有效．荆涛等［7］利用网页的可视化布局对页面进行划分，并提取中部的信息作为主题内容．Suhit 等［8］提出了基于DOM 树的正文内容提取方法，该方法主要采用清除广告链接，通过链接文字和非链接文字比来清除不属于正文内容的信息．Cai 和Song 等［9－10］利用DOM树来进行分块，然后根据分块特征进行正文内容提取．这些方法虽然方式各有不同，但因为利用特征少，因此准确率较低．李连霞等［11］利用页面布局和主题内容的特征对主题内容进行提取，取得了较好的效果；但由于视觉特征的复杂性，因此提取效率低，而且该方法只对特征进行了简单相加，忽略了不同特征具有不同重要度的特点．还有一些研究者［12-14］根据文本内容的特征，对文本内容是否是网页正文进行判断，从而完成网页正文提取；但由于此类方法并没有采用分块的思想，因此极易遗漏部分正文信息．根据不同特征具有不同重要度的特点，文中提出了一种基于权值优化的网页正文内容提取算法，并通过实验对该算法的有效性进行验证．该算法通过对主题节点进行统计分析，获得其统计特征，然后利用粒子群算法进行权值优化，最后利用这些特征对网页正文内容进行抽取．1整体框架网页内容提取就是提取出描述网页内容的文本块及相关链接的锚文本，简称主题块．通过对大量Web 页面进行分析，发现网页通常由主题内容区和噪音区（导航区和广告区）组成．这些区域具有各自的一些特点：（1）主题内容区域一般含有较多文本文字，且包含逗号、句号等标点符号；（2）噪音区域（导航区域和广告区域）一般都由较多链接和少量文字组成，且不包含逗号、句号等标点符号；（3）这些区域通常依靠table 、p 、tr 、div 等标签来进行划分．根据这些特点，可以建立正文内容识别模型进行主题块识别．首先将页面建立为一棵DOM 树，然后对树进行预处理，再根据上述特点得出主题块的统计特性，然后再使用粒子群算法根据重要度的不同给各个特征赋予不同的权重，最后完成对网页主题块的识别．系统的整体架构如图1所示．图1系统整体框架Fig．1Frame of the system2网页正文内容提取2．1主题块特征及识别模型网页的结构可以表示为一棵DOM 树，它为每个Web 网页提供了一个详细的层次化结构，它不但描述了网页的内容，而且描述了网页的布局．为方便提取主题块，文中按照以下方法对网页信息进行预分块：1）读入HTML 页面信息，将script 、form 、style 、if-rame 等不含有主题内容的标签去除；2）对有问题的标签进行修正，并将页面初始化为DOM 树；3）利用table 、p 、tr 、div 等标签对文本节点进行预分块，如果标签间有嵌套关系，则找出其中包含这些文本信息最近的分块标签．根据对分块特点的分析，总结得出主题分块具有文字内容较长（一般正文区将展示整个页面的详细内容信息，比如新闻报道、公告内容等，因此其中含有较多的文字）、标点符号数较多（由于正文区一般用于对事件和观点进行描述，因此其标点符号较多；而导航区、广告区一般都是简短文字描述，其所含标点符号较少）、特殊标记符号较多（在HTML 页面中，连续的空格、换行会被合并为一个空格，而使用＆nbsp 符号就可避免此种情况，因此在页面的正文区中，该符号常常用于换行或者段落开头的缩进）、特殊标签数较多（在HTML 页面中，＜br ＞标签用于插入一个简单的换行符，而＜b ＞标签常常用于将正文呈现粗体文本效果；为了让网页更加美观，网页正文区代码常常含有较多＜br ＞和＜b ＞标记）等特征属性．假设某一分块文字数、标点符号数、特殊标记数、特殊标签数都较多，那么该块为主题块的概率就越大，因此可以通过计算特征中不同值的支持概率来表示这种可能性．定义1假设S 表示主体块，分块B 含有k 个特征属性，其特征属性矢量为T B =［t 1，t 2，…，t k ］，P （B =S ）表示分块B 属于主题块的概率，那么根据特征属性t i （i =1，2，…，k ）来计算分块B 属于主体块的概率：P （B =S t i ）=P （B =S ）P （t i B =S ）P （t i ）（1）首先对测试集中的网页进行分块，对其中的主题块进行人工标记．P （t i ）为所有网页划分块中含有特征属性t i 的概率，P （t i B =S ）为标注主题块中含有特征属性t i 的概率．主题块具有的特征属性如表1所示．33第4期吴麒等：基于权值优化的网页正文内容提取算法表1主题块的特征属性Table 1Feature attributes of the content block特征特征计算文字内容长度分别计算文字字符长度处于［0，10］、［10，14）、［14，+ɕ）区间时，该分块属于主题块的支持概率标点符号数分别计算标点符号数目处于［0，1）或［1，+ɕ）区间时，该分块属于主题块的支持概率＆nbsp 数目分别计算＆nbsp 标记数目处于［0，1）或［1，+ɕ）区间时，该分块属于主题块的支持概率标签＜b ＞数目分别计算该标签数目处于［0，1）或［1，+ɕ）区间时，该分块属于主题块的支持概率标签＜br ＞数目分别计算该标签数目处于［0，1）或［1，+ɕ）区间时，该分块属于主题块的支持概率在主题块识别中，各个特征在其中的重要度是不同的，因此应给不同的特征赋予不同的权值．文中采用主题块得分来对某分块属于主题块的可能性进行描述．定义2设分块B 的特征属性的个数为k ，T B =［t 1，t 2，…，t k ］（见定义1）为分块B 的特征矢量，那么分块B 的主题块得分为Score （B =S ）=1(δ∑ki =1（δ1P （B =S t 1）+δ2P （B =S t 2）+…+δk P （B =S t k )））（2）式中：δ=∑ki =1δi ，δi 表示特征属性t i 的权值．主体块得分使用权值度量了不同特征的重要度，但这些权值的确定是比较困难的．在工程应用中，一般依靠判断主题块得分是否大于某一阈值来确定其是否为主题块，但该阈值很难确定．因为如果阈值设置太低，算法的召回率提高但准确率会下降；如果设置太高，虽然准确率提高，但召回率会降低．通过粒子群优化算法，既可以确定这些特征的最优权值，也可以获取一个较合理的阈值，使召回率和准确率达到一个平衡点．2．2基于PSO 的权值优化粒子群优化（PSO ）［15］算法是基于群智能方法的演化计算技术，它引入了“群”的概念．研究者通过对鸟群觅食行为的研究，发现鸟群中存在一种社会信息共享机制，这一机制为群体的进化提供了一种优势．PSO 算法就是从这种生物种群行为特性中得到启发并用于求解优化问题．该算法是进化算法的一种，和遗传算法相似，系统初始化为一组随机解，通过迭代搜寻最优值，但是由于PSO 算法比遗传算法更为简单，且没有遗传算法的“交叉”和“变异”操作，因此在解决实际工程问题时得到了更为广泛的应用．PSO 通过粒子追随自己找到的最优解和群体最优解来完成优化．在PSO 中，每个优化问题的潜在解都可以想象成为n 维搜索空间上的一个点，称之为“粒子”．PSO 首先生成初始种群，即在可行解空间中随机产生一群粒子，每个粒子都为优化问题的一个可行解，并由适应度函数产生一个适应值，然后每个粒子根据速度公式在解空间中运动，并经逐代搜索最后得到最优解．在每一次迭代中，粒子将跟踪两个极值，一个为该粒子本身迄今找到的最优解，另一个为全种群迄今找到的最优解．设在一个n 维的搜索空间中，由m 个粒子组成的种群X =（x 1，…，x i ，…，x m ）T ，其中第h 个粒子的位置为x h =（x h 1，x h 2，…，x hn ）T ，其速度为v h =（v h 1，v h 2，…，v hn ）T ，该粒子迄今得到的最优解为p h =（p h 1，p h 2，…，p hn ）T ，全种群找到的最优解为p g =（p g1，p g2，…，p g n ）T ．粒子的速度更新公式如下：v （t +1）hd =w （t ）v （t ）hd +c 1r (1p （t ）hd －x （t ）)hd+c 2r (2p （t ）gd －x （t ）)hd，x （t +1）hd =x （t ）hd +v （t +1）hd ．式中：h =1，2，…，m （m 为种群规模）；d =1，2，…，n ，n 为粒子群优化算法解的搜索空间维数；t 为当前进化代数；r 1与r 2为分布于［0，1］之间的随机数；c 1与c 2为调节p h 和p g 重要性的参数；w 为惯性权重，其值也可以自适应调整，随着迭代的进行线性地减小．定义3假设网页中找到的正文内容为H 1，网页中真正的正文内容为H 2，H 1和H 2的交集为H 0，那么准确率、召回率及F-score 的计算式分别为准确率=H 0/H 1，召回率=H 0/H 2，F-score =2ˑ准确率ˑ召回率准确率+召回率．使用粒子群算法对主体块得分进行权值优化，并获取主题块得分阈值．在整个优化过程中，使用F-score 作为适应度函数．具体优化算法如下：算法1基于粒子群算法的权值优化43华南理工大学学报（自然科学版）第39卷输入：训练样本集，测试样本集．输出：最优F-score，f个特征对应的权值，阈值ε．（1）初始化操作，设当前进化代数t=0，并设定最大进化代数e，加速常数c1、c2．在f+1维搜索空间中随机生成j个粒子w1，w2，…，wj，形成初始种群W（t），其中wq（q=1，2，…，j）为f+1维向量的解，随机生成每个粒子的初始速度y1，y2，…，yj，设置种群适应度最优值pg以及j个粒子的自身适应度最优值pq均为0．（2）将种群W（t）中每个粒子作为主题块特征的权值，并根据定义2中的主题得分公式与阈值ε计算F-score，并作为每个粒子的适应度值．（3）while t＜=e do（4）for q=1to j do（5）比较粒子的适应度值与自身最优值pq，若该粒子适应度值比pq 更优，则置pq为当前粒子适应度值，并记录该粒子wq的值．（6）比较粒子的适应度值与种群最优值pg，若该粒子适应度值比pg 更优，则置pg为当前粒子适应度值，并记录该粒子wq的值．（7）end（8）根据PSO算法公式更新粒子的速度与位置，产生新种群W（t+1）（9）t=t+1（10）end（11）输出适应值为pg 时的粒子wq作为各个特征对应的权值和阈值ε，输出种群最优适应pg值作为该权值下的最优F-score．2．3正文内容提取算法结合提出的网页正文识别模型和经过粒子群算法优化的权值，正文内容提取算法如下：算法2基于权值优化的正文内容提取算法输入：测试数据集，阈值ε．输出：网页正文内容．（1）读入HTML页面信息，将script、form、style、iframe等不含有主题内容的标签去除．（2）修正标签，并初始化为DOM树，并按照容器标签进行预分块，对有嵌套关系的标签，则找出离文本最近的分块，设其中存在u个分块．将这些分块编号为Bl（l=1，2，…，u）．（3）for l=1to u do（4）根据Bl 的特征属性和粒子群算法优化的权值，计算该块的主题块得分score（Bl=S）（5）if（score（Bl=S）＞ε）（6）将Bl标记为主题块（7）else（8）将Bl标记为噪音块（9）end（10）l=l+1（11）end（12）输出所有标记为主题块的Bl的文本内容．3实验结果与分析文中实验的测试数据来源于CWT70th，它是北大天网为测试对中文网页的检索性能而收集的测试网页集合，该数据包含了7万多张网页．笔者从中随机选取了3000张网页，并对其中的主题块进行了人工标注．从标注网页中选取了500张作为训练集，剩余2500张作为测试数据集．在权值优化过程中，设置种群规模为100，最大进化代数为1000，粒子的范围为［0，3］，得到优化后的ε值为0.2922，各特征属性的支持概率和优化后权值如表2所示．表2特征属性的支持概率与优化后权值Table2Supporting probability and optimized weight of featureattributes特征取值区间支持概率优化后权值文字内容长度［0，10］0．0601．4571［10，14）0．546［14，+ɕ）0．795标点符号数［0，1）0．2742．6976［1，+ɕ）0．944＆nbsp数［0，1）0．3751．9782［1，+ɕ）0．827标签＜b＞数［0，1）0．2952．6838［1，+ɕ）0．948标签＜br＞数［0，1）0．4340．8203［1，+ɕ）0．875从表2中可以看到，标点符号数和标签＜b＞数目这两个特征的权重明显增加，而标签＜br＞的效果明显削弱．因为主题块含有较多信息，一般标点符号数都会大于1，而且大多数网页都会将时间、段落主旨等以粗体表示（使用标签＜b＞），但换行符＜br＞仅53第4期吴麒等：基于权值优化的网页正文内容提取算法仅在文本信息较多时使用，因而权重被弱化．权值优化前后网页正文内容提取的效果如表3所示．从表中可以看到，未经过权值优化的提取算法由于利用了网页正文的多个特征，其召回率和准确率较高；而经过权值优化的正文提取算法在轻微降低精确率的基础上，提高了召回率和F-score，使得该算法的性能进一步提升．表3权值优化前后的网页正文内容提取效果Table3Comparison of extraction effects of content in Web Pa-ges with/without optimized weight正文提取算法准确率/%召回率/%F-score/%权值优化的提取算法86．795．891．04未经过权值优化的提取算法87．192．189．504结语针对目前网页上广告信息越来越多、准确抽取网页正文信息变得越来越难这一问题，文中提出了一种新的基于权值优化的网页正文内容提取算法．该算法中，首先通过从训练集中提取网页正文内容具有的统计特征，再利用粒子群算法对特征权值及阈值进行优化，使得算法的性能得到进一步的提升．以后的工作，将立足于发现更好的分块方法和更多网页正文内容特征，以进一步提高提取内容的准确性．参考文献：［1］Wang J Y，Lochovsky F H．Data-rich section extraction from HTML pages［C］∥Proc of the3rd International Confe-rence on Web Information Systems Engineering．Singapore：IEEE Computer Society Press，2002：313-322．［2］W3C DOM IG．Document object model［EB/OL］．（2010-6-5）http：∥www．w3．org/DOM/．［3］Lin S H，Ho J M．Discovering informative content blocks from web documents［C］∥Proc of the ACMSIGKDD'02．Alberta：ACM，2002：190-195．［4］Lan Y，Liu B，Li X L．Eliminating noisy information in web pages for data mining［C］∥Proc of the Ninth ACMSIGKDD International Conference on Knowledge Disco-very and Data Mining．Washington：ACM，2003：296-305．［5］Debnath S，Mitra P，Pal N，et al．Automatic identification of informative sections of web pages［J］．IEEE Tran．onKnowledge and Data Engineering，2005，17（9）：1233-1246．［6］欧健文，董守斌，蔡斌．模板化网页主题信息的提取方法［J］．清华大学学报：自然科学版，2005，45（S1）：1743-1747．Ou Jian-wen，Dong Shou-bin，Cai Bin．Topic informationextraction from template web pages［J］．Journal of Tsing-hua University：Science and Technology，2005，45（S1）：1743-1747．［7］荆涛，左万利．基于可视布局信息的网页噪音去除算法［J］．华南理工大学学报：自然科学版，2004，32（S1）：84-87．Jing Tao，Zuo Wan-li．An algorithm for the elimination ofthe noise in Web pages based on visual layout information［J］．Journal of South China University of Technology：Natural Science Edition，2004，32（S1）：84-87．［8］Suhit G，Gail K，David N，et al．DOM-based content ex-traction of HTML documents［C］∥Proc of the12th In-ternational World Wide Web Conference．Budapest：ACM，2003：207-217．［9］Cai Deng，He Xiao-fei，Wen Ji-rong，et al．Block-level link analysis［C］∥Proc of SIGIR'04．Sheffied：ACM，2004：134-142．［10］Song Rui-hua，Liu Hai-feng，Wen Ji-rong，et al．Learning block importance models for web pages［C］∥Proc ofWorld Wide Web Conference．New York：ACM，2004：343-348．［11］李连霞，马军，陈竹敏．基于多特征的网页内容提取研究［C］∥第三届和谐人机环境联合学术会议论文集．济南：清华大学出版社，2007：151-157．［12］Tim W，William H H．Web content extraction through histogram clustering［C］∥Proc of the18th InternationalConference on Artificial Neural Networks in Engineering（ANNIE2008）．St．Louis：Lecture Notes in ComputerScience，2008：124-132．［13］Javier A M，Koen D，Marie F M．Language independent content extraction from web pages［C］∥Proc of the9thDutch-Belgian Information Retrieval Workshop．En-schede：University of Twente，2009：50-55．［14］Li Dong-bing，Wang Ye-xin，Zhang Yan，et al．Primary content extraction with mountain model［C］∥Proc ofthe8th IEEE International Conference on Computer andInformation Technology．Sydney：IEEE Press，2008：479-484．［15］James K，Russell E．Particle swarm optimization［C］∥Proc．of IEEE International Conference on Neural Net-works（ICNN＇95）．Perth：IEEE，1995：1942-1947．63华南理工大学学报（自然科学版）第39卷Content Extraction Algorithm of HTML Pages Based on Optimized WeightWu Qi 1，2Chen Xing-shu 1Tan Jun 1（1．College of Computer Science ∥Network and Trusted Computing Institute ，Sichuan University ，Chengdu 610065，Sichuan ，China ；2．National Information Control Laboratory ，The 29th Research Institute of China Electronics Technology Group Corporation ，Chengdu 610065，Sichuan ，China ）Abstract ：With the increase in advertisement amount in HTML pages ，it becomes more and more difficult to extract content accurately．In order to solve this problem ，an algorithm of content extraction from HTML pages is proposed based on optimized weight．In this algorithm ，first ，the features of the content are analyzed to obtain the statistical features of the attributes by analyzing the characteristics of the content block in web pages．Then ，in view of diffe-rent importance of the features ，the weight and threshold of the features are optimized by using the particle swarm optimization algorithm ，which further improves the performance of the algorithm．Finally ，some experiments are performed to verify the effectiveness of the algorithm．The results show that ，as compared with the algorithm with un-optimized weight ，the proposed algorithm improves the recall rate of content extraction to 95．8%without reduc-ing the precision．Key words ：weight optimization ；content extraction ；feature attribute ；statistical feature ；precision ；recall rate （上接第31页）Click Model Based on Browsing Time of UserHe JingYuan Wen-qingYan Hong-fei（Department of Computer Science and Technology ，Peking University ，Beijing 100871，China ）Abstract ：As the clicks of users are affected by many factors such as the browsing behaviors of users and the fea-tures of adjacent documents ，they cannot be directly interpreted as document relevance during the analysis of users'click log．In order to obtain correct document relevance features ，a click model based on browsing time is pro-posed．In this model ，the document relevance is assumed to affect the browsing time for the document ，which means a user may spend more browsing time if the document is more likely to be relevant．Therefore ，the document relevance can be estimated according to the browsing time．Then ，an exponential distribution is determined to de-scribe users'browsing time ，and some experiments are carried out to verify the effectiveness of the proposed model．The results indicate that the model is superior to the existing click models because it can estimate document rele-vance and future clicks more accurately．Key words ：search engine log ；click model ；document relevance feature ；browsing time73第4期吴麒等：基于权值优化的网页正文内容提取算法。