主题相似度与链接权重相结合的垃圾网页排序检测

主题相似度与链接权重相结合的垃圾网页排序检测作者：韦莎朱焱来源：《计算机应用》2016年第03期摘要：针对因Web中存在由正常网页指向垃圾网页的链接，导致排序算法（AntiTrustRank等）检测性能降低的问题，提出了一种主题相似度和链接权重相结合，共同调节网页非信任值传播的排序算法，即主题链接非信任排序（TLDR）。

首先，运用隐含狄利克雷分配（LDA）模型得到所有网页的主题分布，并计算相互链接网页间的主题相似度；其次，根据Web图计算链接权重，并与主题相似度结合，得到主题链接权重矩阵；然后，利用主题链接权重调节非信任值传播，改进AntiTrustRank和加权非信任值排序（WATR）算法，使网页得到更合理的非信任值；最后，将所有网页的非信任值进行排序，通过划分阈值检测出垃圾网页。

在数据集WEBSPAMUK2007上进行的实验结果表明，与AntiTrustRank和WATR 相比，TLDR的SpamFactor分别提高了45%和23.7%，F1measure（阈值取600）分别提高了3.4个百分点和0.5个百分点， spam比例（前三个桶）分别提高了15个百分点和10个百分点。

因此，主题与链接权重相结合的TLDR算法能有效提高垃圾网页检测性能。

关键词：垃圾网页检测；链接作弊；排序算法；主题相似度；非信任值传播中图分类号： TP181 文献标志码：A0引言随着互联网的飞速发展，网络信息数据不断膨胀。

搜索引擎已成为人们获取信息的重要途径。

然而，网页作弊者利用各种手段欺骗搜索引擎以获得高于其应得的排名，从而获取商业利益，这种行为称为Web spam。

研究发现，2011年垃圾网页比例已达到20%[1]。

随着Web 2.0的发展，用户能方便地在互联网上添加内容，使得作弊者能更方便地通过添加内容进行网页作弊[2]。

Web Spam带来的恶劣影响有：降低搜索结果质量，使用户获取不到有用的信息；影响搜索引擎的信誉，使搜索引擎公司以及合法网站等蒙受巨大的经济损失；传播垃圾内容、恶意软件，甚至进行钓鱼攻击等。

Web spam可分为内容作弊（contentbased spam）、链接作弊（linkbased spam）、隐藏作弊（cloakedbased spam）以及点击作弊（click spam）。

其中，链接作弊是一种常见的作弊手段。

由于搜索引擎使用如PageRank，超文本诱导主题搜索（HypertextInduced Topic Search，HITS）等排序算法进行网页重要性排序，因此作弊者常常通过构造链接工厂，在微博、wiki 上张贴链接以及黑客攻击等手段进行链接作弊。

为了抵制链接作弊，不少研究致力于反链接作弊技术。

其中，Trust和Distrust模型由于其只需要少量的种子集就可以得到高效的检测结果，被广泛认为是一种高效的反链接作弊技术。

TrustRank算法的基本假设是认为优质网页通常只链接到优质网页。

而AntiTrustRank则是认为链接到垃圾网页的网页很可能也是垃圾网页。

然而，这两个基本假设在真实的Web环境中往往不成立。

例如，作弊者通过在微博等网络平台上张贴指向垃圾网页的链接即可构造一个由正常网页指向垃圾网页的链接，使正常网页得到高的不合理的非信任值，从而削弱排序算法的检测性能。

文献[2]指出，链接作弊的主要手段就是产生正常网页链向垃圾网页的链接，而识别这类链接是识别链接作弊的重点和难点。

通过分析发现，在一般情况下，正常网页与被作弊者通过各种手段张贴链接的垃圾网页在内容上相似度很小，甚至没有任何关系。

本文针对上述问题，提出了一个AntiTrustRank和加权非信任值排序（Weighted AntiTrustRank， WATR）改进算法主题链接非信任值排序（Topic Link Distrust Rank，TLDR），将主题相似度权重与链接权重相结合，共同调节非信任值的传播。

通过在公共数据集WEBSPAMUK2007上对比实验证明，本文提出的主题相似度与链接权重相结合的排序算法比改进前的算法具有更优的检测性能。

如某学校网站（正常网站）由于被作弊者攻击而包含一个指向广告的垃圾网站链接，使其在AntiTrustRank 和WATR 中的非信任值被恶意提高，排名分别是158 和777，易被误判为垃圾网站。

而本文的TLDR 算法将其排在1070，可见TLDR 算法能大大减小正常网站受垃圾链接的影响，降低误判率。

Trust和Distrust模型是反链接作弊技术中一种高效的检测方法，但由于其存在不足，许多研究者在其基础上提出了改进方法。

Leng等[3]提出信任值传播排序（Trust Propagation Rank， TPRank）算法，通过改进信任值传播的初始化方法，提高了降级和检测的效果。

Goh等 [4]定义了一个权重函数，通过出链权重量化了主机相互影响的程度，有效提高了AntiTrustRank和Distrust算法[5-6]的垃圾网页检测性能。

由于网络中存在良好的网页指向垃圾网页的链接，即goodtobad链接，单独使用TrustRank或AntiTrust Rank都会使一些网页得到不合理的Rank值，同时，考虑到任何一个网页都有好的方面也有不好的方面，因此将两者结合起来传播是一种有效的方法。

Liu等[7]提出了GoodRank和BadRank，通过增加一个源节点的惩罚因子，对TrustRank和AntiTrustRank进行改进。

惩罚因子为利用每次迭代的GoodRank和BadRank计算的网页为良好或垃圾的概率，将TrustRank与AntiTrust Rank结合起来，相互制约，降低错误Rank值的影响。

Zhang等[8]提出的方法与文献[7]相似，也是增加惩罚因子，不同之处在于文献[8]的惩罚因子是基于目标节点当前TRank和DRank（对应于TrustRank和AntiTrust Rank）计算得到的概率（即目标网页好与坏的概率），使Rank值在目标节点端发生有差异的传播。

实验表明，该方法有效减小了goodtobad链接的影响。

除了调节传播权重的方法外，还有学者从链接结构的角度展开研究。

Yu等[9]通过用户浏览行为构建用户浏览图，最大限度地从Web图中去掉正常网页指向垃圾网页的链接，并通过实验证明在用户浏览图上进行的TrustRank排序效果优于原始的网络图。

此外，也有一些研究运用语言模型识别垃圾网页，并通过分类算法进行垃圾网页检测。

MartinezRomo等[10]利用语言模型得到相连网页的锚文本、URL等的相对熵KL距离（KullbackLeibler divergence），并结合其他特征进行垃圾网页检测。

Dong等[11]和Suhara等[12]基于语义分析，分别从网页级（pagelevel）和句子级（sentencelevel）提取基于隐含狄利克雷分配（Latent Dirichlet Allocation， LDA）主题模型的主题特征，并进行分类检测。

实验表明，主题特性在正常网页和垃圾网页间具有良好的区分度。

本文与上述方法的不同之处在于：上述基于排序算法的检测方法只运用链接关系进行链接作弊的检测，而运用语义关系的检测方法主要是提取语义特征并进行分类检测。

本文方法除运用链接关系外，还结合了主题相似度权重，使排序算法能更合理地度量非信任值的传播，从而更准确地进行垃圾网页检测。

3结语本文针对链接作弊的垃圾网页，设计了基于主题权重以及主题链接权重的排序检测方法。

本文方法主要贡献在于，从主题相似度与链接关系两方面综合度量相连主机之间的相关性，改进了AntiTrustRank和WATR算法，有效抵制通过张贴链接进行链接作弊的手段。

实验结果证明，本文的算法能将更多的垃圾网页排在前面，主题与链接权重的结合能使非信任值的传播更合理，因此能更有效地检测垃圾网页。

在今后的工作中可以从以下方面进行进一步研究：1）在最终的结果中，有2672个主机的非信任值为0，可以通过选择网络的边缘主机作为种子等方法减少值为0的主机数。

2）在主题和链接权重的结合上可以研究更有效的结合方法，如利用加权平均等方式将两者进行结合。

参考文献：[1]ERDLYI M， GARZ A， BENCZUR A A. Web spam classification： a few features worth more [C]// WebQuality 11： Proceedings of the 2011 Joint WICOW/AIRWeb Workshop on Web Quality. New York： ACM， 2011：27-34.[2]李智超，余慧佳，刘奕群，等. 网页作弊与反作弊技术综述[J].山东大学学报（理学版），2011，46（5）：1-8.（LI Z C， YU H J， LIU Y Q， et al. A survey of Web spam andantispam techniques [J]. Journal of Shandong University （Natural Science）， 2011，46（5）：1-8.）[3]LENG A G K， SINGH A K， KUMAR P R， et al. TPRank： contend with Web spam using trust propagation [J]. Cybernetics and Systems， 2014， 45（4）：307-323.[4]GOH K L， PATCHMUTHU R K， SINGH A K. Linkbased Web spam detection using weight properties [J]. Journal of Intelligent Information System， 2014，43（1）：129-145.[5]WU B， GOEL V， DAVISION B D. Propagating trust and distrust to demote Web spam [C]// MTW 06： Models of Trust for the Web， A workshop at the 15th International World Wide Web Conference （WWW06）. Edinburgh： WWW， 2006：1-9.WU B， GOEL V， DAVISON B D. Propagating trust and distrust to demote Web spam [EB/OL]. [20150411]. http：//rmatik.rwthaachen.de/Publications/CEURWS/Vol190/paper03.pdf.[6]NIE L， WU B， DAVISON B D. Winnowing wheat from the chaff： propagating trust to sift spam from the Web [C]// SIGIR 07： Proceedings of the 30th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2007：869-870.[7]LIU X， WANG Y， ZHU S， et al. Combating Web spam through trustdistrust propagation with confidence [J]. Pattern Recognition Letters， 2013，34（13）：1462-1469.[8]ZHANG X， WANG Y， MOU N， et al. Propagating both trust and distrust with target differentiation for combating linkbased Web spam [J]. ACM Transactions on the Web， 2014，8（3）：881-904.[9]YU H， LIU Y， ZHANG M， et al. Web spam identification with user browsing graph [J]. Lecture Notes in Computer Science， 2009， 5839： 38-49.YU H， LIU Y， ZHANG M， et al. Web spam identification with user browsing graph [C]// LEE G G， SONG D， LIN C Y， et al. Information Retrieval Technology， LNCS 5839. Berlin：Springer， 2009：38-49.[10]MARTINEZROMO J， ARAUJO L. Web spam identification through language model analysis [C]// AIRWeb 09： Proceedings of the 5th International Workshop on Adversarial Information Retrieval on the Web. New York： ACM， 2009：21-28.[11]DONG C， ZHOU B. Effectively detecting content spam on the Web using topical diversity measures [C]// WIIAT 12： Proceedings of the 2012 IEEE/WIC/ACM International Joint Conferences on Web Intelligence and Intelligent Agent Technology. Washington， DC： IEEE Computer Society， 2012，1：266-273.[12]SUHARA Y， TODA H， NISHIOKA S， et al. Automatically generated spam detection based on sentencelevel topic information [C]// WWW 13 Companion： Proceedings of the 22nd International Conference on World Wide Web. Geneva： International World Wide Web Conferences Steering Committee， 2013：1157-1160.backgroundThis work is supported by the Academic and Technological Leadership Foundation of Sichuan Province， China.WEI Sha， born in 1989， M. S. candidate. Her research interests include Web data mining.ZHU Yan， born in 1965， Ph. D.， professor. Her research interests include data mining，Web anomaly detection， big data management and intelligent analysis.。