web智能
Web与智能
----需求现状与发展
一、引言
随着Internet技术特别是WWW技术的飞速发展，Internet已经变成了一个庞大的、分布式的、异构的数据库和应用计算平台．Web的大小和复杂性导致了对web页面的存储、管理和检索的巨大困难，原有的基于数据库和文本的理论、方法和技术很难直接应用到web上，因此，必须增强和发展相关的理论和技术来有效处理与web相关的问题．在这样的背景下，一个崭新的研究方向——web智能(Web intelligence，WI)应运而生，并已成为一个新的研究热点．自从NingZhong和Jiming Liu等人在2000年第24届国际计算机软件和应用年会数据挖掘和Web信息系统分会上首先提出web智能的概念以来，WI的研究得到了研究者的广泛响应和很大关注，并先后于2001年和2003年召开了两次关于WI的国际性会议，取得了颇为丰硕的成果．在2003年国际人工智能联合会(IJCAI—03)上，Jiming Liu作为特邀发言人做了关于WI的特邀报告．2002年春天，web智能团体(Web IntelligenceConsortium，WIC)宣告成立，随后一个国际性的杂志《web Intelligence and Agent Systems》作为WIC的正式期刊出版发行．
WI的研究可以追溯到许多相关领域的研究，如信息检索、数据挖掘、ontology 技术、智能Agent和多Agent系统等，这些领域的研究或多或少都已延伸到了Web这个巨大的、分布式计算平台上，然而这些研究都比较分散，没有一个统一一致的研究目标．WI就是要致力于将这些分散的研究统一起来，并进一步探索和研究更新的理论、方法和技术，因此，WI的提出具有非常重要的意义．本文只希望勾画出目前web智能研究的需求和发展趋势．
二、WI框架
1、WI的概念
WI是一个崭新的研究方向，要想给出它的一个精确的定义是非常困难的，但是，我们又必须给出一个定义来界定它的研究内容和范畴．WI的4位发起人NingZhong，Jiming Liu，Yiyu Yao和OhsugaSetsuo在他们的有关wI的文献和报告中都给出了WI的初步概念，总的来说，不外乎下列两种：
(1)WI是指在web和Internet上充分利用人工智能(AI)和高级信息技术(IT)．WI的目标是AI和IT在新的Web平台上的联合目标，即wI将AI和IT应用到基于Web的智能信息系统的设计与实现上．
(2)WI是指在Web支持的系统、环境和活动中，探测人工智能和高级信息技术的基本作用和实际影响．WI的目标是产生使我们能够在生活、工作和娱乐中充分利用web基础结构所提供的全局连通性的理论和技术．
综上两个定义可以得到这样一个定义公式：WI=AI+IT引．这个公式说明AI 和IT是WI的基础，WI是AI和IT的融合．也有学者提出了计算Web智能(computational web intelligence，CWI)的概念，即将计算智能(computational intelligence，CI)与高级信息技术结合起来并应用到web上，并列出CWI技术的7个主要研究领域，即模糊WI(fuzzy WI，FWI)、神经网络WI(neural WI，NWI)、进化WI(evolutionary WI，EWI)、概率WI(probabilistic WI，PWI)、粒度wI(granular WI，GWI)、粗糙WI(rough WI，RWI)和混合WI(hybrid WI，HWI)．在他们看来，WI定义中的AI是指经典的基于符号的AI．其实，就像CI与AI的关系一样，从广义上来说，WI应该包括CWI，CWI是WI重要的组成部分．
2、WI功能和技术框架
从功能和技术层次上来说，WI技术至少可以分成如图1所示的4个概念层次：
Fig．1 Levels ofWI．
WI的概念层次
其中：
(1)Internet层．Web被看做计算机网络系统，WI技术需要解决web的分布式存取问题、安全和通信问题以及网络本身的特性研究问题．
(2)接口层．Web被看做人与Internet交互的接口，在该层，WI技术需要开发具有交叉语言处理能力、个性化多媒体表示能力和多模式处理能力的智能web
接口．
(3)知识层．Web被看做一个分布式的知识库或数据库，为便于机器的理解和基于Agent的自动计算，WI技术需要开发语义标记语言来表示web的语义内容．
(4)应用层．Web被看做建立社会智能网络的基础．WI技术需要对建立在Internet上的社会网络或各种虚拟社团提供智能支持．进一步地，WI技术还要对日趋增长的各种无线普及设备的访问提供个性化服务．
上述关于WI功能和技术层次的划分，对于WI技术的研究具有整体层次上的指导意义，使我们能够从宏观上把握各层所要研究的内容及各层所要支持的功能．对于一个具体的应用来说，一般要涉及到其中的几个层次或需要几个层次从下到上的共同支持．例如基于Agent的Web挖掘、无线普及设备的访问和与WI 相关的软计算等．因此，不能简单地将某个层次隔离开来进行研究．
3、WI目前的研究内容
为了更好地说明WI的定义，可以进一步从外延上界定WI的研究范围，目前WI的具体研究内容包括web信息系统的环境和基础、web信息管理、web挖掘、web Agent、web信息检索、web人本媒体工程(web human media engineering)以及基于web的应用等7个方面．随着Internet的不断发展和WI研究的不断深入，WI的研究范围将会进一步地变化和扩展．
三、发展现状及其进一步研究工作
在WI中，起关键作用的是Ontology和Web Agent(WA)．
语义web是通向WI的重要环节，其中Ontology起着至关重要的作用．关于Ontology的自动构造和Web语义的自动标注需要进一步做的研究工作包括：
(1)Ontology和ontology语言的广泛表示能力、抽象结构、语法和语义上的互操作能力，以及各种Ontology及标记语言的相互转换；
(2)目前Ontology的自动化和半自动化构造，还不能根本性地解决Ont0109y 构造的困境，如快速性、简易性和可信性等，需要有更新的方法；
(3)开发较为完善实用的、具有广泛通用性的自动标注Web语义的支持工具，以及开发基于语义Web的应用；
在WI中，起关键作用的除了Ontology，还有Web Agent(WA)．WA是指Web
环境中具有自治性、能动性、反应性和社会性的软件实体．WA的作用主要体现在两个方面：其一是作为自治的实体探测(explore)和利用(exploit)基于Web 的服务，其二是作为原型实体展示和解释web产生的规则．目前已有许多这方面的研究，其主要作用如下：
(1)向用户提供个性化多模式界面．WA通过个性化与用户的交互及内容表示，如图、表、总结、指示和个性化可视化助手等各种认知辅助物，向用户提供一个友好的表示风格．
(2)提供Push和Pull功能．用户在与WA交互的过程中，用户可以向WA表达自己的喜好，而WA则搜索用户感兴趣的内容并动态地推荐给用户．
(3)具有模式发现和自组织功能．WA能够检测正在形成的用户购买模式，从而能有效地管理在线商务，合作推荐Agent还能将单个分散的用户聚集成组，形成动态市场．
(4)信息网关的作用．WA能够提供用户最相关信息的即时存取功能，通过管理各种异构的Web信息源包括数据库、数据仓库、有线新闻、新闻组、新闻信函、外发的Email和各种超媒体文档等支持广泛的信息过滤和传送活动，以及基于用户的配置文件剪裁和向用户发送检索到的信息等．
(5)引导用户的访问行为．WA通过向用户提供可免费访问某种信息和有用资源，或者提供参与多用户的信息或商品交流活动的机会，激励用户进入和再进入某种电子服务．
(6)进行合式商品匹配．WA可以作为一种新型的商品交易服务工具．交易商能够通过WA容易获取用户的即时兴趣，而用户也可容易发现和购买到合乎自己需要的商品．
(7)帮助用户进行决策．WA可以在成本效益分析、基于模型的趋势分析等基础上以评估或推荐的形式向用户提供决策支持．
(8)作为用户代表．WA可以扮演web用户的代表来进行有关在线活动，WA 可以代表用户执行产品匹配、服务器监控、协商、投标、拍卖及商品售后服务等任务．
(9)对合作工作的支持．WA能够为合作解决问题和管理工作流活动提供基础结构上的支持和必要的功能．
此外，研究者提出了一个更具挑战性的研究工作，即开发一个UAC(ubiquitous agent communities)系统，它是一个由多个Agent组成的基础体系架构，它能理解用户提交的意图，能利用已往的经验，对意图进行规划和分解，交由多个Agent合作完成．
鉴于WA在WI中的重要作用，对WA及其作用的研究是一项很具实际意义的工作，这方面需要进一步做的研究工作包括：
(1)对WA本身体系结构的研究，包括它的移动性和安全性以及WA之间的通信、合作与竞争等．关于Agent的研究虽然已进行了许多年，取得了许多优秀的成果，但它离真正的实用阶段还有相当长的一段距离．因此，在今后的一段时期内，Agent的研究仍将是AI的研究热点和重点．
(2)进一步拓展WA的应用，特别是基于语义Web的应用．UAC系统是该领域的一个综合范式，它对推动WA及其应用的研究具有重要意义．
(3)利用WA探索和研究WWW所蕴含的内在规律是一个值得进一步研究的课题，对WA所发出的正确的信息搜索行为的研究也是一个值得探讨的问题．此外， Web挖掘与WA范式在某种程度上存在着很强的对应关系，如web内容挖掘与基于内容的过滤器(filter)；Web结构挖掘与权威(reputation)页面过滤器；Web使用记录挖掘与基于事件的过滤器等，它们是WI研究中紧密联系的两个方面．在Web挖掘过程中存在着两个主要问题：一是如何动态地规划、组织、控制和管理Web挖掘过程；二是如何让系统知道什么问题使用什么样的工具和什么时候使用．Zhong提出了通过创建一种基于网格的、有组织的web挖掘Agent 社会，即所谓的web挖掘网格方法来解决这种问题，其具体解决方法如下：
(1)开发多种针对不同任务的web挖掘Agent；
(2)把这些web挖掘Agent组织成具有多层的网格，作为Web下的一个软件中间件，用它来理解用户所提出的问题，对它们进行转换，转变为Web挖掘问题，并进一步发现关于该问题的资源和信息，从而得到一个混合的答案或解决方案；
(3)将这种web挖掘网格用于分布式的、具有多种web数据源的、需进行多面分析的web挖掘任务中，并通过一种分布式的合作多层控制权限来管理web 挖掘网格．
上述思想主要是寄希望于WA的活性来解决复杂的web挖掘问题．由于在WI
中web内容具有良好的语义，具有很好的机器可理解性和可推理性，更兼WA的作用，因此，WI中的Web挖掘将呈现出许多不同的特性：从实现的角度看，基于WI的web挖掘将更主要地利用各种WA的作用，并能执行分布式挖掘任务；从信息的检索上看，基于WI的信息检索将会更加精确、全面和容易；从处理过程上看，基于WI的web挖掘的处理重心将会逐渐后移；从挖掘技术上看，基于WI 的web挖掘将能采用像web挖掘网格这样的技术来解决复杂的问题；从挖掘结果来看，基于WI的web挖掘将更精确，具有更高的可信度．
Web挖掘是WI的核心技术之一，web挖掘应能充分利用WI中语义web与WA 的核心基础作用，进一步发展Web挖掘技术，解决web挖掘中的一些基本问题和重要问题，因此，在未来的web挖掘研究中，有以下4点：
(1)进一步对web挖掘网格进行研究，提出更好的、更可行的、更完善的解决上节所描述的在web挖掘中存在的两个主要问题的解决方案；
(2)研究如何利用暇进行分布式挖掘的问题；
(3)研究具有响应时间约束的web挖掘问题；
(4)研究如何利用web挖掘对web所提供的服务进行优化问题，如对用户的行为或要求进行预测等．
四、WI展望——智慧Web
Hayes-Roth在IJCAI’95的特邀报告中提到：“Agent既是AI的最初目标，也是AI的最终目标．”同样地，Jiming Liu在IJCAI’03的特邀报告中也提到：“WI的下一个范例方向在于智慧的概念，下一代WI的目标是除了信息搜索和知识查询之外，使用户能够获得生活、工作、娱乐和学习的智慧．”他认为智慧web 应该具有以下10种基本能力：
(1)自组织性(self—organization)．即WA具有良好的自组织性，它能自动地向其他服务推荐自己的功能角色以及相应的时空限制和操作环境，智慧Web 能自动地对它们的功能和合作进行管理．
(2)专一化(specialization)．即WA承担着单一化的功能角色，且它们与服务的联系是动态的．
(3)自然进化(growth)．即WA的群体能根据需要动态地改变，旧的Agent 因不适应专一化而消亡，新的Agent能通过自复制而产生，且更具专一性．
(4)自动催化(autocatalysis)．即WA会因搜索请求而激活并能自动地聚类．
(5)问题解决者标记语言(PSML)．即智慧Agent用PSML来规范说明它们的角色环境以及它们与服务之间的关系．
(6)语义(semantics)．即智慧Web能很好地理解词汇内容的意义，准确地找到它们的Ontology的定义地点．
(7)元知识(metaknowledge)．即智慧web用它来处理概念与时空限制知识之间的关系，以及解决Agent之间的利益冲突．
(8)规划(planning)．即Agent为了达到目标，能够在相应的限制内很好地规划自己的行动．
(9)个性化(personalization)．即智慧web能向用户提供个性化服务．
(10)幽默感(sense of humor)．即智慧web在与用户交互时尽可能地表现出幽默性．
这为WI描绘了非常美好的发展前景，现在还很难说这就是WI的最初或最终目标，但是，它至少为WI的研究指明了一个中长期的努力方向．智慧web的10种基本能力对WI的研究者来说是一个更大、更高、更远的研究挑战．
六、结束语
WI是一个崭新的、非常有前途的研究领域，该领域已成为国内外学者的研究热点，并已取得了许多研究成果，但还有很多关键的问题尚待解决．我们可以预见新的理论、标准、工具、系统和应用将不断地出现．正如WI的几个倡导者所描述的：WI将铺设一条通向本世纪最大的发明——智慧web的道路，它的重要性和影响将等价于或超过1876年贝尔电话的发明．
参考文献
https://www.360docs.net/doc/0d1409014.html,hong.JLiu.Y Y Yao Web intelligence (WI) 2000
2.N.Zhong.Y Y Yao.J.Liu Web Intelligence:Research and Development.LNAI 2198 2001
3.N.Zhong.JLiu.Y.Y.Yao Web Intelligence 2003
4.J Liu Web Intelligence (WI): Some research challenge.IJCAI'03 Invited Talk, Acapulco, Mexico, 2003
2004
5.WIC Web Intelligence Consortium 2004
6.Y Y https://www.360docs.net/doc/0d1409014.html,hong.J.Liu Web intelligence (WI):Research challenges and trends in the new information
age 2001
7.Y Y https://www.360docs.net/doc/0d1409014.html,hong.J.Liu Web intelligence (WI):Research challenges and trends in the new information
age.WI-2001 Keynote Talk, Maebashi, Japan, 2001 2004
8.J Liu Web intelligence (WI): What makes wisdom Web? 2003
9.N.Zhong Towards Web intelligence.AWIC' 03 Keynote Talk,Madrid, Spain, 2003 2004
10.N.Zhong.J.Liu.Y.Y.Yao In search of the wisdom Web 2002(11)
11.N.Zhong Toward Web intelligence 2003
12.Y.Q.Zhang.T.Y.Lin Computational Web intelligence (CWI): Synergy of computational intelligence and
Web technology 2004
13.T https://www.360docs.net/doc/0d1409014.html,ssila The semantic Web 2001(05)
14.Tim Berners-Lee Semantic Web-XML2000 2004
15.C.FellbaumWordNet: An Electronic Lexical Database 1998
16.OpenCyc The Open Source version of Cyc technology 2004
17.M.S.Fox.JChionglo.E G Fadel A common-sense model of the enterprise 1993
18.B.Swartout.R.Patil.K.Knight Toward distributed use of large-scale ontologies 1996
19.J.Hendler.D.L.McGuinness The DARPA agent markup language 2000(06)
20.IHorrocks.DFensel The Ontology Inference Layer OIL 2004
21.M K Smith.CWelty.D.L.McGuinness OWL Web ontology language guide 2004
22.A.Dingli.F.Ciravegna.Y.Wilks Automatic semantic annotation using unsupervised information
extraction and integration 2003
23.A.Maedche.S.Staab Ontology learning for the semantic Web 2001(02)
24.N.Zhong Representation and construction of ontologies for Web intelligence 2002(04)
25.C.A.Knoblock Deploying information agents on the Web 2003
26.JLiu.S.W.Zhang Unveiling the origins of Internet use patterns 2001
27.JSrivastava.P.Desikan.V.Kumar Web MiningAccomplishments& future directions 2004
28.韩家炜.孟小峰.王静Web挖掘研究[期刊论文]-计算机研究与发展 2001(04)
29.R.Kosala.H.Blockeel Web mining research: A survey 2000
https://www.360docs.net/doc/0d1409014.html,hong.Y Y Yao The wisdom Web:New challenges for Web intelligence (WI) 2003(01)
引入文献
1.王凤霞计算机软件技术的发展研究[期刊论文]-电脑知识与技术 2009(19)
2.范戈.廖碧成一种基于词义分析的短信问答系统的设计与实现[期刊论文]-山东通信技术 2009(1)
3.蒲筱哥Web自动文本分类技术研究综述[期刊论文]-情报学报 2009(2)
4.张筱丹Web文本挖掘的研究[期刊论文]-科技信息 2009(4)
5.陈治昂.张毅.李大学基于Web智能的网络广告监测器研究与设计[期刊论文]-重庆邮电大学学报（自然科学版）2009(1)
6.刘波.杨路明.雷刚跃.谢东融合粒子群与蚁群算法优化XML群体智能搜索[期刊论文]-计算机研究与发展 2008(8)
7.高淑琴Web文本分类技术研究现状述评[期刊论文]-图书情报知识 2008(3)
8.周宁.方豪.厉劼翀基于JSP技术的智能报装专家系统的设计与实现[期刊论文]-江西电力 2007(1)
9.贾松浩.刘晓霞基于XML的Web Services的研究和应用[期刊论文]-计算机应用与软件 2007(1)
10.范晓鑫.严隽薇.刘敏.于轶基于门户的Web集成体系及其适应性技术的研究[期刊论文]-计算机应用研究2007(7)
11.周宁.方豪.厉劼翀基于JSP技术的智能报装专家系统的设计与实现[期刊论文]-广东电力 2007(3)
12.范晓鑫.严隽薇.刘敏.于轶基于门户的Web集成体系面向Web服务的研究[期刊论文]-成组技术与生产现代化2006(4)
13.向华一致药业ERP系统的设计与实现[学位论文]硕士 2006
14.柯慧燕Web文本分类研究及应用[学位论文]硕士 2006
15.翟晶玉货运代理企业管理信息系统的设计与实现[学位论文]硕士 2006
16.林茂松科学计算可视化的应用研究[学位论文]博士 2006
17.缪海波基于事件驱动的Web应用框架研究及应用[学位论文]硕士 2005
web智能
Web与智能 ----需求现状与发展 一、引言 随着Internet技术特别是WWW技术的飞速发展，Internet已经变成了一个庞大的、分布式的、异构的数据库和应用计算平台．Web的大小和复杂性导致了对web页面的存储、管理和检索的巨大困难，原有的基于数据库和文本的理论、方法和技术很难直接应用到web上，因此，必须增强和发展相关的理论和技术来有效处理与web相关的问题．在这样的背景下，一个崭新的研究方向——web智能(Web intelligence，WI)应运而生，并已成为一个新的研究热点．自从NingZhong和Jiming Liu等人在2000年第24届国际计算机软件和应用年会数据挖掘和Web信息系统分会上首先提出web智能的概念以来，WI的研究得到了研究者的广泛响应和很大关注，并先后于2001年和2003年召开了两次关于WI的国际性会议，取得了颇为丰硕的成果．在2003年国际人工智能联合会(IJCAI—03)上，Jiming Liu作为特邀发言人做了关于WI的特邀报告．2002年春天，web智能团体(Web IntelligenceConsortium，WIC)宣告成立，随后一个国际性的杂志《web Intelligence and Agent Systems》作为WIC的正式期刊出版发行． WI的研究可以追溯到许多相关领域的研究，如信息检索、数据挖掘、ontology 技术、智能Agent和多Agent系统等，这些领域的研究或多或少都已延伸到了Web这个巨大的、分布式计算平台上，然而这些研究都比较分散，没有一个统一一致的研究目标．WI就是要致力于将这些分散的研究统一起来，并进一步探索和研究更新的理论、方法和技术，因此，WI的提出具有非常重要的意义．本文只希望勾画出目前web智能研究的需求和发展趋势． 二、WI框架 1、WI的概念 WI是一个崭新的研究方向，要想给出它的一个精确的定义是非常困难的，但是，我们又必须给出一个定义来界定它的研究内容和范畴．WI的4位发起人NingZhong，Jiming Liu，Yiyu Yao和OhsugaSetsuo在他们的有关wI的文献和报告中都给出了WI的初步概念，总的来说，不外乎下列两种：
复杂网络的链接分析及预测研究
复杂网络的链接分析及预测研究 现实世界中,有许多科技、商业、经济和生物的数据可用复杂网络来表示,例如电力网格、电话交互网、社交网络、万维网以及科学家的合著关系和引用网络;在生物学领域,有流行病学网络、细胞与新陈代谢网络和食物网络;在人际关系中,公司内部的E-mail信息交互、新闻组、聊天室、朋友联系都是网络数据的例子。现在,链接预测问题在社会学、人类学、信息科学以及计算机科学等各个领域都受到了广泛的关注。 当前,对网络数据进行链接预测的方法主要有基于相似度的、基于似然分析的和基于概率模型的方法等。本文对当前网络链接预测的现状进行了分析,针对当前预测算法中存在的一些问题进行了研究,提出了相应的有效的算法。 本文的主要工作如下:(1)提出了直接优化AUC的链接预测算法。快速扩展的互联网形成了具有高维、稀疏和冗余特性的复杂网络。 因此需要有效的链接预测技术来提高链接预测的精度。考虑到AUC指标是衡量链接预测结果质量的主要标准,提出了直接优化AUC的链接预测算法。 在该算法中,将链接预测问题看成是二值分类问题,将AUC最大化作为优化的目标,使用hinge函数作为损失函数,使用随机次梯度下降算法迭代权重向量。实验结果表明,本算法与其他算法的结果相比,不但在AUC指标上有较大的提高,在其他指标上也超过其他算法,可以实现更高质量的预测。 (2)提出了针对节点带有属性的网络的链接预测算法。在很多领域,比如社会学、人类学、信息科学、计算机科学中,网络节点所代表的实体往往具有自己的属性。 这些属性的取值为链接预测提供了很有价值的信息。如何应用这些信息进行
链接预测的问题已经吸引了相当多的关注。 本文提出了利用模块度测度反映网络社区结构信息链接预测算法。基于同一个社区中的节点对之间的链接的可能性比在不同的社区中大这一事实,提出了模块度贡献的概念。 基于模块度贡献的概念,将网络的节点映射到一个低维的欧氏空间。在这个低维空间中,在同一个社区内的节点的将处于相邻的位置。 计算节点在低维空间中位置的余弦相似性,作为链接预测的相似性度量。本文也扩展该方法,将其应用到节点带有属性的网络的链接预测中。 实验结果表明,该算法可以获得理想的预测结果。(3)提出了针对多关系网络的链接预测算法。 许多现实世界中的网络包含多种类型的相互作用和关系。对这样的多关系网络进行链接预测成为网络分析中的一个重要课题。 在所提出的多关系网络的链接预测方法中,考虑了不同类型之间关系的相似性和影响力。本文提出了一种置信度传递的方法来计算每个节点的置信度,并构建每种类型链接之间的置信度向量。 使用置信度向量之间的相似性来衡量不同类型关系之间的影响。在此基础上,提出了一种基于非负矩阵分解的多关系网络链接预测算法。 我们还从理论上证明了所提出的方法的收敛性和正确性。实验结果表明,本方法与其他类似的算法相比,可以降低维度,减少存储空间,取得高质量的预测结果。 (4)提出了对单个节点进行链接预测的基于抽样的算法。在许多现实应用中,需要对用户感兴趣节点的相似性进行预测,而不需要预测网络中的所有节点间的
桂电《商务智能与数据挖掘》简答题答案
《商务智能与数据挖掘》简答题部分答案 --《商务智能与方法应用》（刘红岩编著) P9 ●1、什么是商务智能？ 答： 商务智能指用现代数据仓库技术、联机分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。 ●4、商务智能系统的主要组成要素有哪些？ 答： 一个商务智能系统通常包含6个主要组成部分：数据源、数据仓库、在线分析处理、数据探查、数据挖掘以及业务绩效管理。 P15 ●2、商务智能系统成功的关键因素有哪些？ 答： 商务智能系统成功的关键因素主要有5个：业务驱动、高层支持、业务人员和IT人员的合作、循序渐进、培训。 ●4、OLTP和OLAP分别代表什么?比较二者之间的不同之处。 答： 在线事务处理(OLTP),是数据库管理系统的主要功能，用于完成企业内部各个部门的日常业务操作。 在线分析处理（OLAP）是数据库系统的主要应用，提供数据的多维分析以支持决策过程。 OLTP和OLAP二者的不同之处有：面向的用户；功能的作用；数据库中存储的数据；数据库设计（包括数据库的数据处理方式、使用方式、执行单元、性能指标、事务特性）。 P103 ●3、构建数据仓库系统的主要阶段？ 答：
数据库项目的开发可以分为6个阶段：项目规划、需求分析、概念设计、ETL 设计、逻辑和物理设计、实现与培训。 1.项目规划阶段主要目的是了解总体需求，界定项目实施的范围，评估项目的必要行和可行性，撰写数据仓库项目的规划文档。 2.需求分析阶段，可进一步详细了解需求，确定分析主题以及相关的维度和度量，了解已有信息系统的功能、结构和模型，确定数据仓库中应该包含的数据，以及相关的数据来源，撰写需求分析说明书。 3.概念设计阶段，可利用概念模型描述数据仓库包含的主要及其关系。 4.ETL设计阶段，包括数据抽取、转换和加载设计三部分。 5.逻辑和物理设计阶段，用于设计数据仓库的逻辑模型和物理模型。 6.实现与培训阶段，包括数据仓库系统的实现和用户使用的培训。 ●4、简要说明数据仓库和数据集市的区别和联系。 答： （1)区别： 1.应用范围上，数据仓库一般为企业级；数据集市一般为部门级。 2.存储内容上，数据仓库包含企业经营过程中所有详细数据；数据集市一般 只包含特定范围的详细数据和适度聚合的数据。 3.优化上，数据仓库侧重于处理和探索海量数据，数据集市则侧重于快速的 访问和分析。 (2)联系：数据集市是数据仓库的一种特殊形式，一般情况下数据集市从属于某个数据仓库，但二者又均以资料导向型设计、不属于任何一个OLTP系统 P110 ●1、OLAP有哪些特点？
百度的超链分析技术
百度的超链分析技术 百度搜索引擎的核心技术是/超链分析技术, 百度总裁李彦宏是/超链分析专利的惟一持有人, 而且他给这个技术取名叫人气质量定律, 亦称搜索引擎的第二定律。 它与PageRank 技术的内容相似: 统计每个网页被其它网页链接指向的情况, 次数越多则级别越高, 排名也就越靠前。因此, 超链分析，就是通过分析链接网站的多少来评价被链接的网站质量, 这保证了用户在百度搜索时, 越受用户欢迎的内容排名越靠前。 此外, 超链分析技术将情报学中的引文索引技术同Web 中最基本的东西。超级链接分析的技术相结合, 在查找的准确性、查全率、更新时间、响应时间等方面与其它技术相比都有很大的优势; 同时, 百度应用。内容相关度评价。技术, 并且运用了中文智能语言的处理方法, 依靠字与词的不同切割方法, 弥补了单纯依靠字或词的引擎技术的缺陷, 并且能够在不同的编码之间转换, 这就使得简体字和繁体字的检索结果可以自然结合。 百度的竞价排名方式 竞价排名服务是百度在2001 年7 月建立的一个商业模式, 它是由客户为自己的网页购买关键字排名, 按访问量计费的一种服务。也即搜索引擎排序的自信心定律。由于 检索结果的排名是根据客户出价的多少进行排列, 故称为搜索竞价排名广告。 因此, 百度的检索结果的排序方式是在/ 超链分析。技术根据网页的重要程度及与检索词的相关程度排列出结果后, 再按照竞价排名的情况组织检索结果页面, 根据出价的高低来让参与了相关检索词竞价排名的网站先后排在结果的前列。那么, 竞价排名是否削弱了检索结果的可靠性呢, 百度声称, 其竞价排名系统不会降低检索结果的相关性: / 百度竞价排名系统对客户选择关键字和填写信息的规定和审核非常严格, 保证结果都是跟该关键字最相关的信息。 总之, 搜索引擎结果排序是多种因素综合而成, 如何在检索结果的公正性客观性与搜索引擎提供商的经济利益之间求得平衡事关搜索引擎的未来。
HITS算法概述
基于HITS算法的搜索引擎概述 摘要：本文简要介绍了目前搜索引擎中应用较为广泛的一种算法——HITS算法。HITS算法是Web结构挖掘中最具有权威性和使用最广泛的算法。其基本思想是利用页面之间的引用链来挖掘隐含在其中的有用信息（如权威性），具有计算简单且效率高的特点。HITS算法通过两个评价权值——内容权威度（Authority）和链接权威度（Hub）来对网页质量进行评估。HITS算法认为对每一个网页应该将其内容权威度和链接权威度分开来考虑，在对网页内容权威度做出评价的基础上再对页面的链接权威度进行评价，然后给出该页面的综合评价。它专注于改善泛指主题检索的结果，通过一定的计算(迭代计算)方法以得到针对某个检索提问的最具价值的网页，即排名最高的authority。 关键词：搜索引擎；HITS算法；权威度；网页排名 引言：随着因特网的迅猛发展,搜索引擎的应用已经非常普及。然而,人们对搜索引擎的核心技术———算法设计知之并不多。了解搜索引擎的算法设计思想及原理,有助于提高我们的信息检索能力,评价搜索引擎。 更为重要的是,我国在信息技术领域内的发展情况与发达国家相比还有相当的差距,只有真正掌握了搜索引擎的核心技术,才可能开发出属于我们自己功能强大的搜索引擎,以使我们在当今的信息社会中立于不败之地。 国内目前对搜索引擎排序算法的介绍较少,从已有的文献来看,多集中于对更具影响力的PageRank 算法的介绍和分析研究,而对全球已有较大影响的HITS 算法和SALSA 算法介绍较少。 本文中所重点说明的HITS 算法是由康奈尔大学( Cornell University ) 的JonKleinberg 博士于1998 年首先提出的,HITS 的英文全称为Hy pertext - Induced Topic Search。目前,它为IBM 公司阿尔马登研究中心( IBM Almaden Research Center) 的名为“CLEVER”的研究项目中的一部分。 一、搜索引擎 搜索引擎为用户提供信息检索服务，作为辅助人们检索信息的工具，是在Web上发现信息的关键技术，是用户访问万维网的最佳入口。它借助于自动搜索网页的软件，在网络上通过各种链接获得大页面文档的信息，并按照一定算法与规则进行归类整理，形成文档索引数据库，以备用户查询。 1）搜索引擎的工作原理 搜索引擎有两个重要组成部分，即离线部分和在线部分。离线部分由搜索引擎定期执行，包括下载网站的页面集合，并经处理把这些页面转换成可搜索的索引。在线部分在用户查询时被执行，根据与用户需求的相关性，利用索引去选择候选文档并排序显示。 搜索引擎原理 －三段式工作流程
web超链分析算法综述
WEB超链分析算法研究 朱炜王超李俊潘金贵 (南京大学计算机软件新技术国家重点实验室南京210093) (南京大学多媒体技术研究所南京210093) Research on Algorithms Analyzing Hyperlinks：A Survey ZHU Wei W ANG Chao LI Jun Pan Jin-Gui (State Key Laboratory for Novel Software Technology，Nanjing University，Nanjing 210093) （Multimedia Technology Institute of Nanjing University，Nanjing 210093）Abstract: The World Wide Web serves as a huge, widely distributed, global information service center, and expanding in a rapid speed. It is import to find the information the user need precisely and rapidly. In recent years, researchers discovery that rich and import information is contained among hyperlinks, and develop a lot of algorithm using hyperlink to improve the quantity and relevance of the results which search engine returned. This paper presents a review and a comparison of such algorithms existing now. Problems of these algorithms and directions to further research will be discussed. Keyword: PageRank，Authority，Hub，HITS，SALSA，Anchor 1.引言 万维网WWW（World Wide Web）是一个巨大的，分布全球的信息服务中心，正在以 飞快的速度扩展。1998年WWW上拥有约3.5亿个文档[14]，每天增加约1百万的文档[6]，不到9个月的时间文档总数就会翻一番[14]。WEB上的文档和传统的文档比较，有很多新的特点，它们是分布的，异构的，无结构或者半结构的，这就对传统信息检索技术提出了新的挑战。 传统的WEB搜索引擎大多数是基于关键字匹配的，返回的结果是包含查询项的文档，也有基于目录分类的搜索引擎。这些搜索引擎的结果并不令人满意。有些站点有意提高关键字出现的频率来提高自身在搜索引擎中的重要性，破坏搜索引擎结果的客观性和准确性。另外，有些重要的网页并不包含查询项。搜索引擎的分类目录也不可能把所有的分类考虑全面，并且目录大多靠人工维护，主观性强，费用高，更新速度慢[2]。 最近几年，许多研究者发现，WWW上超链结构是个非常丰富和重要的资源，如果能够充分利用的话，可以极大的提高检索结果的质量。基于这种超链分析的思想，Sergey Brin 和Lawrence Page在1998年提出了PageRank算法[1] ，同年J. Kleinberg提出了HITS算法[5]，其它一些学者也相继提出了另外的链接分析算法，如SALSA，PHITS，Bayesian等算法。这些算法有的已经在实际的系统中实现和使用，并且取得了良好的效果。 文章的第2部分按照时间顺序详细剖析了各种链接分析算法，对不同的算法进行了比较。第3部分对这些算法做了评价和总结，指出了存在的问题和改进方向。 2.WEB超链分析算法 2．1 Google和PageRank算法 搜索引擎Google最初是斯坦福大学的博士研究生Sergey Brin和Lawrence Page实现的一个原型系统[2]，现在已经发展成为WWW上最好的搜索引擎之一。Google的体系结构类似于传统的搜索引擎，它与传统的搜索引擎最大的不同处在于对网页进行了基于权威值的排序处理，使最重要的网页出现在结果的最前面。Google通过PageRank元算法计算出网页的PageRank值，从而决定网页在结果集中的出现位置，PageRank值越高的网页，在结果中出现的位置越前。
数据挖掘及商务智能总结
第一章绪论 什么是数据挖掘，什么是商业智能 从大型数据库中提取有趣的（非平凡的、蕴涵的、先前未知的且是潜在有用的）信息或模式。 商业智能是要在必须的时间段内，把正确有用的信息传递给适当的决策者，以便为有效决策提供信息支持。 分类算法的评价标准 召回率recall =系统检索到的相关文件数/相关文件总数 准确率precision（查准率）= 系统检索到的相关文件数/系统返回的文件总数第二章数据仓库 什么是数据仓库 是运用新信息科技所提供的大量数据存储、分析能力，将以往无法深入整理分析的客户数据建立成为一个强大的顾客关系管理系统，以协助企业制定精准的运营决策。 数据仓库的基本特征 1面向主题2整合性 3长期性 4稳定性 第三章数据挖掘简介 数据挖掘的一般功能 1分类2估计3 预测4关联分类5聚类 数据挖掘的完整步骤 1理解数据与数据所代表的含义 2获取相关知识与技术 3整合与检查数据 4取出错误或不一致的数据 5建模与假设 6数据挖掘运行 7测试与验证所挖掘的数据 8解释与使用数据 数据挖掘建模的标准 CRISP-CM 跨行业数据挖掘的标准化过程 第四章数据挖掘中的主要方法 基于SQL Server 2005 SSAS的十种数据挖掘算法是什么 1.决策树 2.聚类 3.Bayes分类 4.有序规则 5. 关联规则 6.神经网络 7.线性回归 8. Logistic回归 9. 时间序列10. 文本挖掘 第五章数据挖掘与相关领域的关系 数据挖掘与机器学习、统计分析之间的区别与联系（再看看书整理下） 32页 处理大量实际数据更具优势，并且使用数据挖掘工具无需具备专业的统计学背景。 数据分析的需求和趋势已经被许多大型数据库所实现，并且可以进行企业级别的数据挖掘应用。 相对于重视理论和方法的统计学而言，数据挖掘更强调应用，毕竟数据挖掘目的
WEB超链分析算法纵览
WEB超链分析算法纵览 来源:搜索引擎排名研究 朱炜王超李俊潘金贵 Abstract: The World Wide Web serves as a huge, widely distributed, global information service center, and expanding in a rapid speed. It is import to find the information the user need precisely and rapidly. In recent years, researchers discovery that rich and import information is contained among hyperlinks, and develop a lot of algorithm using hyperlink to improve the quantity and relevance of the results which search engine returned. This paper presents a review and a comparison of such algorithms existing now. Problems of these algorithms and directions to further research will be discussed. Keyword: PageRank，Authority，Hub，HITS，SALSA，Anchor １．引言 万维网WWW（World Wide Web）是一个巨大的，分布全球的信息服务中心，正在以飞快的速度扩展。1998年WWW上拥有约3.5亿个文档[14]，每天增加约1百万的文档[6]，不到9个月的时间文档总数就会翻一番[14]。WEB上的文档和传统的文档比较，有很多新的特点，它们是分布的，异构的，无结构或者半结构的，这就对传统信息检索技术提出了新的挑战。 传统的WEB搜索引擎大多数是基于关键字匹配的，返回的结果是包含查询项的文档，也有基于目录分类的搜索引擎。这些搜索引擎的结果并不令人满意。有些站点有意提高关键字出现的频率来提高自身在搜索引擎中的重要性，破坏搜索引擎结果的客观性和准确性。另外，有些重要的网页并不包含查询项。搜索引擎的分类目录也不可能把所有的分类考虑全面，并且目录大多靠人工维护，主观性强，费用高，更新速度慢[2]。 最近几年，许多研究者发现，WWW上超链结构是个非常丰富和重要的资源，如果能够充分利用的话，可以极大的提高检索结果的质量。基于这种超链分析的思想，Sergey Brin和Lawrence Page在1998年提出了PageRank算法[1] ，同年J. Kleinberg提出了HITS算法[5]，其它一些学者也相继提出了另外的链接分析算法，如SALSA，PHITS，Bayesian等算法。这些算法有的已经在实际的系统中实现和使用，并且取得了良好的效果。 文章的第2部分按照时间顺序详细剖析了各种链接分析算法，对不同的算法进行了比较。第3部分对这些算法做了评价和总结，指出了存在的问题和改进方向。
WEB智能应用系统开发运行支撑平台的总体设计
WEB智能应用系统开发运行支撑平台的总体设计（欢迎讨论） WEB智能应用系统开发运行支撑平台的总体设计 整个应用系统的运行工作原理 1，开发阶段 专家系统开发平台与服务端的交互过程： 图1， （1），专家系统开发人员查询KBUDDI服务器，获取可用的知识库操作web服务列表，根据自己的需要选择相应的知识库操作web服务。 （2），专家系统开发人员查询组件库，获取可用的智能组件列表，根据自己的需要选择相应的智能组件，获取智能组件的id。 （3），专家系统开发人员根据所选的知识库和智能组件，从组件库中查询合适的输入界面组件并下载到本地，如果没有，则开发人员根据所选知识库操作Web服务返回的知识库文件所需要的初始事实列表创建相应的输入事实界面组件供本地使用，也可以注册到组件库中供以后重用。 （4），开发人员根据所要采用的智能组件下载相应组件的辅助组件（如，输出界面组件，显示界面组件，推理过程分析组件等）。 说明，a，输入界面组件，在生成后的专家系统上，能够通过该界面获取用户的输入，最终生成一个包含所有输入信息的对象，该对象能够传递给服务端的智能组件使用。b，所选择的知识库的表示形式应与智能组件匹配。c，在注册智能组件时需要为每个智能组件产生一个唯一id（例如产生GUID使用）。d，在向组件管理服务中注册智能组件时应提供辅助组件的注册，并与智能组件区别开，一个智能组件可以有多套辅助组件。e，知识查询服务由知识访问中间件提供，组件查询服务由组件管理服务提供。f，在开发过程中可以查看组件管理库中所有现有组件（智能组件和辅助组件）信息，每个组件要有详细的说明信息，方便用户从中选择。g，这里的界面指的不是某个可视化的控件，如一个按钮，一个标签等界面元素，而是完成相关的一种功能的一系列可视化控件及相关的工作流程的组合。h，界面组件可以用平台提供的界面开发工具开发，也可以用大型的IDE开发。i，辅助组件也可以不从组件库中下载，而是在本地开发出来使用。i，输入界面与知识库相关。 专家系统开发平台在本地进行开发的过程 图3，
主流搜索引擎算法讲解大全
主流搜索引擎算法讲解大全 １．引言 万维网WWW（World Wide Web）是一个巨大的，分布全球的信息服务中心，正在以飞快的速度扩展。1998年WWW上拥有约3.5亿个文档[14]，每天增加约1百万的文档[6]，不到9个月的时间文档总数就会翻一番[14]。WEB上的文档和传统的文档比较，有很多新的特点，它们是分布的，异构的，无结构或者半结构的，这就对传统信息检索技术提出了新的挑战。 传统的WEB搜索引擎大多数是基于关键字匹配的，返回的结果是包含查询项的文档，也有基于目录分类的搜索引擎。这些搜索引擎的结果并不令人满意。有些站点有意提高关键字出现的频率来提高自身在搜索引擎中的重要性，破坏搜索引擎结果的客观性和准确性。另外，有些重要的网页并不包含查询项。搜索引擎的分类目录也不可能把所有的分类考虑全面，并且目录大多靠人工维护，主观性强，费用高，更新速度慢[2]。 最近几年，许多研究者发现，WWW上超链结构是个非常丰富和重要的资源，如果能够充分利用的话，可以极大的提高检索结果的质量。基于这种超链分析的思想，Sergey Brin和Lawrence Page在1998年提出了PageRank算法[1] ，同年J. Kleinberg提出了HITS算法[5]，其它一些学者也相继提出了另外的链接分析算法，如SALSA，PHITS，Bayesian等算法。这些算法有的已经在实际的系统中实现和使用，并且取得了良好的效果。 文章的第2部分按照时间顺序详细剖析了各种链接分析算法，对不同的算法进行了比较。第3部分对这些算法做了评价和总结，指出了存在的问题和改进方向。２．WEB超链分析算法 ２.１Google和PageRank算法 搜索引擎Google最初是斯坦福大学的博士研究生Sergey Brin和Lawrence Page 实现的一个原型系统[2]，现在已经发展成为WWW上最好的搜索引擎之一。Google的体系结构类似于传统的搜索引擎，它与传统的搜索引擎最大的不同处在于对网页进行了基于权威值的排序处理，使最重要的网页出现在结果的最前面。Google通过PageRank元算法计算出网页的PageRank值，从而决定网页在结果集中的出现位置，PageRank值越高的网页，在结果中出现的位置越前。 ２.１.１PageRank算法 PageRank算法基于下面2个前提： 前提1：一个网页被多次引用，则它可能是很重要的；一个网页虽然没有被多次引用，但是被重要的网页引用，则它也可能是很重要的；一个网页的重要性被平均的传递到它所引用的网页。这种重要的网页称为权威（Authoritive）网页。
超链分析基本原理
.基本原理 超链分析的基本原理是：在某次搜索的所有结果中，被其他网页用超链指向得越多的网页，其价值就越高，就越应该在结果排序中排到前面。 超链分析是一种引用投票机制，对于静态网页或者网站主页，它具有一定的合量性，因为这样的网页容易根据其在互联网上受到的评价产生不同的超链指向量，超链分析的结果可以反映网页的重要程度，从而给用户提供出更重要、更有价值的搜索结果。 搜索引擎，也不能真正理解网页上的内容，它只能机械地匹配网页上的文字。其收集了互联网上几千万到几十亿个网页并对网页中的每一个文字(即关键词)进行索引，建立索引数据库的全文搜索引擎。当用户查找某个关键词的时候，所有在页面内容中包含了该关键词的网页都将作为搜索结果被搜出来。在经过复杂的算法进行排序后，这些结果将按照与搜索关键词的相关度高低，依次排列。 搜索引擎在查询时主要根据一个站点的内容与查询词的关联程度进行排序。对于一个站点的内容搜索引擎则是根据标题、关键词、描述、页面开始部分的内容以及这些内容本身之间的关联程度以及一个站点在整个网络上的关联程度来确定的。 使用超链分析技术，除要分析索引网页本身的文字，还要分析索引所有指向该网页的链接的URL、AnchorText，甚至链接周围的文字。所以，有时候，即使某个网页A中并没有某个词，比如“软件”，但如果有别的网页B用链接“软件”指向这个网页A，那么用户搜索“软件”时也能找到网页A。而且，如果有越多网页(C、D、E、F……)用名为“软件”的链接指向这个网页A，或者给出这个链接的源网页(B、C、D、E、F……)越优秀，那么网页A 在用户搜索“超链分析”时也会被认为相关度越高，排序也会越靠前。 2.工作步骤 搜索引擎的工作步骤有三步：从互联网上抓取网页建立索引数据库在索引数据库中搜索排序。 (1)从互联网上抓取网页：专门用于检索信息的Robot程序像蜘蛛(spider)一样在网络间爬来爬去，利用能够从互联网上自动收集网页的Spider系统程序，自动访问互联网，并沿着任何网页中的所有URL爬到其它网页，重复这过程，并把爬过的所有网页收集回来，随着互联网的迅速发展，使得检索所有新出现的网页变得越来越困难。因此，在Wanderer基础上，一些编程者将传统的Spider程序工作原理作了些改进。其设想是，既然所有网页都可能有连向其他网站的链接，那么从一个网站开始，跟踪所有网页上的所有链接，就有可能检索整个互联网。 (2)建立索引数据库：由分析索引系统程序对收集回来的网页进行分析，提取相关网页信息(包括网页所在URL、编码类型、页面内容包含的所有关键词、关键词位置、生成时间、大小、与其它网页的链接关系等)，根据一定的相关度算法进行大量复杂计算，得到每一个网页针对页面文字中及超链中每一个关键词的相关度(或重要性)，然后用这些相关信息建立网页索引数据库。 (3)索引数据库中搜索排序：当用户输入关键词搜索后，由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页。因为所有相关网页针对该关键词的相关度早已算好，所以只需按照现成的相关度数值排序，相关度越高，排名越靠前。最后，由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户。 3.搜索效果 搜索引擎Spider一般要定期重新访问所有网页(各搜索引擎的周期不同，可能是几天、几周或几月，也可能对不同重要性的网页有不同的更新频率)，更新网页索引数据库，以反映出网页文字的更新情况，增加新的网页信息，去除死链接，并根据网页文字和链接关系的
第8章 链接结构分析子系统设计及核心算法
第8 章链接结构分析子系统设计及核心算法 本章内容： 万维网链接结构图及特性； 链接结构分析方法的形式化基础； 链接结构分析Page Rank 算法、HITS 算法； 链接结构分析结果在搜索结果排序中的应用。 8.1 万维网链接结构图 万维网的链接结构可用有向图来描述，网页是节点，超链接是有向边。 从源网页指向目的网页的超链接，为源网页的“出链接”，为目的网页的“入链接”。 ●节点A-H 表示网页； ●链接关系用有向边来表示； ●网页A、B、C 之间的双向边，表示三个网页之间相互链接； ●网页F与G各自有一个指向自身的有向边。
链接结构关系图的邻接矩阵描述。 邻接矩阵是用来描述图中节点邻接关系的一种方式，设n为链接结构图Graph 的节点规模，则邻接矩阵M 是一个n*n的矩阵，其中某个元素m i,j的取值满足： 图8.1 所示链接结构图，其邻接矩阵如下： 万维网链接图GWeb (V, E) V：节点集合，V = { v1 , v2 , v3，…，v n｝，节点数|V| = n ; E ：边集合，E = { e1 , e2 , e3，…，e m｝，边数|E|=m 。
将万维网的整个链接结构图作为对象来研究不仅对理解万维网的各种属性有直接的意义，同时还对搜索引擎领域的相关算法研究也有着重要的帮助。 很多实验和观察促进了万维网链接图结构的研究。 针对图GWeb ( V , E )，研究； V、E的规模； 拓扑结构； 节点入度、出度分布。 图G ( V , E）的某节点所关联的边数称为该节点的“度”。 对于图GWeb ( V , E）而言，某节点的入度就是指以该节点作为目的网页的超链接数（该节点入链接数）； 某节点的出度则是指以该节点为源网页的超链接数（该节点出链接数）。 8.1.1 万维网链接图的规模 GWeb (V, E）规模难以统计 (1)图中的节点存在形式复杂； 非自由访问的网页（网页对用户访问加以限制，如采取登录策略等）； 自由访问的网页； 传统形式的静态页面； 随用户查询需求在服务器端实时生成的动态页面； 用Ajax 技术生成的URL 相同但内容千差万别的页面； (2) 超链接的界定，存在诸多困难； “博客日历”，每个日期都是一个超链接。 服务器端自动生成的超链接VS网页作者手工编辑添加的链接。 GWeb ( V , E）的节点集合规模 通过域名注册服务商可统计网站、域名数量且较为准确； 统计网站涉及的网页数目就会面临上面提到的问题； 研究中通常用搜索引擎的索引规模来估算万维网链接图的节点规模；
商务智能与数据挖掘-大纲
《商务智能与数据挖掘》教学大纲 课程编号：070663B 课程类型：□通识教育必修课□通识教育选修课 专业必修课□专业选修课 □学科基础课 总学时：48 讲课学时：32 实验（上机）学时： 16 学分：3 适用对象：信息管理与信息系统专业（卓越班） 先修课程：程序设计基础与应用、计算机网络技术与应用 一、教学目标 本课程主要学习商务智能与数据挖掘的方法和技术。商务智能是近几年的研究热点，数据挖掘是实现商务智能的重要手段。教学的主要目标是使学生掌握当前商务智能中使用的核心技术，培养学生运用数据挖掘算法进行数据处理和分析的能力，让学习理解不同算法的应用场景，从而使学生学会利用数据挖掘算法完成数据分析。因此该课程是先修课程“程序设计基础与应用”、“计算机网络技术与应用”的延续，并可为后续的专业课程打下良好的基础。 二、教学内容及其与毕业要求的对应关系 （一）教学内容 本课程主要教学内容是在学生掌握程序设计基础与应用、计算机网络技术与应用等基本原理后，学习如何分析数据、如何利用数据挖掘算法解决问题。具体包括：商务智能概论、商务智能中的核心技术、商务智能与知识管理、数据挖掘基础、数据挖掘的目的任务、数据挖掘的技术方法等。 （二）教学方法和手段
根据教学目标，拟采用的教学方法有：课堂讲解基本概念和核心知识，讲授和讨论相结合领会知识要点，案例教学训练解决问题的能力，借助数据挖掘软件让学生进行上机操作和具体实践。 （三）实践教学环节要求 根据教学进度和要求布置相应的小作业，通过上机实践。每一章都有对应的上机内容。建议安装和配置软件进行自学，完成案例的内容。通过上机学习本课程的理论，掌握常用数据挖掘算法，能够基于数据挖掘算法进行数据分析工作。 （四）学习要求 为有效学习本课程，要求学生首先学习程序设计基础与应用、计算机网络技术与应用等基本原理。按照大纲熟读教材，并通过课后思考和上机实践进行多角度和多层次的反复学习。 （五）与毕业要求的关系 商务智能和数据挖掘是信息管理与信息系统专业的学生必须掌握的一门基础课程，是信息时代发展的必要产物。在学生的毕业设计中，学生可以使用商务智能和数据挖掘中的算法、技术完成毕业设计中核心智能模块的设计和实现。 （六）教学中应注意的问题 由于程序设计基础与应用、计算机网络技术与应用等是该课程的先修基础，如果学生先修基础课没有学好，本课程的实验环节将无法正常进行。因此，教学中需要根据学生掌握先修课程基础情况，由易到难循序渐进学习编程及数据分析相关工具和技术。 三、各教学环节学时分配 教学课时分配
电子商务-商务智能与数据挖掘-理论大纲
《商务智能与数据挖掘》课程教学大纲 课程代码：040942702 课程英文名称： Business Intelligence and Data Mining 课程总学时：32 讲课：32 实验：0 上机：0 适用专业：电子商务 大纲编写（修订）时间：2017.6 一、大纲使用说明 （一）课程的地位及教学目标 当前，新型电子商务模式的发展使得信息量不断增长、信息复杂程度不断提高，在电子商务产业链中的各个参与者都提出了大量的商务智能要求，商务智能已经成为电子商务应用的重要组成部分，基于商务智能的关键技术来挖掘企业重要的信息价值已成为电子商务领域研究和应用的热点。 《商务智能与数据挖掘》是为培养适应新型网络经济和新型电子商务模式发展需要的、应用型的、高层次的专业人才服务的一门专业课。通过本课程的学习，将使学生熟悉商务智能领域的主流产品及工具；掌握数据挖掘常用的算法及应用场景；能够应用数据挖掘原理和算法，通过对数据的分析和处理，解决商务智能中的实际问题。 （二）知识、能力及技能方面的基本要求 通过本课程的教学，使学生达到下列基本要求： 1.了解商务智能与数据挖掘研究前沿的最新成果。 2.掌握商务智能与数据挖掘的基本概念和理论。 3.理解商务智能与数据挖掘的相关技术及原理。 4.培养学生解决构造智能商务应用系统、解决商务智能中关键难点问题的能力。 （三）实施说明 1.本课程是一个不断发展、更新和完善的理论体系，按学时情况可适当调节授课内容并进行充实和完善。 2.本课程内容采用理论教学与案例教学相结合的方式，使学生不仅能够掌握商务智能与数据挖掘的基本概念、基础理论和经典算法，而且通过案例应用的讲解帮助学生更好地掌握数据挖掘在商务智能数据分析中的实际应用。 （四）对先修课的要求 电子商务概论、数据库、数据结构 （五）对习题课、实践环节的要求 习题部分是对理论知识的理解和消化，同时也是实践环节的理论指导，因此应注意将二者紧密联系，既提高学生的理论水平，又提高其动手实践能力。 1.对重点、难点章节（如：数据分类及预测、数据聚类等）应布置课后实践作业，以解决实际问题为目的。 2.课后作业要少而精，内容要多样化，作业题内容必须包括基本概念、基本理论及能力提升方面的内容。学生必须独立、按时完成课外习题和作业，作业的完成情况应作为评定课程成绩的一部分。 （六）课程考核方式 1.考核方式：考查 2.考核目标：考核学生对商务智能与数据挖掘基础知识的掌握情况、数据挖掘实际操作能力
链接分析算法之：HITS算法
链接分析算法之：HITS算法 HITS（HITS(Hyperlink - Induced Topic Search) ）算法是由康奈尔大学( Cornell University ) 的Jon Kleinberg 博士于1997 年首先提出的,为IBM 公司阿尔马登研究中心( IBM Almaden Research Center) 的名为“CLEVER”的研究项目中的一部分。 HITS算法是链接分析中非常基础且重要的算法，目前已被Teoma 搜索引擎（https://www.360docs.net/doc/0d1409014.html,）作为链接分析算法在实际中使用。 Hub页面（枢纽页面）和Authority页面（权威页面）是HITS算法最基本的两个定义。 所谓“Authority”页面，是指与某个领域或者某个话题相关的高质量网页，比如搜索引擎领域，Google和百度首页即该领域的高质量网页，比如视频领域，优酷和土豆首页即该领域的高质量网页。 所谓“Hub”页面，指的是包含了很多指向高质量“Authority”页面链接的网页，比如hao123首页可以认为是一个典型的高质量“Hub”网页。 图1给出了一个“Hub”页面实例，这个网页是斯坦福大学计算语言学研究组维护的页面，这个网页收集了与统计自然语言处理相关的高
质量资源，包括一些著名的开源软件包及语料库等，并通过链接的方式指向这些资源页面。这个页面可以认为是“自然语言处理”这个领域的“Hub”页面，相应的，被这个页面指向的资源页面，大部分是高质量的“Authority”页面。 图1 自然语言处理领域的Hub页面 HITS算法的目的即是通过一定的技术手段，在海量网页中找到与用户查询主题相关的高质量“Authority”页面和“Hub”页面，尤其是“Authority”页面，因为这些页面代表了能够满足用户查询的高质量内容，搜索引擎以此作为搜索结果返回给用户。 基本假设1：一个好的“Authority”页面会被很多好的“Hub”页面指向；
数据挖掘与商务智能复习资料
1、联机分析处理（on line analytical processing ，OLAP）从数据仓库中的综合数据出发，提供面向分析的多维模型，并使用多维分析的方法从多个角度、多个层次对多维数据进行分析，使决策者能够以更加自然的方式来分析数据。 2、数据仓库是一种为信息分析提供了良好的基础并支持管理决策活动的分析环境，是面向主题的、集成的、稳定的、不可更新的、随时间变化的、分层次的多维的集成数据集合。 3、数据仓库的特点：（1）数据仓库是面向主题的（2）数据仓库的整合性（3）数据仓库数据的集成性（4）数据仓库的稳定性（5）数据仓库的长期性（6）数据仓库是随时间变化的（7）数据仓库的数据量很大（8）数据仓库软、硬件要求较高 4、数据库与数据仓库的关系： 5、数据集市（data marts）通常是指较为小型化、针对特定目标且建设成本较低的一种数据仓库。为了特定的应用目的或应用范围，而从数据仓库中独立出来的一部分数据，也可称为部门数据或主题数据（subject data）。 数据集市的两种架构： （1）、从属数据集市：它的数据直接来自于中央数据仓库。一般为那些访问数据仓库十分频繁的关键业务部门建立从属的数据集市，这样可以很好地提高查询的反应速度。
（2）独立数据集市：它的数据直接来源于各生产系统。许多企业在计划实施数据仓库时，往往出于投资方面的考虑，最后建成独立数据集市，用来解决个别部门比较迫切的决策问题。
6、数据挖掘是在不同的数据源中包括结构化的数据、半结构化的数据和非结构化的数据，即既可以是数据库，也可以是文件系统，或其他任何组织在一起的数据集合，通过一定的工具与方法寻找出有价值的知识的一类深层次的数据分析方法。 7、数据挖掘与OLAP的差异： （1）、OLAP是决策支持领域的一部分。OLAP分析师是建立一系列的假设，然后通过OLAP来证实或推翻这些假设来最终得到自己的结论。（2）、数据挖掘不是用于验证某个假定的模式（模型）的正确性，而是在数据库中自己寻找模型。他在本质上是一个归纳的过程。 （3）、数据挖掘和OLAP具有一定的互补性。 8、实施数据挖掘建模的六个阶段及四个层次 阶段：（1）、定义商业问题：针对企业问题和企业需求进行了解和确认，针对不同的需求做深入的了解，将其转化为数据挖掘的问题，并拟定逐步构想。 （2）、数据理解：建立数据库和分析数据库 （3）、数据预处理：同第二步为数据处理的核心
基于PageRank与HITS的改进算法的网页排名优化
第42卷第2期武汉科技大学学报 V o l .42,N o .2 2019年4月 J o u r n a l o fW u h a nU n i v e r s i t y o f S c i e n c e a n dT e c h n o l o g y A p ???????????????????????????????????????????????? r .2019 收稿日期:2018-11-02 基金项目:国家自然科学基金资助项目(51874217). 作者简介:库 珊(1993-),女,武汉科技大学硕士生.E -m a i l :1938515966@q q .c o m 通讯作者:刘 钊(1969-),男,武汉科技大学教授,博士.E -m a i l :l i u z h a o @w u s t .e d u .c n D O I :10.3969/j .i s s n .1674-3644.2019.02.013基于P a g e R a n k 与H I T S 的改进算法的网页排名优化 库 珊,刘 钊 (1.武汉科技大学计算机科学与技术学院,湖北武汉,430065; 2.武汉科技大学智能信息处理与实时工业系统湖北省重点实验室,湖北武汉,430065 )摘要:针对传统网页排序算法P a g e R a n k 和H I T S 中存在的主题漂移二检索效率低等不足,本文提出了一种改进算法P H I A (P a g e R a n ka n dH I T S I m p r o v e dA l g o r i t h m )三该算法继承了H I T S 算法获取根集和基本集的方法,并且使用根集中所有网页的P a g e R a n k 值作为H u b 和A u t h o r i t y 初始迭代值,最后根据马尔可夫链求随机矩阵的特征向量的方式来获取网页排名的静态分布三基于随机关键词的检索结果可知,相比于传统的P a g -e R a n k 和H I T S 算法,改进P H I A 算法具有更快的收敛速度,并且在一定程度上提高了网页排序的准确度三关键词:P a g e R a n k 算法;H I T S 算法;链接结构;网页排序;算法改进中图分类号:T P 301.6 文献标志码:A 文章编号:1674-3644(2019)02-0155-06 P a g e R a n k 算法是1998年由G o o g l e 创始人S e r g e y B r i n 和L a w r e n c eP a g e 提出的基于链接分析的网页排序算法[1] ,其思想是通过分析网络 的链接结构来获得网络中网页的重要性排名三传统的P a g e R a n k 算法中,对于同一网页链出时的页面等级值(P a g e R a n k )是同等对待且平均分配的,没有考虑到不同链接的重要性会有所不同,而这与W e b 链接的实际情况不符三几乎在同一时 期,康奈尔大学的K l e i n b e r g 博士提出了H I T S 算法[2] ,作为同样基于链接分析的算法,该算法中 引入了枢纽(H u b )页面和权威(A u t h o r i t y )页面的概念,两者的相互优化关系构成了H I T S 算法 的基础,但是两者在迭代过程中会相互增强,对查询结果的准确性造成影响三此后,相继出现了 A R C [3]二S A L S A [4]算法等一系列以链接分析为基 础的页面分级算法,并且在实际应用中取得了一定的成果三另一方面,为解决传统P a g e R a n k 和H I T S 算法中存在的不足, 国内外研究者也提出了许多改进算法,如文献[5]提出了结合链接和内容信息的改进P a g e R a n k 算法,其去除了P a g e R - a n k 算法需要的前提,考虑到了用户从一个网页直接跳转到非直接相邻但内容相关的另外一个网 页的情况三文献[6]提出了通过在P a g e R a n k 算法中添加链入链出权重因子二用户反馈因子二主题相关因子和时间因子,使得搜索结果更接近用户查询需求,同时兼顾了搜索内容的相关度和查准率三文献[7]提出利用P a g e R a n k 算法对L u c e n e 原有的排序算法进行改进,设计并实现了一个针对移动信息的个性化搜索引擎三文献[8]提出了一种结合网页文本分析和扩散速率改进的F -H I T S 算法,以解决传统H I T S 算法中易发生主题漂移二计算效率低等问题三 基于此,本文通过分析传统P a g e R a n k 和H I T S 算法中存在的不足, 提出了一种基于这两种算法的改进算法P H I A (P a g e R a n ka n d H I T S I m p r o v e dA l g o r i t h m ),该算法继承了H I T S 算法获取根集和基本集的方法,并使用根集中所有网 页的P a g e R a n k 值作为H u b 值和A u t h o r i t y 值的初始迭代值,放弃了H I T S 算法中的相互迭代方式,而是通过求马尔可夫矩阵的方式来获取网页排名的静态分布三 1 网页排序算法 1.1 P a g e R a n k 算法P a g e R a n k 算法是根据网页超链接之间的相