云计算与大数据-孟小峰

合集下载

计算社会科学促进社会科学研究转型

社会科学2019年第7期孟小峰张祎：计算社会科学促进社会科学研究转型计算社会科学促进社会科学研究转型孟小峰张祎摘要：作为一门典型的交叉学科，计算社会科学是连接自然科学和社会科学的桥梁，其充分利用现有信息技术对社会以及相关现象展开研究。

当技术模式进入后大数据时代，当万物互联技术涌现，当中国社会呈现城市化、国际化、工业化、市场化和扁平化等发展趋势，传统的计算社会科学只有进行变革才能与时俱进，因而出现了新的发展趋势。

从大数据时代迈向后大数据时代，计算社会科学迎来了新的发展机遇，也面临新的挑战，主要表现在大数据融合、大数据治理、大数据隐私、数据透明和人机悖论等方面。

要充分结合时代背景，将上述挑战转换为机遇，从而真正完成计算社会科学变革，就必须实现科学研究范式转移。

在“技术推动社会发展，社会丰富技术内涵’’的相辅相成机制中，以社会学家为代表的学者将可能提出根植于社会科学的第五研究范式。

关键词：计算社会科学；后大数据时代；万物互联；科学研究范式转移；第五科学研究范式中图分类号：C03 文献标识码：A文章编号：0257-5833(2019)07-0003-08作者简介：孟小峰，中国人民大学信息学院教授、博士生导师，中国计算机学会会士；张祎，中国人民大学信息学院研究生（北京 100872)一、计算社会科学的发展计算社会科学诞生于大数据背景之下。

在后工业化时代，复杂性社会问题十分严峻且难于预测和处理。

传统的问卷调查和访谈等方式已经无法为当前复杂社会系统的管控提供指导。

但是，大数据时代却使“我们的社会开启了一场可与印刷和互联网带来的革命相比肩的伟大旅程”①。

2009 年，David Lazer等社会科学家、Alex Pent land等计算机科学家、Albert—Ldszl6 Barabdsi 等物理学家，共计15位学者在《科学》上发表了题为“Computational Social Science”©的文章，成为计算社会科学成立的标志。

一种云环境下的大数据Top—K查询方法

慈祥，马友忠，孟小峰
（中国人民大学信息学院，北京１００８７２）
通讯作者：慈祥，Ｅ — ｍａｉｌ：ｃｉｘｉａｎｇ３１４１５９２６＠１２６．ｃｏｍ
摘
要：Ｔｏｐ－Ｋ查询在搜索引擎、电子商务等领域有着广泛的应用．Ｔｏｐ－Ｋ查询从海量数据中返回１文献标识码：Ａ
中文引用格式：慈祥，马友忠，孟小峰．一种云环境下的大数据Ｔｏｐ－Ｋ查询方法．软件学报，２０１４，２５（４）：８１３ — ８２５．ｈｔｔｐ：／／ｗｗｗ．ｊｏｓ．ｏｒｇ．ｃｎ／１０００・９８２５／４５６４．ｈｔｍ英文引用格式：ＣｉＸ，ＭａＹＺ，ＭｅｎｇＸＦ．Ｍｅｔｈｏｄｆｏｒｔｏｐ－Ｋｑｕｅｒｙｏｎｂｉｇｄａｔａｉｎｃｌｏｕｄ．ＲｕａｎＪｉａｎＸｕｅＢａｏ／ＪｏｕｒｎａｌｏｆＳｏｆｔｗａｒｅ，２０１４，２５（４）：８１３ — ８２５（ｉｎＣｈｉｎｅｓｅ）．ｈｔｔｐ：／／ｗｗｗ＆ｓ．ｏｒｇ．ｃｎ／１０００・９８２５／４５６４．ｈｔｍ
的前Ｋ个结果，主要目的是消除信息过载带来的负面影响．大数据背景下的Ｔｏｐ－Ｋ查询，给数据管理和分析等方面带

新媒体的精准推送利大于弊一辩稿

新媒体的精准推送利大于弊谢谢主席，问候在场各位。

今天我方的观点是：新媒体的精准推送利大于弊。

开宗明义，所谓新媒体，即以互联网技术为依托，传递数字化信息，具有交互性的传播媒介；而精准推送，是通过大数据与云计算，针对性的向用户推荐所需的优质信息的机制。

《中国数字经济发展2019》指出，2018年是互联网时代发展的分水岭，国家完善法规制度后互联网产业正逐渐走向成熟和集中化，如中国人大教授孟小峰及其研究团队就表示，前10%数据收集者获取了99%的流量数据。

中国正处在数字经济变革中，传统产业如何利用现代化技术，提供符合大众需求的多元化商品和服务，实现产业数字化转型，并让发展成果为人民所共享，成为了重中之重。

所以，我方的判断标准是精准推送能否满足数字时代产业数字化转型的需要。

论证如下：首先，就企业而言，精准推送能更好实现数字化商业模式与服务能力的转型升级。

企业通过大数据精准推送，能够最高效的瞄准目标用户及其需求点，并通过用户的体验反馈，可以针对性地开发产品及完善服务，降低内耗，挖掘更大的商业价值。

例如陆虎与擅长移动DSP的力美合作，重点布局移动市场针对“汽车行业+多重属性标签”定位出的目标人群进行数据分析后，在该时段加大目标人群的广告投放，实现了传统营销模式3-4倍的效率增长，便是利用精准推送实现企业与用户之间的良性互动促进企业服务转型的典范另外，就用户而言，精准推送能使人民更好的立足并共享数字经济时代。

新媒体的精准推送不仅可以使用户更快捷地获取所需的信息，增强用户对时事话题的参与热情，形成大众参与氛围，例如2017年，93阅兵在搜狗数据库中的热度指数超过236万，压倒了绝大部分的娱乐新闻，助力社会正能量的传播；并且推送构成的智能化扩展系统，对受众的数据分析更加智能，动态更新并挖掘用户潜在兴趣点，如搜狗的语义匹配系统，突破了简单标签化分类方式，有效的打破了旧有的数据壁垒，实现了帮助用户矫正并探索新领域的功能，共享数字时代的精彩世界。

警务大数据应用的问题与对策研究

音警务大数据应用的问题与对策研究摘要杨万方在国家大数据战略的引导下，大数据在警务工作中得到广泛的推广和应用。

大数据拓宽了警务工作思维、提高了工作效率，为公安机关的决策提供了可靠的依据。

但是，警务大数据的应用在思想观念、数据融通、存储传输、技术算法、数据安全等方面还存在一些问题，影响大数据作用的充分发挥。

为提高警务大数据的应用水平，使大数据充分发挥效能，可以从应用主体、数据管理、技术研发三个角度入手，打破应用困境。

关键词：警务大数据；主体能力；数据管理；技术研发2017年12月8日，习近平总书记在主持中央政治局就实施国家大数据战略的集体学习会议时强调，要运用大数据提升国家治理现代化水平。

近年来，公安机关作为国家治理的中坚力量，大力推行大数据警务体系建设，拓宽了警务思维、提高了工作效率，使警务决策更加科学化。

但是，囿于思想观念和一些现实因素的限制，大数据在警务领域中的应用仍存在一些问题。

为充分实现大数据的效能，我们有必要对其中的问题进行剖析并提出全面、切实可行的解决路径。

一、警务大数据的应用概述（一）界定关于大数据，舍恩博格强调数据背后的价值，孟小峰强调数据的庞大数量，中国工信部的文件中则强调大数据是一个综合的技术体系，目前没有对其形成统一的定义。

但是可以肯定的是对大数据的界定不仅仅局限于“数据”本身。

大数据具有“4V”特征，即数量大（volume）、数据形式多元（variety）、信息真实（veracity）和更新迅速（velocity）。

随着信息技术的发展和WEB2.0时代的到来，人的一切行为都可以用数据来记载。

数据通过文字、图片、视频等多样的形式表现出来，再经过计算机算法、模型的处理，就能体现一定的规律或反映一定的现象，形成数据价值。

概括来看，各行各业对大数据的描述和应用都包括了数据数量、数据分析和数据潜在价值三个方面。

（二）大数据在警务领域中应用的必要性互联网信息技术、网络数据技术的高速发展给我们的生活带来了极大的便利，但是也给犯罪分子提供了可乘之机，犯罪态势也呈现出智能化、科技化。

大数据管理_概念_技术与挑战_孟小峰

），投资２亿ｄａｔａｒｅｓｅａｒｃｈａｎｄｄｅｖｅｌｏｍｅｎｔｉｎｉｔｉａｔｉｖｅｐ以上美元，正式启动“ 大数据发展计划” 计划在科．环境、生物医学等领域利用大数据技术进学研究、奥巴马政府的这一计划被视为美国政府行突破．）继信息高速公路（计划之后ＩｎｆｏｒｍａｔｉｏｎＨｉｈｗａｇｙ在信息科学领域的又一重大举措．与此同时，联合 ” 国一个名为 “ 的倡议项目在今年５月ＧｌｏｂａｌＰｕｌｓｅ：发布报告“ ＢｉｄａｔａｆｏｒｄｅｖｅｌｏｍｅｎｔＣｈａｌｌｅｎｅｓ＆ｇｐｇ ” ，该报告主要阐述大数据时代各国ｏｏｒｔｕｎｉｔｉｅｓｐｐ）特别是发展中国家在面临数据洪流（的ｄａｔａｄｅｌｕｅｇ
孟小峰等：大数据管理：概念、技术与挑战
１４７
全球知名的咨询公司麦肯锡（ＭｃＫｉｎｓｅ２０１１ｙ）年６月份发布了一份关于大数据的详尽报告 “ Ｂｉｇ：Ｔ，，ｄａｔａｈｅｎｅｘｔｆｒｏｎｔｉｅｒｆｏｒｉｎｎｏｖａｔｉｏｎｃｏｍｅｔｉｔｉｏｎｐ［５］ ” ，对大数据的影响、关键技术和ａｎｄｒｏｄｕｃｔｉｖｉｔｐｙ应用领域等都进行了详尽的分析．进入２０１２年以来，大数据的关注度与日俱增．１月份的达沃斯世界经济论坛上，大数据是主题之一，该次会议还特别针，：Ｎ对大数据发布了报告 “ Ｂｉｄａｔａｂｉｉｍａｃｔｅｗｇｇｐ

社会计算_大数据时代的机遇与挑战_孟小峰

２４８４
（）计算机研究与发展２０１３，５０１２
社会计算；社会网络分析；计算社会科学；大数据关键词社会科学；
中图法分类号ＴＰ３０５－
云计算、社交网络、社会媒体以及信息物联网、获取技术的飞速发展，数据正以前所未有的速度迅数据是人类社会最重要的财富，大速增长和积累，数据时代的到来，为研究人类社会动态和模拟社计算机科学家、社会会问题带来了前所未有的机遇．学家等各领域学者开始关注大数据对社会、经济、科美国圣塔菲研究所学研究等方面带来的巨大价值．（、谷歌研究院（ＳａｎｔａＦｅＩｎｓｔｉｔｕｔｅ）Ｒｅｓｅａｒｃｈａｔ）、惠普社会计算实验室（ＨＰＳｏｃｉａｌＣｏｍｕｔｉｎＧｏｏｌｅｐｇｇ）等跨学科研究机构和哈佛、斯坦福、康奈尔等Ｌａｂ开始用复杂性科学来描述社会系统中的复杂大学，现象，提出了复杂适应系统等一系列新理论，用计算机作为研究复杂性科学的基本工具，开创了计算社会科学等新的研究方法，社会计算开始进入人类社 “ 一词也有文献译成“ 社会化会（ｓｏｃｉａｌｃｏｍｕｔｉｎｐｇ” ）计算 ” ．本文从社会计算的本质出发，对现有的研究中若干关键问题进行分析总结，讨论这一研究领域存在的机遇和挑战．简要介绍了社会计算产生的历史背景及其定义，对社会计算领域进行分类研究，介绍分析社会计算研了大数据为社会计算带来的机遇，究现状的基础上讨论了其面临的挑战．

大数据融合研究:问题与挑战

大数据融合研究：问题与挑战孟小峰;杜治娟【摘要】随着大规模数据的关联和交叉,数据特征和现实需求都发生了变化.以大规模、多源异构、跨领域、跨媒体、跨语言、动态演化、普适化为主要特征的数据发挥着更重要的作用,相应的数据存储、分析和理解也面临着重大挑战.当下亟待解决的问题是如何利用数据的关联、交叉和融合实现大数据的价值最大化.认为解决这一问题的关键在于数据的融合,所以提出了大数据融合的概念.首先以Web数据、科学数据和商业数据的融合作为案例分析了大数据融合的需求和必要性,并提出了大数据融合的新任务;然后,总结分析了现有融合技术;最后针对大数据融合问题可能面临的挑战和大数据融合带来的问题进行了分析.【期刊名称】《计算机研究与发展》【年(卷),期】2016(053)002【总页数】18页(P229-246)【关键词】大数据;数据集成;数据融合;知识融合;数据管理【作者】孟小峰;杜治娟【作者单位】中国人民大学信息学院北京 100872;中国人民大学信息学院北京100872【正文语种】中文【中图分类】TP391近20年里，数据产生的方式不断在扩展，数据之间的关系变得千丝万缕，呈现出大规模数据关联、交叉和融合的局面［1－2］，数据出现了如下新的特征：1）多元性．当下数据不仅是类型多样，更重要的是数据内容的“维度”多样和知识范畴的“粒度”多样，呈现出一种多元性．它体现了数据与知识之间的立体关系，而非单纯数据类型多样，与演化性成为当下大数据的精髓，是区别于大规模数据、海量数据、或早期“大数据”（量大）的最显著特征．2）演化性．是指数据随时间或解释的变化而变化的特性，体现了数据的动态性和知识的演化性．比如，实体的某些属性在不同时间点可能产生变化．这就要求合理建模演化行为，保证数据一致性．它与高速性共同构成了知识的动态演化性，更加贴切地体现出现实数据的本原性，而非单纯地强调速度．3）真实性．主要由实体的同名异义表示和异名同义表示以及关系的变化引起．这种现象普遍存在，它们增加了理解的不确定性．真实性由演化性引起，反过来又为演化性提供了印证，只有知识得到印证才能使演化更新和融合更有意义．4）普适性．是指在认知范围内可以达成共识关系的特征，比如，“老师”和“蜡烛”在神经元连接上具有普适性．这种普适性发现源于知识之间隐性关联的发现，它也比信息本身的增长更有价值．这是将大数据定位到知识层面的一个独特特征．这导致大数据集成的对象已经不单是数据，而是数据和知识的复合体，可以称之为“数据湖”（data lake），其内涵到底是什么呢？偶读了68年前费孝通《乡土中国》［3］，略有所悟．费老分析总结了中国乡土社会结构，指出中国社会呈现出所谓的“差序格局”，而西方社会呈现的是“团体格局”．传统数据库结构关系单一，呈现状态犹如“团体格局”，即以单个实体为本位，实体之间的关系好比一捆柴，几根成一把，几把成一扎，条理清楚，有共同的模式可循．而当下大数据来源广泛，关系复杂，远近亲疏各不同，这种关系就好比“差序格局”，以语义主题为本位，每类实体都以自我为中心按照与其他实体的语义关系为主线结成网络，这个网络按照关系的语义紧密亲疏呈现“差序”状态，就如同湖面丢下的石子形成的水波纹依中心扩散开去．这种状态随着实体间关系的变化而动态演化，并且每个网络的大小不同，体现的语义关系也不同，蕴含的价值也不同．数据库的“团体格局”本质上是先有模式后有数据，因此数据集成可以采用中介模式的方法（全局视图（global－as－view，GAV），局部视图（local－as－view，LAV））以自顶向下的方式实现集成．数据湖的“差序格局”是先有数据后有模式，因此需要一种自底向上的方式以一种大数据融合的方法实现集成．大数据融合即建立数据间、信息间、知识片段间多维度、多粒度的关联关系，实现更多层面的知识交互，从而聚敛出数据湖中一个个维系我们社会的“水波纹”（即语义关联的紧密程度）．本文首先分析了大数据融合的现实需求并提出大数据融合的问题，探讨了现有融合技术的发展现状，并给出大数据融合的理解，指出了大数据融合面临的挑战．大数据融合是最大程度发挥大数据价值的一种手段，它的实现可以使人类对世界的探索和认识向新的深度和广度拓展．它不同于传统的数据集成或知识库技术，需要大跨度、深层次和综合性的研究方法．下面我们通过几个不同领域的案例分析来具体探讨这一问题的本质．1．1 公共安全领域大数据融合案例分析公共安全领域的数据包括结构化数据和非结构数据．其中结构化数据包括人员信息（比如人员户籍库、重点人员库等）、人员行为轨迹数据（比如飞机、火车出行数据等）、车辆信息（比如车辆购买信息、违章信息等）、电信数据（比如话单）等；非结构化数据包括网页、卡口图片、重点区域的视频监控录像等．公共安全领域数据的主要应用场景是公安办案提供线索．这种数据比较复杂，规模也较大，如中国某省会城市一小部分数据构建成图，其顶点的个数和边的个数分别达到了十亿和百亿的规模．1．1．1 实现原理目前采取的方案是基于超大规模复杂关联数据的管理理论建立超大规模的实体关联图．图上的每个顶点代表自然界的一个客观对象，比如人员、物品、住所等；图上的边表示实体之间的关系．如图1所示．这种方案总体上可以分为4步实现：1）数据治理．需要把物理上相互隔离的多源异构数据通过数据治理整合到统一的数据平台，该过程是后面3步的前提和基础．目前在实际的工程实践中采用以人工为主的操作模式．2）关系构建．这个过程需要自动地构建实体之间的显式关系和隐式关系，并存储在图数据库．隐式关系的构建借助规则或机器学习．3）可视化交互分析．系统提供强大的可视化交互分析工具，帮助用户在超大规模图上做各种分析和关系推演和比对．4）基于以上3步构建各警种的具体应用．1．1．2 现实需求当下，在工程实际中公共安全领域数据融合系统还需要很大改观．1）所需的数据割裂地分布在多个数据源中，且数据种类多样，需要把这些割裂的多源数据自动整合为一个统一的系统．2）目前公共安全领域的系统绝大多数提供的服务属于事后研判型，但是有些重大案件的破坏性非常大，事后再研判损失太大，急需能够做到事前预警的大数据技术和系统．3）嫌犯可能会在作案后更改姓名、手机号码、常驻地等，这样会造成数据的演化，需要识别这种演化，这对于破案极为重要．4）所需数据规模超大，比如为了找到涉恐人员的蛛丝马迹，需要对整个互联网和电信网路进行监控和分析处理，这里需要处理的数据目前工业界无法承受，需要控制融合的规模．1．2 科学大数据融合案例分析在科研领域，不仅需要数据本身，更需要与该数据有潜在密切关系的各种数据，并能够方便地分析这些数据．例如，在查看一个基因数据时，还能循着它去看基因组、蛋白质等相关的其他数据．为了实现这种融合，中国科学院提出了数据融合管理与服务系统，目前包括36个不同数据源的生物学数据，累计汇聚数据超过40TB；并在此基础上选取了8个数据源的数据进行数据解析、转换和数据关联处理，转换得到的约830万个数据之间建立起了约1．4亿个关联关系．1．2．1 实现原理该系统的实现原理如图2所示．图2中，集中的数据存储库基于分布式文件系统MooseFS、MongoDB数据库集群和Virtuoso数据库来构建，分别用于存储从各数据源下载的非结构化数据、从各数据源下载的结构化数据和解析原始数据后得到的数据、转换得到的RDF数据和通过语义增强系统新建立的关联关系数据．这些数据通过数据汇聚模块的各种下载组件和管理系统进行汇聚．对于下载的数据，定制化开发数据解析工具，完成数据从原始形态到“属性值”结构化形态的转变；开发基于配置的数据转换工具，抽取对发现数据之间的关联有价值的“属性值”并经必要的数据合并、拆分、等价变换等处理将抽取的这些数据转变为一致化的RDF格式；确定数据之间的关联机制并在此基础上运用相似度计算、推理、本体映射等关联发现方法来增加数据之间的语义关联关系．最后通过服务接口模块对外提供服务．1．2．2 现实需求从上述介绍可以看出该系统更加注重数据的获取、存储、表达格式的统一和提供服务接口，数据关联与深度融合相对较弱．在实现过程中发现该系统的服务稳定性和响应效率较高、对数据分析类应用的支持能力较好．同时也发现了一些问题：1）科学数据的融合仅依靠软件工程师和计算机科学家很难完成，需要吸引各领域科研人员的广泛参与和紧密合作．2）随着所汇聚和加工处理的数据量的增大，现有的数据存储方案会面临考验，特别是在RDF数据存储方面，业界缺乏具有百亿量级RDF数据存储管理和高服务能力的数据库系统或较成熟的解决方案．3）目前所设计的数据关联发现方案还比较粗糙，主要应用了相似度计算方法，还有待深入研究．1．3 Web数据融合实例分析在科研领域，经常需要查询学术信息，比如发表论文、承担项目、参与学术活动等．这些信息分散在众多Web数据源中，对高效检索挑战很大，亟需一个跨领域、多学科的学术信息集成系统，为学术信息检索、分析提供方便．为此，ScholarSpace［4］应用而生，它包括25个学科领域的学术信息．目前包含实体1140余万、三元组1．8亿，实体关系66种，支持学者、研究领域、研究课题等多条件的学术信息检索，并基于文本挖掘和社会网络分析建立学术关系网络，支持学者谱系、评审推荐等应用功能．1．3．1 实现原理ScholarSpace的实现原理如图3所示，它的数据源于领域数据库、现存的知识库或者Web中的开放信息．首先利用Web数据抽取技术从这些数据源中自动抽取学者、论文、科研项目、专利等实体和关系信息．然后，在此基础上识别关联实体和发现实体之间的复杂关系，进而实现数据的融合和关联．这一过程涉及5种核心技术——海联关联数据的存储技术、实体识别技术、复杂关系发现技术、实体和关系的演化处理技术和跨语言融合技术．其中，海联关联数据的存储库用于存储自动收集的学术信息学和推演得到的知识；实体识别技术和复杂关系发现技术用于从数据源抽取并识别实体和关系，复杂关系发现还负责从已经得到的数据中推理间接关系；实体和关系的演化处理技术主要是为了应对实体和关系随时间变化的情况，比如学者的所在单位发生了变化，或者学者因为升学发表论文的合作者发生了变化等；跨语言融合主要是因为学术无国界，同一学者的信息可以以任何语种出现，这种融合对于完成呈现学者学术信息是必要的．1．3．2 现实需求目前，该系统还需要不断完善．首先，数据源不断有新的出现、旧的消失，各种数据快速增长，规模越来越大，需要自适应更新策略和增量融合的方法．其次，随着大规模数据的交叉、关联和融合实体和关系的演化现象越来越明显，最难辨别的演化是看似不相似的记录表示同一实体，或者原本表示同一实体的记录因某些属性的改变而变得不太像同一实体的情况，这就需要对实体和关系的演化做细粒度分析建模．第三，学术信息可能是多语言的，例如发表的论文有中英文之分，需要做跨语言的融合．最后，学术信息中也蕴含的许多隐含关系，发现这些隐含关系意义重大，例如，“合作者”关系中可能包含“导师学生”，而“导师学生”关系对专家推荐、学者谱系的构建等具有重要的帮助．1．4 大数据融合的独特性与问题通过上述分析可知，大数据时代数据的极大丰富为人们提供了更大的利用价值，但是数据的海量产生和新的特征也使人们面临的问题空前复杂化．1）割裂的多源异构数据．目前需要处理的数据可能来自领域数据库、知识库或者Web页面的开放信息，从来源角度看是多源异构的．而且，这些数据被物理地存放在不同的系统中．这些割裂的多源异构数据造成了各种数据孤岛，给大数据分析处理带来非常大的挑战，需要把这些割裂的数据整合到统一的系统中．这种情况在3个案例中均有体现．2）数据规模与数据价值的矛盾．当下，数据越来越丰富，提供了更多有价值的信息，但数据的规模也越来越大，对已有的数据存储和处理方法提出了挑战，需要对融合的规模进行控制．就像公共安全领域，如果办案时有越多的相关数据就越有可能快速破案．但是，目前需要处理的数据规模已经让工业界无法承受，只能对部分数据进行计算和处理得出结论．3）跨媒体、跨语言的关联．需要处理的数据有结构化数据、半结构化数据和非结构数据，这对数据关联的发现提出了挑战，尤其是图片、视频、音频数据与文本数据的关联．这种情况在公共安全领域极为常见，如何自动识别它们之间的关联是工程实际中亟需的．并且数据可能源于多语种，如学术领域提到的同一作者可以发表中文、英文论文．4）实体和关系的动态演化．数据是动态变化的，实体和关系也是随时间不断演化的，这就增加实体和关系的判别难度，容易造成数据不一致．比如，公共安全领域涉及的嫌犯在作案后更改姓名、学术领域中作者更换了所在单位等都属于此类情况．因此，需要合理建模演化行为，保证数据一致性．5）知识的隐含性．从案例中我们也可以发现，除了显示知识还有隐式知识，隐式关系比显示知识更重要．比如生物领域中，鱼类中的掠食者在食物富集时运动轨迹呈布朗运动，或者学术案例中出现的“合作者”关系可能暗含“师生”关系．这种隐含的关系对知识的理解和数据的融合都有很大帮助．为了实现大数据的融合，各领域出现了一些融合方法，可以认为普遍采用3V（海量、高速、类型多样）特征下的集成方式，如图4所示：当下这种融合方式普遍认为大数据融合的难点在于大数据的3V特征，它所需要的关键支撑技术有模式（本体）对齐技术、实体链接技术、冲突解决技术和关系推演．其中，1）模式和本体对齐技术用于应对本体的异构性和数据源的异构性［5－6］；2）实体链接包含命名实体识别?记录链接和实体关联2部分，是大数据融合的基础；3）冲突解决是数据融合的必经之路［7－8］，有时也叫做实体消岐；4）关系推演用于发现隐含知识，也可用于知识库的扩充和补全．2．1 模式?本体对齐模式对齐解决2个模式元素之间的一致性问题，主要是利用属性名称、类型、值的相似性以及属性之间的邻接关系寻找源模式与中介模式的对应关系［9－12］．为了应对大数据新特征出现了演化模型［13］、概率模型［14－15］和深度匹配［16］方法．演化模型主要是检测模式映射的演化，采用尽力而为、模糊回答的方式，在一定程度上解决了数据多样性和高速性带来的问题；概率模型将中介模式按语义表示成源属性的聚类，由此源模式会出现与其有不同程度对应关系的多个候选中介模式，然后根据查询请求为每个候选中介模式分配一个备选概率来确定最佳映射；深度匹配方法面向概念级，基于潜在的语义匹配，而不仅仅依赖于可见属性．本体是针对特定领域中的概念而言的，用来弥合词汇异构性和语义歧义的间隙，本体对齐主要解决本体不一致问题，需要识别本体演化．本体演化分为原子变化、混合变化和复杂变化［17］．原子变化反映单个本体的变化，混合变化修改本体实体的邻居，复杂变化是前两者的复合体．有时原子变化也叫基本变化，混合变化和复杂变化统称为复杂变化［18］，这些变化通过日志［19］和本体版本差异［18，20］获得．一般在概念级［21］和实例级检测［22］，采用图论方法表示本体变化［19］、引入SetPi运算来建模本体演化过程［23］、采用一致性约束跟踪本体的全局演化过程实现可溯源［17］、Pellet推理检测不一致性［24］．采用多重相似度度量与本体树结合实现多策略的本体匹配［25］．2．2 实体链接实体链接的关键是实体识别，主要是识别相似实体和消除实体歧义，相似指多个命名实体表象可对应到一个真实实体（或称概念），歧义指一个实体表象可对应到多个真实实体．根据数据类型的不同，实体识别方法分为面向非结构化文本的命名实体识别与消歧、面向结构化数据的记录链接和2种数据类型之间的复杂数据实体关联方法．2．2．1 命名实体识别对于命名实体识别，先后出现了针对单查询、文档、短文档及社会媒体3种类型的识别方法．命名实体识别最早针对单查询，且局限于维基百科和新闻文章，利用维基百科文章与围绕提及的上下文的相似性消除专有名词的歧义［26］，或用统计识别方法识别命名实体并用多种提及联合消歧［27］，如采用实体分类作为上下文相似度向量的一部分．随着Web技术的发展，需要从普通文档中识别实体，最早采用类似文献［27］的方法，但给出了未知实体的显式模型来识别未知实体［28］．接着采用识别“Wikipedia－like”链接方法，在一小部分已存在的维基百科链接上建立分类训练器，并用最频繁感知基准来度量相似度［29］，或采用短语的歧义度作为其被提及的度量指标，并捕捉歧义候选对象之间的语义关联关系来识别实体［30］．在此基础上出现了采用监督学习先验相似性，并采取近似算法求解联合概率分布的最大后验估计的联合推理方法［31］．对于文档中提及的全局一致性，一般采用提及的迭代消歧方式解决，考虑实体间的语义相关性，但对领域和语料变化敏感［32］．随着社会媒体的发展，目前命名实体识别更倾向于社交网络、短文本，特别是微博平台［33－35］，一般采用字典和启发式词组联合识别［33］，或者加入微博的特殊句法（如＃，＠等）做过滤器［34］联合推理．也有将各种相似度度量方法综合学习方法［36］，当实体不在知识库中时采用从已知实体的特征（关键字句）随机抽样得到的未知实体表示的方法识别实体［37］．2．2．2 记录链接记录链接是从数据集中识别和聚合表示现实世界中同一实体的记录（也称实体表象），即对相似度达到一定阈值的记录做聚类操作（也称共指识别）．相似性一般根据领域知识设定匹配规则度量、也可用机器学习训练分类器的方法实现［38］、或利用编辑距离或欧氏距离计算［39］．作出表象局部相似性判断后，接下来的工作是对实体进行邻接性聚类、相关性聚类［40－41］或密度聚类［42－44］．其中后2类聚类采用奖励高内聚、惩罚高相关性保证歧义最小的方法与大数据的“差序”关系相辅相成．但这些方法是非增量式聚类，难以应对大数据的海量性，考虑到大数据的相互关联对实体匹配的局部决策和全局一致性的影响，以及数据更新可以及时弥补聚类过程中的错误聚类，出现了增量记录链接方法，主要从匹配规则的演化［45］和数据的演化［46－47］2个方面为依据探讨记录链接的增量问题．由于大数据的海量性，在相似性计算之前先根据实体的一个或多个属性值将输入记录划分为多个块，进行块内比较，提高链接效率［8］．分块技术按分块函数数量分为单分块技术［48］和多分块技术［49］，按冗余程度又可分为冗余消极、中立和积极［50－51］3种．通常采用多分块技术与冗余积极相结合的方法，因为大数据富含冗余信息、实体的属性多样，且单分块技术存在假负现象、仅适用于高质量先验模式属性的情况、冗余消极和冗余中立在创建块时需要先验知识．但多分块与冗余积极相结合的方法引发了重复比较、多余比较和不匹配比较，为此，出现了借助MapReduce并行分块［52］和引入Meta－blocking直接优化分块［53］．Meta－blocking技术首先将信息封装在块分配集并构建块图，然后将问题转化为度量图中边的权重和图修剪问题．这种做法独立于底层的分块技术，与模式无关，具有通用性．但是，它没有本质上代替原有的分块技术，它依赖于底层块集合的冗余程度，并且分块图的构建是通过调整块构建方法中的相应参数得到的，因此目前需要一种调参少、不依赖于底层块集合的冗余程度低且模式无关的分块方法．2．2．3 复杂数据实体关联结构化数据与非结构化数据也存在关联关系，我们将这两者的关联称为复杂数据实体关联，它的核心任务是表象消歧．早期研究集中于从文档中识别与数据库实体对应的表象，代表性系统是SCORE［54］和EROCS［55］，分别采用关键字匹配和词共现原理寻求两者的对应关系．后来，针对评论信息中的实体与数据库对象的相关性，提出一种不需要识别评论中实体就能完成匹配的产生式语言模型［56－57］．接着针对在线供应商的无结构产品信息与结构化的商品清单信息做链接，提出基于语义理解的有监督的学习方法［58］．这些方法都无法处理实体演化的情况．当下研究热点转为寻找Web文本中命名实体提及与知识库中命名实体的关联关系，这种对应关系分为可链接和不可链接2种，不可链接是指知识库中不存在对应实体的情况，否则为可链接［59］．可链接关系的核心是在知识库中寻找最优匹配实体，通过产生候选对象并对其排序得到．候选链接的产生可以通过图论的方法［60］，借助语义知识［61］、概率模型［62］，如果是面向社会媒体，则可以利用用户兴趣等建模链接关系［63］．候选链接的排序按影响因素可以分为与实体的上下文信息无关［64］和与实体的上下文信息有关［65－66］2种．不可链接采用设定阈值的方法判定，并最终聚类不可链接提及［63，65］．2．3 冲突解决冲突分为模式冲突、标示符冲突和数据冲突，其中模式冲突由数据源的模式异构引起，比如属性名、语义等不同的情况，标识冲突主要是指异名同义现象；数据冲突主要是指同一属性具有多种不同的值．冲突的解决一般是在实体或属性级别，采用识别函数．目前主要集中在实体级别的真假甄别和演化问题．真假甄别问题也称事实（fact）甄别问题，即从所有冲突的值中甄别正确的值（真值），真值可以不止一个，但多个真值间语义上相同［39，67－68］．影响真值度量的因素可分为数据源的复制关系［69］和依赖关系［70］以及值的新鲜度和相似度．对于真值的度量一般采用投票的策略［71］，并在此基础上进行独立性衰减［72］，然后根据值的置信度（源的可信性的函数）［73］、值的贝叶斯后验概率（用数据源的精度和复制概率表示）［72］，或者以源的独立性、组的可靠性、值的真实性为参数设定真值的完全分布函数，并将对数似然值最大化求下界推理得到真值结果．这些方法侧重于有效地检测假数据的正相关性，但不适用于真实数据的正相关或负相关，并且模型依赖于单一真值的假设，然而，某些事实可以有多个真值，如某人可能有多个职业．所以，真值度量因素中又增加了多真值。

实验室年度亮点

实验室年度亮点经我校第七届校学位评定委员会第十五次全体会议审议通过的2011年校级优秀博士学位论文共19篇。

孟小峰教授指导的博士生潘晓的博士学位论文《位置隐私保护技术研究》被评为2011年校级优秀博士学位论文。

潘晓博士2006年进入网络与移动数据管理实验室开展科学研究工作，研究方向是基于位置服务中的隐私保护技术。

撰写的论文" Protecting Location Privacy Against Location-dependent Attacks in Mobile Services "被数据库领域国际顶级期刊（IEEE Transactions on Knowledge and Data Engineering(TKDE) )录用为Regular paper 。

2011 年，W AMDM 实验室共发表和被录用了二十二篇高水平的学术论文，其中潘晓、许建良和孟小峰合作的论文“Protecting Location Privacy Against Location-dependent Attacks in Mobile Services ” 被数据库领域国际顶级期刊“Transactions on Knowledge and Data Engineering (TKDE)”作为regular paper 录用。

其它论文分别发表在 Journal of Pervasive and Mobile Computing (PMCJ)、计算机学报等重要期刊和会议，论文涉及普适数据管理、云数据管理、闪存数据库系统、Web 数据管理等领域。

其中黄毅、霍峥、孟小峰等合作的论文“CoPrivacy:一种用户协作无匿名区域的位置隐私保护”以及綦晓颖、汤显、梁智超、孟小峰等合作的论文“OAFTL:一种面向企业级应用的高效闪存转换层处理策略”荣获 NDBC2011“萨师煊研究生优秀论文”，陈威、王仲远、杨森等合作的“ScholarSpace ：面向计算机领域的学术空间”荣获 NDBC2011最佳系统演示。

大数据专题前言

的整体框架．
对于多维信息的共享需求产生了ＯＬＡＰ技术，大数据时代，数据分析的实时性等要求使得传统的ＯＬＡＰ技术面临着严峻的挑战．《大数据分析的分布式ＭＯＬＡＰ技术》提出了大数据环境中一种基于Ｈａｄｏｏｐ分布式文件系统
（ＨＤＦＳ）和ＭａｐＲｅｄｕｃｅ编程模型的分布式ＭＯＬＡＰ技术，称为ＤＯＬＡＰ（ｄｉｓｔｒｉｂｕｔｅｄＯＬＡＰ）．实验结果表明，尽管数据装
。（中国人民大学信息学院，北京１００８７２）（哈尔滨工业大学计算机科学与技术学院，黑龙江哈尔滨１５０００１）通讯作者：孟小峰，Ｅ－ｍａｉｌ：ｘｆｍｅｎｇ＠ｒｕｅ．ｅｄｕ．ｃｎ
出了若干研究方向，如位置大数据与非位置大数据相结合的隐私保护、移动社交网络中的位置隐私保护和针对用
户背景知识的位置大数据隐私保护．
为了获得更为准确的移动行为模式和区域局部特征从而还原和生成满足关联应用分析的整体数据模型，《位置大数据的价值提取与协同挖掘方法》针对位置大数据存在的混杂性、复杂性和稀疏性等特点，分别提出了相应的处理方法，并提出了针对位置大数据的价值提取和协同挖掘方案，文章还从软件工程角度提出了位置大数据分析
中文引用格式：孟小峰，高宏．大数据专题前言．软件学报，２０１４，２５（４）：６９１ — ６９２．ｈＲｐ：／／ｗｗｗ．ｊｏｓ．ｏｒｇ．ｅｎ／１０００ — ９８２５／４５７２．ｈｔｍ

《大数据基础》课程设计与构建

《大数据基础》课程设计与构建王芬，黄晓涛，张晓芳（华中科技大学网络与计算中心，湖北武汉４３００７４）摘要：设计构建了《大数据基础》通识基础课程，课程介绍了大数据的基本概念、特点与大数据引起的时代变革，以及相关的数据处理平台方法和大数据挖掘技术，并通过实际案例讲述大数据在日常生活和各个行业中的应用。

通过该课程，可使学生对大数据时代及大数据应用有一定了解，并能进一步延伸思考本专业领域的大数据应用发展方向及前景。

关键词：大数据；数据挖掘；大数据处理；大数据平台；大数据案例ＤＯＩ：１０．１１９０７／rjdk ．１５１１６４６中图分类号：G ４３４文献标识码：A 文章编号：１６７２-７８００（２０１６）００１-０１８２-０２基金项目：２０１５年度教育部人文社会科学研究专项（１５JDGC ０１５）；湖北省教学研究项目（２０１４－A １６１）；校级教学研究项目（１３０３９）作者简介：王芬（１９７６－），女，湖北宜昌人，博士，华中科技大学网络与计算中心副教授，研究方向为大数据与计算机教学。

０引言随着互联网的飞速发展，企业计算、云计算、物联网等各种应用的涌现，“大数据”应运而生［１］。

２１世纪已迈入了“大数据时代”。

作为大数据时代的人才，了解大数据时代特点，掌握大数据处理的基本方法，了解各行业使用大数据将造成的社会变革，已成为２１世纪市场对人才的需求。

大数据是未来发展的趋势，大数据课程的开设，有助于培养出符合市场发展和企业需求的２１世纪创新型人才，而国内现有的高校人才培养和课程体系中缺少面向高校所有专业开设的大数据基础课程。

如何设计和构建面向高校所有专业的《大数据基础》课程是本文研究的主旨。

１国内外大数据相关课程现状调查分析目前，国外有多所高校开设了大数据方向专业课程，如波士顿大学、北卡罗莱纳州立大学、德保罗大学等。

课程的开设与人才培养的侧重点紧密相关，主要分为３个方向：面向商学院、管理学院、财经学院的大数据分析方向，面向计算机学院与软件学院的大数据平台方向，面向理学院的深度计算分析方向［２］。

孟小峰:开放大数据的挑战

孟小峰：开放大数据的挑战
佚名
【期刊名称】《中国教育网络》
【年(卷),期】2014(000)004
【摘要】“给我一个需求,我还你一个系统” 大数据时代一个根本性的变化,是原来的信息化时代是一个封闭世界所构建的,而我们新的信息化是一个开放世界. 现在的数据产生已经完全不只限于传统的物理社会,这使得数据产生的方式也发生了根本性的改变.简单地总结为如下几个阶段.第一,以往数据库技术所面对的数据,其实是传统的企业生产、经营过程中所产生的数据,称为运营式系统.这些数据是被动产生的,是在企业运营决策管理需要情况下产生的,数据是规范、有序的,它提出的根本要求是满足简单分析.
【总页数】1页(P23)
【正文语种】中文
【相关文献】
1.大数据时代下政府数据开放的挑战与对策研究
2.大数据应用机遇、共享开放、安全挑战
3.大数据共享与开放及保护的挑战
4.大数据共享与开放及保护的挑战
5.大数据应用机遇、共享开放、安全挑战
因版权原因，仅展示原文概要，查看原文内容请购买。

[复习]大数据信息检索论文

大数据的概念、技术与挑战学院：信息科学与技术学院专业名称：计算机应用技术学号：姓名：指导教师：时间：大数据的概念、技术与挑战【摘要】计算、物联网、社交网络等新兴服务促使人类社会的数据种类和规模正以前所未有的速度增长，大数据时代正式到来．数据从简单的处理对象开始转变为一种基础性资源，如何更好地管理和利用大数据已经成为普遍关注的话题．大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战，数据管理方式上的变革正在酝酿和发生．对大数据的基本概念进行剖析，并对大数据的主要应用作简单对比．在此基础上，阐述大数据处理的基本框架，并就云计算技术对于大数据时代数据管理所产生的作用进行分析．最后归纳总结大数据时代所面临的新挑战．【关键词】大数据，技术，挑战，数据分析，云计算近年来，伴随着物联网、云计算、移动互联网等新技术的迅猛发展，数据正以前所未有的速度不断增长和积累，大数据时代已经到来，这引起了产业界学术界科技界和政府机构的广泛关注。

大数据的火热并不意味着对于大数据的了解深入，反而表明大数据存在过度炒作的危险．大数据的基本概念、关键技术以及对其利用上均存在很多的疑问和争议。

一、大数据的基本概念及大数据时代产生的必然数据是云计算技术的延伸，更是社会进步和发展的必然结果，大数据时代的到来引领了未来IT技术发展的战略走向。

在信息和网络技术飞速发展的今天，越来越多的企业业务及社会活动实现了数字化，特别是随着数据生成的自动化及数据生成速度的加快，数据量也随之快速增长。

同时，随着存储设备、内存、处理器等电脑元件成本的稳定下降，使得之前较昂贵的大规模数据存储和处理变得十分经济，也使得大数据的存在成为可能。

传感器数据也是大数据的主要来源之一。

在物联网时代，成万上亿计的网络传感器嵌入在数量不断增长的智能电表、移动电话、汽车等物理设备中，不断感知、生成并传输超大规模的有关地理位置、振动、温度、湿度等新型数据。

二、大数据的特点及关键技术分析1.大数据的特点大数据不是一种新技术，也不是一种新产品，而是一种新现象，是近来研究的一个技术热点大数据具有以下4个特点，即4个V:( 1) 数据体量( V olumes) 巨大大型数据集，从TB级别，跃升到PB级别；( 2) 数据类别( V ariety) 繁多数据来自多种数据源，数据种类和格式冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据；( 3) 价值( V alue) 密度低以视频为例，连续不间断监控过程中，可能有用的数据仅仅一两秒钟；( 4) 处理速度( V elocity) 快包含大量在线或实时数据分析处理的需求，1秒定律。

《软件学报》大数据理论、方法和技术专刊征文通知

Ｖｏ１．２４Ｎｏ．８Ａｕｇｕｓｔ２０１３
２０１３年８月
《软件学报》编辑部
（北京８７１８信箱邮编１００１９０）
电话：０１０．６２５６２５６３
ＥｄｉｔｅｄｂｙＥｄｉｔｏｒｉａｌＢｏａｒｄｏｆＪｏｕｒｎａｌｏｆＳｏｆｔｗａｒｅ
ＮｅｗｓｐａｐｅｒｓａｎｄＪｏｕｎａｒｌｓＤｏｍｅｓｔｉｃａｌｌｙＤｉｓｔｒｉｂｕｔｅｄｂｙＡ１ｌＬｏｃａｌＰｏｓｔＯｆｉｃｆｅｓｉｎＣｈｉｎａＯｖｅｒｓｅａｓＤｉｓｔｒｉｂｕｔｅｄｂｙＣｈｉｎａＩｎｔｅｎａｒｔｉｏｎａｌＢｏｏｋＴｒａｄｉｎｇ
Ｅ－ｍａｉｌ：ｊｏｓ＠ｉｓｃａｓ．ａｃ．ｃｎｈｔｔｐ：／／ｗｗｗ．ｊｏｓ．ｏｒｇ．ｃｎ
（ＰＯ．Ｂｏｘ８７１８，Ｂｅｉｊｉｎｇ１００１９０，Ｐ．Ｒ．Ｃｈｉｎａ）Ｅ－ｍａｉｌ：ｊＯＳ＠ｉｓｃａｓ．ａｃ．ｃａｈｔｔｐ：／／ｗｗｗ．ｊｏｓ．ｏｒｇ．ｃｎ
印刷总发行处订购处国外总发行
北京北林印刷厂北京报刊发行局全国各地邮局中国国际图书贸易总公司
ｆ北京３９９信箱邮编１０００４４）

实验室年度亮点

实验室年度亮点实验室举办了2016（首届）中国隐私保护学术会议2016年11月7日，由中国保密协会隐私保护专业委员会主办，中国人民大学承办的“2016（首届）中国隐私保护学术会议”，在中国人民大学艺术学院音乐厅成功召开。

本次会议是国内隐私保护领域的一次最重要的盛会，会议由中国人民大学孟小峰教授、信息工程研究所信息安全国家重点实验室林东岱主任担任大会主席，来自国内外的两百余人参加本次会议。

会议共邀请到佐治亚理工大学Ling Liu教授，中国人民大学孟小峰教授，阿里巴巴集团安全部技术杜跃进副总裁，中国信息通信研究院技术与标准研究所何宝宏副所长，中国科学院软件研究所丁丽萍研究员，西安交通大学桂小林教授，复旦大学周水庚教授，中国电科三十所安红章高级工程师，贵州大学彭长根教授和东南大学倪巍伟教授十位专家学者参加会议，并就大数据下的新的隐私问题、隐私模型、隐私保护技术、隐私问题的挑战等几个议题展开讨论。

大数据在当前IT业发展十分迅速，具有广阔的发展前景，但同时其所面临的隐私挑战和风险也是空前的，需要隐私保护研究者共同探求管理之道。

本次隐私保护学术会议就大数据下的隐私保护问题和挑战进行探索和总结，为后续学者进行科学研究奠定了基础。

当然，大数据隐私问题不仅仅是技术方面的问题，它还涉及到法律法规、监督模式、宗教等诸多方面。

因此，仅从技术层面探索大数据隐私问题还是不够的，需要学术界、企业界以及政府相关部门共同努力才能实现。

实验室论文获《计算机研究与发展》2011-2015年度优秀论文日前，在《计算机研究与发展》编辑部组织的2011-2015年度优秀论文评选中，孟小峰教授与慈祥博士的“大数据管理：概念、技术与挑战”（计算机研究与发展,2013,50(1):146-169）被评为三篇优秀论文之一。

论文阐述了在大数据时代，数据从简单的处理对象开始转变为一种基础性资源，大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战，数据管理方式上的变革正在酝酿和发生。

Deep Web数据集成研究综述

Deep Web数据集成研究综述
刘伟;孟小峰;孟卫一
【期刊名称】《计算机学报》
【年(卷),期】2007(30)9
【摘要】随着World Wide Web(WWW)的飞速发展,Deep Web中蕴含了海量的可供访问的信息,并且还在迅速地增长.这些信息要通过查询接口在线访问其后端的Web数据库.尽管丰富的信息蕴藏在Deep Web中,由于Deep Web数据的异构性和动态性,有效地把这些信息加以利用是一件十分挑战性的工作.Deep Web数据集成至今仍然是一个新兴的研究领域,其中包含有若干需要解决的问题.总体来看,在该领域已经开展了大量的研究工作,但各个方面发展并不均衡.文中提出了一个Deep Web数据集成的系统架构,依据这个系统架构对Deep Web数据集成领域中若干关键研究问题的现状进行了回顾总结,并对未来的研究发展方向作了较为深入的探讨分析.
【总页数】15页(P1475-1489)
【作者】刘伟;孟小峰;孟卫一
【作者单位】中国人民大学信息学院,北京,100872;中国人民大学信息学院,北京,100872;纽约州立大学计算机科学系,宾汉姆顿,13902
【正文语种】中文
【中图分类】TP311
【相关文献】
1.计算机软件：Deep Web数据集成研究综述 [J],
2.基于Deep Web数据集成的个性化信息服务研究 [J], 张云坤
3.面向Deep Web本地化数据集成的数据源两层选择模型 [J], 鲜学丰;崔志明;方立刚;顾才东;孙逊
4.一种应用于Deep Web数据集成系统中的查询松弛策略 [J], 申德荣;马也;聂铁铮;寇月;于戈
5.面向应急预案领域的Deep Web数据集成研究 [J], 张波;党德鹏
因版权原因，仅展示原文概要，查看原文内容请购买。

云计算中面向隐私保护的查询处理技术研究

云计算中面向隐私保护的查询处理技术研究*霍峥1+，孟小峰1，徐建良21.中国人民大学信息学院，北京1008722.香港浸会大学计算机系，香港Privacy-Preserving Query Processing in Cloud Computing∗HUO Zheng1+,MENG Xiaofeng1,XU Jianliang21.School of Information,Renmin University of China,Beijing100872,China2.Department of Computer Science,Hong Kong Baptist University,Hong Kong,China +Corresponding author:E-mail:huozheng123@HUO Zheng,MENG Xiaofeng,XU Jianliang.Privacy-preserving query processing in cloud computing.Jour-nal of Frontiers of Computer Science and Technology,2012,6(5)：385-396.Abstract:A vital concern in cloud computing is how to protect both data privacy and query privacy while providing query services for users.This paper surveys several critical techniques of privacy-preserving query processing in cloud computing,which include cloud database indexing,query optimization,encryption-based privacy-preserving techniques,privacy-preserving techniques based on secure multi-party computation and authorization auditing techniques.Finally,the paper analyzes the challenges of privacy-preserving query processing in cloud computing and figures out the trend of this area.Key words:cloud computing;query processing;privacy-preserving;index摘要：在云计算环境中既能同时保护数据隐私和用户查询隐私，又能提供给用户满足需求的查询结果是云计算中面向隐私保护的查询处理的关键问题。

Web信息集成技术研究

Web信息集成技术研究
孟小峰
【期刊名称】《计算机应用与软件》
【年(卷),期】2003(020)011
【摘要】信息系统集成技术已经历了二十多年的发展,研究者已提出了很多信息集成的体系结构和实现方案,然而这些方法研究的主要集成对象是传统的异构数据库系统.随着Internet的飞速发展,网络迅速成为一种重要的信息传播和交换的手段,尤其是Web上,有着及其丰富的数据来源.如何获取Web上的有用数据并加以综合利用,即构建Web信息集成系统,成为一个引起广泛关注的研究领域.本文结合自己的研究工作,对这一领域的研究做了简单的综述,对有关的研究问题给出了分析.【总页数】6页(P32-36,63)
【作者】孟小峰
【作者单位】中国人民大学信息学院,北京,100872
【正文语种】中文
【中图分类】TP393
【相关文献】
1.基于XML Web服务的印刷企业信息集成技术研究 [J], 何薇;舒后;刘犇
2.基于Web Service 的企业信息集成技术研究与应用 [J], 任恩茂
3.基于WEB的制造信息集成技术研究 [J], 孙孟立;王伟明;袁国华
4.基于Web Map服务的空间信息集成模型及其在农业信息集成中的应用 [J], 靳
志强;刘劲松;陶佳
5.基于Web Services的web信息集成应用研究 [J], 唐润华;江导;姚国祥
因版权原因，仅展示原文概要，查看原文内容请购买。

数据挖掘概念与技术原书第3版(范明、孟小峰绎)第一章课后习题

数据挖掘概念与技术原书第3版(范明、孟小峰绎)第一章课后习题-标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII1.9习题1.1 什么是数据挖掘？在你的回答中，强调以下问题：（a）它是又一种广告宣传吗？（b）它是一种从数据库、统计学、机器学习和模式识别发展而来的技术的简单转换或应用吗？（c）我们提出了一种观点，说数据挖掘是数据库技术进化的结果。

你认为数据挖掘也是机器学习研究进化的结果吗你能基于该学科的发展历史提出这一观点吗针对统计学和模式识别领域，做相同的事。

（d）当把数据挖掘看做知识发现过程时，描述数据挖掘所涉及的步骤。

答：简单地说，数据挖掘其实就是从大量的数据中发现有用的信息，它是从大量数据中挖掘有趣模式和知识的过程。

数据挖掘不是一种广告宣传，而是身处在信息时代数据如此庞大的今天，我们对由海量的数据转化为有用信息的迫切需要，所以它是信息技术自然进化的结果，而不是一种广告宣传。

数据挖掘也不是一种从数据库、统计学、机器学习和模式识别发展而来的技术的简单转换或应用，它涉及到了很多领域的技术，比如统计学、机器学习、模式识别、数据库和数据仓库、信息检索、可视化、神经网络、高性能计算、算法以及许多应用领域的大量技术。

数据挖掘起始于20世纪下半叶，是在当时多个学科发展的基础上发展起来的。

随着数据库技术的发展应用，数据的积累不断膨胀，导致简单的查询和统计已经无法满足企业的商业需求，所以急需一种新型的技术去获取有用的信息，当时计算机领域的人工智能也取得了巨大进展，进入了机器学习的阶段，人们就将两者结合起来，用数据库管理系统存储数据，用计算机分析数据，这两者的结合就促就以这一门新兴的学科，所以数据挖掘不是机器学习研究进化的结果，而是结合了机器学。

数据挖掘的步骤包括：（1）数据收集；（2）数据清洗、脱敏；（3）数据存储；（4）数据分析；（5）数据可视化。

1.2数据仓库与数据库有何不同他们有哪相似之处答：数据库是按照数据结构来组织、存储和管理数据的仓库，它是以一定方式储存在一起、能为多个用户共享、具有尽可能小的冗余度的特点、是与应用程序彼此独立的数据集合。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

数据挖掘教学研讨会，北京, 2012,8,9
Cloud Computing and Big Data Cloud Computing is just like the highway which can support a variety of transportation Big Data can be seen as one vehicle on the highway Cloud Computing is infrastructure while Big Data is its service object
数据挖掘教学研讨会，北京, 2012,8,9
Integration
Right metadata is needed there has to be some translation of data as it flows from one model(platform) to the other. E.g. Transfer data from Hadoop to DB2
数据挖掘教学研讨会，北京, 2012,8,9
Analysis
Fundamentally different from traditional statistical analysis on small samples Real-time analysis Lack of coordination between database systems
数字的社会化：
数据足迹及其结构本身就是社会结构和过程的一个环节，不断塑造着新的社会秩序和关系
数据挖掘教学研讨会，北京, 2012,8,9
数据思维：计算社会科学
一切社会解释、监控、预测与规划都离不开对数据足迹的收集、整理和分析计算社会科学方法：
基于特定社会需要，在特定社会理论指导下，收集、整理和分析数据足迹，以便进行社会解释、监控、预测与规划的过程和活动
数据挖掘教学研讨会，北京, 2012,8,9
安阳殷墟遗址（公元前1300，距今3300年）
甲骨文大坑， 1万7千余片
数据挖掘教学研讨会，北京, 2012,8,9
Big Data Application 应用
科学计算股市交易 Web数据微博数据。。。
数据挖掘教学研讨会，北京, 2012,8,9
数据挖掘教学研讨会，北京, 2012,8,9
“Data is widely available; what is scarce is the ability to extract wisdom from it.”
Hal Varian, Google's chief economist
数据挖掘教学研讨会，北京, 2012,8,9
“大海捕鱼”vs.“池塘捕鱼”
数据挖掘教学研讨会，北京, 2012,8,9
Timeliness Many situations need the result of analysis immediately Real-time processing can be a challenge with big data, especially in dynamic data environments like financial trading and social media. Develop partial results in advance and then do incremental computation New index structures are required
From:
数据挖掘教学研讨会，北京, 2012,8,9
Acquisition
Multiple data resource and huge amount Much of this data is of no interest Data Reduction is important
数据挖掘教学研讨会，北京, 2012,8,9
From:
数据挖掘教学研讨会，北京, 2012,8,9
Logic Memory Archival Active Storage Parallelism 1980 Parallelism across in a cluster CPU TAPE RAM nodes DISK Parallelism within single fast, synch a slow, asynch node 2008 Cloud Computing CPU RAM TAPE DISK New hardware: SSD、PCM…
Extraction & Cleaning
Various data type: Structured &Unstructured Extraction is often highly application dependent Missing information and error information should be cleaned.
Big Data， Extremely Large Database（XLDB）
>PB，非结构数据以数据为资源解决诸领域问题
数据思维
Data Thinking
数据挖掘教学研讨会，北京, 2012,8,9
社会的数字化与数字的社会化
社会的数字化：数据足迹（data print）
在数字化时代，各色人等有意无意留下的数据足迹越来越丰富数据足迹是有社会意义（social meaning）的，蕴含着社会结构
数据挖掘教学研讨会，北京, 2012,8,9
Outline
1 2 3 4 5ຫໍສະໝຸດ Introduction to Big Data Cloud Computing and Big Data Challenging Problems Our Work Conclusion
数据挖掘教学研讨会，北京, 2012,8,9
数据挖掘教学研讨会，北京, 2012,8,9
What Can Big Data do ?
Prediction
数据挖掘教学研讨会，北京, 2012,8,9
What Can Big Data do ?
华尔街根据民众情绪抛售股票对冲基金依据购物网站的顾客评论，分析企业产品销售情况银行根据求职网站的岗位数量，推断就业率投资机构收集并分析上市企业声明，从中寻找破产的蛛丝马迹美国疾病控制和预防中心依据网民搜索，分析全球范围内流感等病疫的传播情况美国总统奥巴马的竞选团队依据选民的微博，实时分析选民对总统竞选人的喜好
Data, Data and Data!
数据挖掘教学研讨会，北京, 2012,8,9
Difficult to get the data
Data is all around you! Data type is various Most data is occupied by company Researchers are difficult to get the data
数据挖掘教学研讨会，北京, 2012,8,9
Big Data Analytics Tools in Use
Don't know We aren't using big data analytics tools Other ParAccel Analytic Database Kognitb WX2 Infobright Sybase IQ EMC Greenplum Teradata EDW HP Vertica IBM Netzza Hadoop/Mapreduce IBM DB2 Smart Analytics System Microsoft SQL PDW Oracle Exadata 0% 5% 10% 15% 3% 1% 1% 2% 4% 8% 9% 9% 10% 11% 12% 18% 21% 20% 25% 30% 35% 40% 11% 35%
数据挖掘教学研讨会，北京, 2012,8,9
Batch Process: MapReduce
Stream Process: Storm(Twitter), S4(Yahoo!)
数据挖掘教学研讨会，北京, 2012,8,9
Interpretation
Big data is of limited value if users cannot understand the analysis The provenance of the result data Data visualization
用户数精确度可靠度数据量反应
少大量大量大量极高高中等 -- 高中等 -- 高低 -- 中等极高中等中等 Tera Gega Peta 100Peta 慢快快快
Outline
1 2 3 4 5
Introduction to Big Data Cloud Computing and Big Data Challenging Problems Our Work Conclusion
数据挖掘教学研讨会，北京, 2012,8,9
Big Data Analysis Pipeline
Collaboration of cloud computing can greatly promote these process
Interpretation Analysis Integration Extraction& Cleaning Acquisition
数据挖掘教学研讨会，北京, 2012,8,9
Outline
1 2 3 4 5
Introduction to Big Data Cloud Computing and Big Data Challenging Problems Our Work Conclusion