大数据计算的基础研究问题
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
大数据计算的基础研究问题
Outline
一、大数据计算的概念 二、大数据计算研究问题 三、对计算系统的挑战
一、大数据计算的概念 二、大数据计算研究问题 三、对计算系统的挑战
大数据是相对的概念
大“是大一”个是相相对对大V的的数ol概u据大m由e数: 给来数据定已据的数久量性据!大质D大、数计据算系统C、 念，对于不同V计a大r算i数ety据: 数时存据间在类T已、型久问繁题多P, 若C不能在T 系 义统不性同能. ，大VV的aeSllS意uoDecB:it会价y:内 为议值速求相3大度0解对多而快输C年密、入历度T为史、低DP的的P大, 则数称据D.
5. X. Liu, Jianzhong Li. On the hardness of queries from tree structured data. Journal of Combinatorial Optimization, to appear.
6. T. Deng, W. Fan: On the Complexity of Query Result Diversification. ACM Trans. Database Syst. 39(2), 2014.
22.0. JsJiyiansnbtzeahmoosWn,g2a3Ln(gi3,,)BJ,ia2atn0cz1hh2eo.dnIgntLeir,nIantdioenxailngSeMaruclhti-ndgimonenDsiaotanbaal sDeas.taICinDCEl,o1u9d87.
用动画片段数 据合成动画片.
一、大数据计算的概念 二、大数据计算研究问题 三、对计算系统的挑战
大数据计算系统设想
物 理 世 界
数据 的选择
大数据 大数据 大数据量质
获取
存储
融合管理
提取 数据的 数据的 问题 与集成 变换 评估 求解
百度文库结果评 估展示
人机交互式工作流管理
大数据计算的研究目标
发现大数据内在规律， 揭示大数据计算的基本原理， 建立大数据计算的复杂性理论， 探索大数据计算的算法设计方法学， 创建大数据计算系统，推动大数据应用。 从大数据发现的知识和规律是经验主义的。 确立大数据计算结果的真理性估计理论和方法！
Do more with less设计方法
基于数据压缩的无解压计算方法； 基于抽样的(,)-近似算法方法； 基于Dominant数据的算法设计方法； 增量式算法设计方法。
并行算法设计方法
面向云计算的方法：
➢ 工作负载平衡化； ➢ 节点计算局部化；
面向新并行计算系统的方法。
难解问题的求解算法设计方法
参考文献
1. F. N. Afratiy, A. D. Sarma, S. Salihogluz, J. D. Ullman, Upper and Lower Bounds on the Cost of a Map-Reduce Computation, EDBT, 2012.
2. H. Karloff, S. Suri, S. Vassilvitskiiz, A Model of Computation for MapReduce, STOC, 2010
DapayptnaeabamarsiecnsS.IEAenElgsEorTiNrtahenmtswiacocatr,ikoVsn,osIl.Eo1nE, NEDoTa.tr3aa,nA1sn9ad8c6tKi.onnoswolnedPgaeraEllnegl iannederDinisgt,ri2b0u1t3ed.
大数据计算的10个研究问题
研究问题1：大数据的内在规律
大数据的数学结构 大数据的物理特征 大数据的模型和表示； 大数据的生成、演变和世袭规律； 大数据的可信性、安全性、复杂性。
研究问题2：大数据的计算复杂性理论
大数据计算问题难解性的判定标准； 大数据计算问题的复杂性下界; 大数据计算问题复杂性类层次和难解性理论； 大数据计算问题的近似计算理论； 大数据计算问题的并行计算理论； 大数据计算问题的随机计算理论； 大数据计算问题的计数计算等其他理论。
7. W. Fan, F. Geerts, F. Neven: Making Queries Tractable on Big Data with Preprocessing. PVLDB 6(9), 2013.
研究问题3：大数据计算的算法设计方法
线性和亚线性算法设计方法
精确、近似和随机算法设计方法。
大数据计算
大数据计算问题 输入: 大数据D, 问题P的参数. 输出: 问题的P解P(D). 大数据计算 求解计算问题的过程称为大数 据计算.
大数据计算问题实例
无语言障碍 的Web搜索
从卫星遥感数 据监测空间浮 质的性质.
由基因序列推 导生物功能
基于MRI数据 发现大脑行为 的时空模式.
从天文望远镜 图像数据发现 新天文学现象
实例优化的算法设计方法； 参数化算法设计方法。
参考文献
11.09. JXiainxziahnohnagnLHi,anSB,iiyJtaiTaonraCznhhsoepnnoggs,iLt(iεo，,nδEf)o-fAfricVpipernoytxLSimkaryagltieenSeAcCgiegonrmetigpfaiucttiaotniodAnSlogtanotriBsitihigcmaDlsaitna, to
3. X. Liu, Jianzhong Li, H. Gao, On the parameterized complexity of Labelled Correlation Clustering problem, Theoretical Computer Science, to appear.
4. D. Miao, Jianzhong Li, Sampling query feedback restricted repairs of functional dependency violations: Complexity and Algorithm, Theoretical Computer Science, to appear.
Outline
一、大数据计算的概念 二、大数据计算研究问题 三、对计算系统的挑战
一、大数据计算的概念 二、大数据计算研究问题 三、对计算系统的挑战
大数据是相对的概念
大“是大一”个是相相对对大V的的数ol概u据大m由e数: 给来数据定已据的数久量性据!大质D大、数计据算系统C、 念，对于不同V计a大r算i数ety据: 数时存据间在类T已、型久问繁题多P, 若C不能在T 系 义统不性同能. ，大VV的aeSllS意uoDecB:it会价y:内 为议值速求相3大度0解对多而快输C年密、入历度T为史、低DP的的P大, 则数称据D.
5. X. Liu, Jianzhong Li. On the hardness of queries from tree structured data. Journal of Combinatorial Optimization, to appear.
6. T. Deng, W. Fan: On the Complexity of Query Result Diversification. ACM Trans. Database Syst. 39(2), 2014.
22.0. JsJiyiansnbtzeahmoosWn,g2a3Ln(gi3,,)BJ,ia2atn0cz1hh2eo.dnIgntLeir,nIantdioenxailngSeMaruclhti-ndgimonenDsiaotanbaal sDeas.taICinDCEl,o1u9d87.
用动画片段数 据合成动画片.
一、大数据计算的概念 二、大数据计算研究问题 三、对计算系统的挑战
大数据计算系统设想
物 理 世 界
数据 的选择
大数据 大数据 大数据量质
获取
存储
融合管理
提取 数据的 数据的 问题 与集成 变换 评估 求解
百度文库结果评 估展示
人机交互式工作流管理
大数据计算的研究目标
发现大数据内在规律， 揭示大数据计算的基本原理， 建立大数据计算的复杂性理论， 探索大数据计算的算法设计方法学， 创建大数据计算系统，推动大数据应用。 从大数据发现的知识和规律是经验主义的。 确立大数据计算结果的真理性估计理论和方法！
Do more with less设计方法
基于数据压缩的无解压计算方法； 基于抽样的(,)-近似算法方法； 基于Dominant数据的算法设计方法； 增量式算法设计方法。
并行算法设计方法
面向云计算的方法：
➢ 工作负载平衡化； ➢ 节点计算局部化；
面向新并行计算系统的方法。
难解问题的求解算法设计方法
参考文献
1. F. N. Afratiy, A. D. Sarma, S. Salihogluz, J. D. Ullman, Upper and Lower Bounds on the Cost of a Map-Reduce Computation, EDBT, 2012.
2. H. Karloff, S. Suri, S. Vassilvitskiiz, A Model of Computation for MapReduce, STOC, 2010
DapayptnaeabamarsiecnsS.IEAenElgsEorTiNrtahenmtswiacocatr,ikoVsn,osIl.Eo1nE, NEDoTa.tr3aa,nA1sn9ad8c6tKi.onnoswolnedPgaeraEllnegl iannederDinisgt,ri2b0u1t3ed.
大数据计算的10个研究问题
研究问题1：大数据的内在规律
大数据的数学结构 大数据的物理特征 大数据的模型和表示； 大数据的生成、演变和世袭规律； 大数据的可信性、安全性、复杂性。
研究问题2：大数据的计算复杂性理论
大数据计算问题难解性的判定标准； 大数据计算问题的复杂性下界; 大数据计算问题复杂性类层次和难解性理论； 大数据计算问题的近似计算理论； 大数据计算问题的并行计算理论； 大数据计算问题的随机计算理论； 大数据计算问题的计数计算等其他理论。
7. W. Fan, F. Geerts, F. Neven: Making Queries Tractable on Big Data with Preprocessing. PVLDB 6(9), 2013.
研究问题3：大数据计算的算法设计方法
线性和亚线性算法设计方法
精确、近似和随机算法设计方法。
大数据计算
大数据计算问题 输入: 大数据D, 问题P的参数. 输出: 问题的P解P(D). 大数据计算 求解计算问题的过程称为大数 据计算.
大数据计算问题实例
无语言障碍 的Web搜索
从卫星遥感数 据监测空间浮 质的性质.
由基因序列推 导生物功能
基于MRI数据 发现大脑行为 的时空模式.
从天文望远镜 图像数据发现 新天文学现象
实例优化的算法设计方法； 参数化算法设计方法。
参考文献
11.09. JXiainxziahnohnagnLHi,anSB,iiyJtaiTaonraCznhhsoepnnoggs,iLt(iεo，,nδEf)o-fAfricVpipernoytxLSimkaryagltieenSeAcCgiegonrmetigpfaiucttiaotniodAnSlogtanotriBsitihigcmaDlsaitna, to
3. X. Liu, Jianzhong Li, H. Gao, On the parameterized complexity of Labelled Correlation Clustering problem, Theoretical Computer Science, to appear.
4. D. Miao, Jianzhong Li, Sampling query feedback restricted repairs of functional dependency violations: Complexity and Algorithm, Theoretical Computer Science, to appear.