云计算与大数据
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Apache Mahout 项目
通过尝试减轻构建训练有素的系统的复杂性 -Hazy项目
4 模型构建和评分 开放挑战
在模型建立和评分方面的关键挑战： 发现能够探索快速弹性和大规模云系统 的技术。
在模型建立和评分方面的标准和界面： 它们有助于传播“预测和分析作为服务” 的供应商，以争夺客户
如果使用此类服务不会 导致供应商锁定（通过使用标准API和格式）， 客户只能根据服务的成本和性能选择服务提供 商，从而促成新的竞争市场的出现。
8 总结与结论 经验教训
经验1
对于与云计算相关的大数据，有 很多解决方案。因为广泛的分析 需求,这种大量的解决方案已经被 创建，但它们有时可能压倒没有 经验的用户。分析可以是描述性 的、预测性的、规定性的；大数 据可以有不同层次的变化、速度、 体积和准确性。因此，重要的是 要理解需求，以便选择合适的大 数据工具
经验2
分析是一个复杂的过程，需要有 专门知识的人清理数据、理解和 选择适当的方法，并分析结果。 工具是帮助人们完成这些任务的 基础。此外，取决于执行这些任 务所涉及的复杂性和成本，与内 部执行这些任务相比，提供分析 即服务或大数据即服务的提供商 可能是一种很有前景的选择
经验3
云计算大数据起着关键的作用； 不仅因为它提供基础设施和工具， 而且还因为它是一个商业模式， 大数据分析可以遵循（例如 分析 即服务（AaaS）或大数据即服务 （BDaaS））。但是，AaaS / BDaaS带来了一些挑战，因为与 提供基础架构/平台/软件即服务 的传统云提供商相比，客户和提 供商的员工更多地参与环路
7
分析服务仍然缺乏定义良好的合同
8 总结与结论
8 总结与结论
总结
在本文中，我们讨论了分析工作流的关键阶 段，并在云支持的分析上下文中研究了每个 阶段的最新进展。通过详细的调查，我们发 现了技术上可能存在的差距，并为研究界提 供了关于云支持的大数据计算和分析解决方
案未来方向的建议。
8 总结与结论
6 商业模式和非技术 挑战
挑战1
当分析解决方案不是由云交付时， 它是特定于客户的，模型通常需 要更新以考虑新的数据
挑战2
分析云解决方案需要平衡通用性 和实用性
挑战3
复制文本分析活动的困难
7 其他的挑战
7 其他挑战
1
在高层次分析服务可能由云交付的业务模型中，人类的专业知识 不能很容易地被机器学习和大数据分析所取代
【4】Choo和Park认为大数据可视化不是实时的原 因是分析操作的计算复杂性。在这个方向上，作者讨 论了减少数据分析操作的计算复杂性的策略
【5】除了软件优化之外，专用的可视化硬件正在成 为大数据分析的关键。
【6】除了对原始数据的可视化之外，总结报告形式 的内容对于执行预测性和规定性的分析是必不可少的。
讲故事的作用不仅仅在于其字面意思，讲故事，可以让 你从之前遗漏的数据中发现新的观点。数字无法清晰描 绘的特征和数据之间的关系，可以使用故事和图表来展 示。
网络仍然是几个场景中的 瓶颈。
5 可视化和用户交互 进行的工作
网络瓶颈问题的一些解决办法：
1. Fisher等人。引入sampleAction 探索仅对增量样本进行交互的技术是否可以被分析人员视为 足够值得信赖的技术，从而更接近对其查询的实时决策。 2.对三个分析团队的访谈表明，增量查询结果的表示足够健壮， 以便分析人员准备放弃查询、改进查询或制定新的查询。 3.King还强调了使用多个检查点进行评估和调整的分析过程迭代的 重要性
服务
预测模型标记语言
预测模型标记语言是对数据挖掘模型的文本描述， 是模型构建的产物，也是利用模型进行评分或者预 测的输入。
预测模型标记语言的最大应用除了模型存储之外， 可以使不同厂家或者平台的模型构建输出统一化， 不同产品的输出模型可以通用。
4 模型构建和评分 目前正在进行的相关工作
谷歌预测API，但是Cloud Prediction API 已于 2018 年 4 月 30 日关停，目前已不再 使用，Cloud Machine Learning Engine可 作为其替代产品
随着社会各活动产生的数据量的不断增大，产生的速度不断加快，大数据 这种趋势已经变成一种与对手竞争的优势。然而，大数据分析仍然是一项 具有挑战性和时间要求的任务，需要昂贵的软件、大量的计算基础设施和 努力。云计算通过按需提供与实际使用成比例的成本来帮助缓解这些问题。 此外，它可以使基础设施迅速上下伸缩，使系统适应实际需求。虽然云基 础设施提供了这样的弹性能力，可以按需提供计算资源，但支持云计算的 领域仍处于初期阶段。
5 可视化和用户交互 进行的工作+开放的挑战
5 可视化和用户交互 进行的工作 可视化可以帮助分析的三种主要类型：
描述型 预测型 规范型
5 可视化和用户交互 进行的工作
可视化工具 故事
关键方面 ADD YOUR TEXT
许多可视化工具没有描述分析 的高级方面，但是已经努力探 索可视化以帮助进行预测和规 范分析，例如使用复杂的报告 和故事。
5
根据调查结果，目前大多数分析更新和评分方法每天发生一次， 这可能成为流数据分析的问题。
6
预见到他们所称的商业智能和分析（BI&A）3.0的出现，这就需 要相关的移动分析和位置和背景的收集、处理、分析和可视化感 知技术、大规模移动和传感器数据。许多这些工具仍有待开发。 此外，迁移到BI&A 3.0将需要努力整合来自多个源的数据，以供 云资源处理，并使用云帮助移动设备用户进行决策。
论文 大数据与云计算： 翻译 未来发展的趋势与方向
姓名 ： | 章节：4,5,6,7,8
Байду номын сангаас
CONTENTS
NO.8 总结和结论
NO.4 模型构建和评分
NO.5 可视化和用户交互
NO.6 商业模式和非技术 挑战
NO.7 其他的挑战
4 模型构建和评分 进行的工作+开放的挑战
4 模型构建和评分 目前正在进行的相关工作
预测模型
预测模型以预测模型标记语言（PMML）表示，部 署在云中，并通过Web服务接口公开。用户可以使 用Web浏览器技术访问模型，以组成他们的数据挖
掘解决方案
Zementis
预测分析是企业从数据中获得价值和洞察的关键武 器。而Zementis就是在各种大数据平台中提供基于 标准的预测评分引擎，既有云服务也所有实地部署
8 总结与结论 建议 未来工作中经常出现的主题包括：
1.制定标准和API，使用户能够轻松地在解决方案之间转 换
2.能够充分利用云基础架构的弹性容量
6 商业模式和非技术 挑战
6 商业模式和非技术 挑战
一些潜在商业模式
1. 在一个共享的平台上托管客户分析工作：适用于具有多个分析部门的 企业或组织。 2. 为客户提供端到端解决方案的完整的堆栈：适合那些没有分析专业知 识的公司。 3. 将分析模型公开为托管服务：分析功能被托管在云上，并作为服务公 开给客户。这个模型建议那些没有足够数据的公司做出好的预测。
【7】可视化帮助预测和规范分析的另一个趋势是讲故事， 旨在通过叙事可视化呈现数据。
5 可视化和用户交互 开放的挑战 三种主要方面：
1.首先，为了实现实时可视化，需要更有效的数据处理技 术。
2. 用于大规模可视化的经济有效的设备是另一种分析可视 化的热门话题
3. 用于管理计算机网络和软件分析的可视化也是一个吸引 研究人员和从业人员注意的领域
2
估算云平台上运行分析的成本但在当前的云计算中，这种成本估 算不是一项微不足道的任务。
3
云解决方案的数据摄取常常是一个弱点，而调试和验证已开发的 解决方案是一项挑战性和繁琐的过程。
7 其他挑战
4
市场调查显示，人员配备和技能不足，缺乏业务支持，以及分析 软件存在问题，这些都是企业在进行分析时面临的一些障碍
解释：
模型构建：
对于分析而言，使用数据构建可用 于预测和处方的模型与云提供的数 据存储和数据即服务（DaaS）功 能一样都是非常重要的，因而我们 才来讨论它。
评分：
由于模型是基于可用数据构建的， 因此需要针对新数据对已经建立好 的模型进行测试，以评估其预测未 来行为的能力，这就是评分
4 模型构建和评分 目前正在进行的相关工作
5 可视化和用户交互 进行的工作
【1】现有工作旨在探索解决方案提供的 批处理作业模型
【2】一些项目试图提供一系列可视化方法， 用户可以从中选择适合他们需求的集合。
【3】现有的工作，还为用户提供了从多个来源的 数据的聚合方法和使用各种可视化模型。
5 可视化和用户交互 进行的工作
【8】有一些应用于特定领域的可视化 工具
通过尝试减轻构建训练有素的系统的复杂性 -Hazy项目
4 模型构建和评分 开放挑战
在模型建立和评分方面的关键挑战： 发现能够探索快速弹性和大规模云系统 的技术。
在模型建立和评分方面的标准和界面： 它们有助于传播“预测和分析作为服务” 的供应商，以争夺客户
如果使用此类服务不会 导致供应商锁定（通过使用标准API和格式）， 客户只能根据服务的成本和性能选择服务提供 商，从而促成新的竞争市场的出现。
8 总结与结论 经验教训
经验1
对于与云计算相关的大数据，有 很多解决方案。因为广泛的分析 需求,这种大量的解决方案已经被 创建，但它们有时可能压倒没有 经验的用户。分析可以是描述性 的、预测性的、规定性的；大数 据可以有不同层次的变化、速度、 体积和准确性。因此，重要的是 要理解需求，以便选择合适的大 数据工具
经验2
分析是一个复杂的过程，需要有 专门知识的人清理数据、理解和 选择适当的方法，并分析结果。 工具是帮助人们完成这些任务的 基础。此外，取决于执行这些任 务所涉及的复杂性和成本，与内 部执行这些任务相比，提供分析 即服务或大数据即服务的提供商 可能是一种很有前景的选择
经验3
云计算大数据起着关键的作用； 不仅因为它提供基础设施和工具， 而且还因为它是一个商业模式， 大数据分析可以遵循（例如 分析 即服务（AaaS）或大数据即服务 （BDaaS））。但是，AaaS / BDaaS带来了一些挑战，因为与 提供基础架构/平台/软件即服务 的传统云提供商相比，客户和提 供商的员工更多地参与环路
7
分析服务仍然缺乏定义良好的合同
8 总结与结论
8 总结与结论
总结
在本文中，我们讨论了分析工作流的关键阶 段，并在云支持的分析上下文中研究了每个 阶段的最新进展。通过详细的调查，我们发 现了技术上可能存在的差距，并为研究界提 供了关于云支持的大数据计算和分析解决方
案未来方向的建议。
8 总结与结论
6 商业模式和非技术 挑战
挑战1
当分析解决方案不是由云交付时， 它是特定于客户的，模型通常需 要更新以考虑新的数据
挑战2
分析云解决方案需要平衡通用性 和实用性
挑战3
复制文本分析活动的困难
7 其他的挑战
7 其他挑战
1
在高层次分析服务可能由云交付的业务模型中，人类的专业知识 不能很容易地被机器学习和大数据分析所取代
【4】Choo和Park认为大数据可视化不是实时的原 因是分析操作的计算复杂性。在这个方向上，作者讨 论了减少数据分析操作的计算复杂性的策略
【5】除了软件优化之外，专用的可视化硬件正在成 为大数据分析的关键。
【6】除了对原始数据的可视化之外，总结报告形式 的内容对于执行预测性和规定性的分析是必不可少的。
讲故事的作用不仅仅在于其字面意思，讲故事，可以让 你从之前遗漏的数据中发现新的观点。数字无法清晰描 绘的特征和数据之间的关系，可以使用故事和图表来展 示。
网络仍然是几个场景中的 瓶颈。
5 可视化和用户交互 进行的工作
网络瓶颈问题的一些解决办法：
1. Fisher等人。引入sampleAction 探索仅对增量样本进行交互的技术是否可以被分析人员视为 足够值得信赖的技术，从而更接近对其查询的实时决策。 2.对三个分析团队的访谈表明，增量查询结果的表示足够健壮， 以便分析人员准备放弃查询、改进查询或制定新的查询。 3.King还强调了使用多个检查点进行评估和调整的分析过程迭代的 重要性
服务
预测模型标记语言
预测模型标记语言是对数据挖掘模型的文本描述， 是模型构建的产物，也是利用模型进行评分或者预 测的输入。
预测模型标记语言的最大应用除了模型存储之外， 可以使不同厂家或者平台的模型构建输出统一化， 不同产品的输出模型可以通用。
4 模型构建和评分 目前正在进行的相关工作
谷歌预测API，但是Cloud Prediction API 已于 2018 年 4 月 30 日关停，目前已不再 使用，Cloud Machine Learning Engine可 作为其替代产品
随着社会各活动产生的数据量的不断增大，产生的速度不断加快，大数据 这种趋势已经变成一种与对手竞争的优势。然而，大数据分析仍然是一项 具有挑战性和时间要求的任务，需要昂贵的软件、大量的计算基础设施和 努力。云计算通过按需提供与实际使用成比例的成本来帮助缓解这些问题。 此外，它可以使基础设施迅速上下伸缩，使系统适应实际需求。虽然云基 础设施提供了这样的弹性能力，可以按需提供计算资源，但支持云计算的 领域仍处于初期阶段。
5 可视化和用户交互 进行的工作+开放的挑战
5 可视化和用户交互 进行的工作 可视化可以帮助分析的三种主要类型：
描述型 预测型 规范型
5 可视化和用户交互 进行的工作
可视化工具 故事
关键方面 ADD YOUR TEXT
许多可视化工具没有描述分析 的高级方面，但是已经努力探 索可视化以帮助进行预测和规 范分析，例如使用复杂的报告 和故事。
5
根据调查结果，目前大多数分析更新和评分方法每天发生一次， 这可能成为流数据分析的问题。
6
预见到他们所称的商业智能和分析（BI&A）3.0的出现，这就需 要相关的移动分析和位置和背景的收集、处理、分析和可视化感 知技术、大规模移动和传感器数据。许多这些工具仍有待开发。 此外，迁移到BI&A 3.0将需要努力整合来自多个源的数据，以供 云资源处理，并使用云帮助移动设备用户进行决策。
论文 大数据与云计算： 翻译 未来发展的趋势与方向
姓名 ： | 章节：4,5,6,7,8
Байду номын сангаас
CONTENTS
NO.8 总结和结论
NO.4 模型构建和评分
NO.5 可视化和用户交互
NO.6 商业模式和非技术 挑战
NO.7 其他的挑战
4 模型构建和评分 进行的工作+开放的挑战
4 模型构建和评分 目前正在进行的相关工作
预测模型
预测模型以预测模型标记语言（PMML）表示，部 署在云中，并通过Web服务接口公开。用户可以使 用Web浏览器技术访问模型，以组成他们的数据挖
掘解决方案
Zementis
预测分析是企业从数据中获得价值和洞察的关键武 器。而Zementis就是在各种大数据平台中提供基于 标准的预测评分引擎，既有云服务也所有实地部署
8 总结与结论 建议 未来工作中经常出现的主题包括：
1.制定标准和API，使用户能够轻松地在解决方案之间转 换
2.能够充分利用云基础架构的弹性容量
6 商业模式和非技术 挑战
6 商业模式和非技术 挑战
一些潜在商业模式
1. 在一个共享的平台上托管客户分析工作：适用于具有多个分析部门的 企业或组织。 2. 为客户提供端到端解决方案的完整的堆栈：适合那些没有分析专业知 识的公司。 3. 将分析模型公开为托管服务：分析功能被托管在云上，并作为服务公 开给客户。这个模型建议那些没有足够数据的公司做出好的预测。
【7】可视化帮助预测和规范分析的另一个趋势是讲故事， 旨在通过叙事可视化呈现数据。
5 可视化和用户交互 开放的挑战 三种主要方面：
1.首先，为了实现实时可视化，需要更有效的数据处理技 术。
2. 用于大规模可视化的经济有效的设备是另一种分析可视 化的热门话题
3. 用于管理计算机网络和软件分析的可视化也是一个吸引 研究人员和从业人员注意的领域
2
估算云平台上运行分析的成本但在当前的云计算中，这种成本估 算不是一项微不足道的任务。
3
云解决方案的数据摄取常常是一个弱点，而调试和验证已开发的 解决方案是一项挑战性和繁琐的过程。
7 其他挑战
4
市场调查显示，人员配备和技能不足，缺乏业务支持，以及分析 软件存在问题，这些都是企业在进行分析时面临的一些障碍
解释：
模型构建：
对于分析而言，使用数据构建可用 于预测和处方的模型与云提供的数 据存储和数据即服务（DaaS）功 能一样都是非常重要的，因而我们 才来讨论它。
评分：
由于模型是基于可用数据构建的， 因此需要针对新数据对已经建立好 的模型进行测试，以评估其预测未 来行为的能力，这就是评分
4 模型构建和评分 目前正在进行的相关工作
5 可视化和用户交互 进行的工作
【1】现有工作旨在探索解决方案提供的 批处理作业模型
【2】一些项目试图提供一系列可视化方法， 用户可以从中选择适合他们需求的集合。
【3】现有的工作，还为用户提供了从多个来源的 数据的聚合方法和使用各种可视化模型。
5 可视化和用户交互 进行的工作
【8】有一些应用于特定领域的可视化 工具