旅游大数据挖掘与分析平台方案

旅游研究院大数据挖掘与分析科研平台建设方案

目录

一.背景 (3)

1.1数据挖掘和大数据分析行业背景和发展趋势 (3)

1.2旅游行业开展大数据分析及应用的意义 (4)

1.3数据挖掘与大数据分析科研平台建设的必要性 (4)

二.数据挖掘与大数据分析科研平台总体规划 (5)

2.1科研平台规划 (5)

2.2科研平台功能规划 (6)

三.数据挖掘与大数据分析科研平台建设方案 (7)

3.1大数据科研平台设备架构 (7)

3.1.1主节点和备份主节点 (7)

3.1.2管理节点 (7)

3.1.3接口节点 (8)

3.1.4计算节点 (8)

3.2大数据科研平台底层架构 (8)

3.2.1分布式持久化数据存储——HDFS (9)

3.2.2分布式实时数据库——HBase (9)

3.2.3分布式资源调度管理——YARN (9)

3.2.4交互式SQL引擎——Hive (9)

3.2.5内存计算——Spark (10)

3.3科研平台的功能 (10)

3.3.1科研项目管理 (10)

3.3.2平台内置数据集 (10)

3.3.3科研数据上传 (11)

3.3.4集成算法组件 (11)

3.3.5科研平台可视化功能 (12)

四.平台数据集清单 (13)

五.定制数据服务 (13)

六.科研平台算法清单 (13)

七.科研平台设备清单 (19)

一. 背景

1.1 数据挖掘和大数据分析行业背景和发展趋势

移动互联网、电子商务以及社交媒体的快速发展使得企业需要面临的数据量成指数增长。根据 IDC 《数字宇宙》(Digital Universe)研究报告显示，2020 年全球新建和复制的信息量已经超过 40ZB，是2015年的12倍;而中国的数据量则会在2020年超过8ZB，比2015年增长22倍。数据量的飞速增长带来了大数据技术和服务市场的繁荣发展。IDC亚太区(不含日本)最新关于大数据和分析(BDA)领域的市场研究表明，大数据技术和服务市场规模将会从2012年的5.48亿美元增加到2017年的23.8亿美元，未来5年的复合增长率达到34.1%。该市场涵盖了存储、服务器、网络、软件以及服务市场。数据量的增长是一种非线性的增长速度。

据IDC分析报道，最近一年来，亚太区出现了越来越广泛的大数据和分析领域的应用案例。在中国，从互联网企业，到电信、金融、政府这样的传统行业，都开始采用各种大数据和分析技术，开始了自己的大数据实践之旅;应用场景也在逐渐拓展，从结构化数据的分析，发展到半结构化、非结构化数据的分析，尤其是社交媒体信息分析受到用户的更多关注。用户们开始评估以Hadoop、数据库一体机以及内存计算技术为代表的大数据相关新型技术。

最新调研结果显示，提高竞争优势，降低成本以及吸引新的客户是中国用户对大数据项目最期望的三大回报。目前现有的大数据项目主要集中在业务流程优化以及提高客户满意度方面的应用。IDC发现很多用户希望大数据能够为企业带来业务创新，并且开始使用高级分析的解决方案以管理复杂的数据环境。过去一年中用户对社交数据的收集和分析应用的关注度增加明显。未来，地理位置信息分析将会增长迅速，这也会推动用户对大数据安全和隐私管理的关注。在亚太区，澳大利亚和新加坡的用户对大数据的相关投资主要在咨询服务方面，更关注如何根据新的最佳实践需求设计和实施方案。中国和印度在大数据领域的硬件投资则非常明显，更倾向于数据中心相关的基础架构的投资。

在传统的数据分析与商业数据挖掘中，人们通常遵循二八原则。也就是任务20%的用户提供了80%的价值，因此利用优势资源用户对于少数用户的服务。随着互联网的发展，越来越多的低价值用户进入到商业体系中，这部分用户成为商业企业竞争的目标。比如电商行业，大量顾客都是传统意义上的低价值客户，数据表明对于这部分用户价值的挖掘可以改变二八原则，甚至可达到价值的几乎均匀分布。并且由于计算技术的发展，对于大数据的分析也成为了可能。

1.2 旅游行业开展大数据分析及应用的意义

旅游行业有行业广、规模大、移动性强的特点，因此更加依赖大数据。当前，旅游业也在“新常态”下迎来了升级的挑战和变革的机遇，新常态对于一般的经济部门是经济速度放慢、人均GDP增速减小，很多传统行业在调整结构，但新常态对旅游行业却是速度加快的。旅游大数据的解决之道，在于整合国内多途径的大数据源，形成旅游大数据生态，为国内旅游业提供大数据解决方案，促进旅游业的转型升级。

1.3 数据挖掘与大数据分析科研平台建设的必要性

数据挖掘与大数据分析是以计算机基础为基础，以挖掘算法为核心，紧密面向行业应用的一门综合性学科。其主要技术涉及概率论与数理统计、数据挖掘、算法与数据结构、计算机网络、并行计算等多个专业方向，因此该学科对于科研平台具有较高的专业要求。科研平台不仅要提供基础的编程环境，还要提供大数据的运算环境以及用于科学研究的实战大数据案例。这些素材的准备均需完整的科研平台作为支撑。

目前，在我国高校的专业设置上与数据挖掘与大数据分析相关的学科专业包括：计算机科学与技术、信息管理与信息系统、统计学、经济、金融、贸易、生物信息、旅游以及公共卫生等。这些专业的在使用科研平台时的侧重点各不相同，使用人员层次水平也不相同，对算法的使用也不相同，因此，需要建设一个便利、操作简易、算法全面、可视化的大数据科研平台是非常有必要的。

二. 数据挖掘与大数据分析科研平台总体规划

图1.总体架构图

系统整体由千兆核心交换机作为核心节点，并以两个千兆接入交换机作为科研与实验环境的交换节点。科研环境由我司开发的商业Hadoop集群为基础，上