智慧旅游系统架构设计

Data Base Technique •

数据库技术

Electronic Technology & Software Engineering 电子技术与软件工程• 167

【关键词】大数据分析 智慧旅游 数据架构

智能旅游系统解决了旅游部门精细管理的需要，旅游管理部门掌握了大量的管理数据，他们利用大数据分析技术进行数据驱动的社会管理。通过政府的程序化、标准化、数据化功能，实现社会管理由粗放型向精细化的转变。实现历史旅游数据的智能分析，预测未来的客流、车流等数据。它可以测量进入景区的游客数量和实时流量，方便对景区的流量进行动态控制；能够预估各种安全形势的潜在风险，提前处理突发事件，做好预测和预防工作；它可

智慧旅游系统架构设计

文/丁勇

以对游客和旅游结构进行统计分析，对景区各个旅游季节进行动态票价规划，对旅游资源进行统计分析与深度开发。

1 需求背景

旅游业具有产业范围广、规模大、流动性强的特点，旅游业也面临着“新常态”下的升级挑战和改革机遇，对于一般经济部门来说，新常态是经济增速放缓，人均GDP 增速下降，许多传统产业正在调整结构，但旅游业进入新

常态的速度很快。如何利用先进技术对海量、多样化的数据进行深度分析和应用，对海量数据进行搜索、关联和比较，实时发现潜在问题并加以预警，已成为当前亟待解决的问题。

主要体现在以下两个方面:首先,现有的系统仍在结构化数据处理模式系统, 要实现对旅游企业的整体运行状况、游客出行规律等方面以时间粒度进行数据分析还存在不足。其次,在处理这些逻辑相关的过程中大量的多源异构数据,现有系统的数据存储结构,处理类型和处理效率不能满足旅游管理数据和扩大规模和

2 HDFS存储模块

HDFS 采用典型的主从式（master-slave ）设计，在该设计中主要包含两种节点：主节点（NameNode ）和数据节点（DataNode ）。主节点负责管理整个文件系统的命名空间；另外一种 DataNode 是从节点，为数据提供真实的存储、管理服务。DataNode 最基本的存储单位是 Block ，文件大于 Block 时会被划分为多个 Block 存储在不同的数据节点，其元数据存储在NameNode 中，全局调度数据块的读写操作，主要用于定位block 与DadaNode 之间的对应关系。用户如果操作 HDFS 文件时，需要先访问 NameNode 节点，读取元数据（metaData ）信息，得到存储位置后再访问 DateNode 。其架构如图2所示。

经Scrapy 采集到的数据需要持久化到hdfs 中，python 语言来访问Hadoop HDFS 时，需要引入pyhdfs 库，通过pyhdfs 提供的API 接口实现对hdfs 的操作。HdfsClient 这个类可以连接HDFS 的NameNode ，用来读、些、查询HDFS 上的文件。代码示例：

Client=pyhdfs.HdfsClient(hosts="192.168.1

.108,9000",user_name="hadoop")

从本地上传文件至集群

client.copy_from_local("D:/test.csv","/user/hadoop/test.csv")

打开一个远程节点上的文件，返回一个HttpResponse 对象

HttpResponse response = client.open("/user/hadoop/test.csv")

3 结语

在房地产市场领域，浩瀚的网络资源已经呈现出大数据的特点，传统的信息处理技术已经无法适应需求。针对无法进行有效数据分析的现状，本文研究利用Scrapy 网络爬虫框架和HDFS 分布式文件系统进行数据的采集和存储。HDFS 能为不断增长的数据提供高度的容错、高吞吐量和分布式储存服务。通过提升大数据分析技术在房地产行业中的应用水平，充分利用 Hadoop 平台的优势，转变数据存储方式和计算模式，加强数据的分析和挖掘，提高政府及有关部门对房地产市场分析的广度和深度，更好的为政府决策、行业管理提供决策依据是下一步的主要研究工作。

参考文献

[1]林清滢.基于Hadoop 的云计算模型[J].

现代计算机:专业版,2010(7):114-116.[2]陈吉荣,乐嘉锦.基于Hadoop 生态系统

的大数据解决方案综述[J].计算机工程与科学,2013,35(10):25-35.

[3]马联帅.基于Scrapy 的分布式网络新闻

抓取系统设计与实现[D].西安电子科技大学,2015.

[4]郝树魁.Hadoop HDFS 和MapReduce 架构

浅析[J].邮电设计技术,2012(7):37-42.

作者简介

丁志毅（1984-），男，河南省郑州市人。郑州市房地产市场和产权交易管理中心信息技术和市场分析科，中级软件设计师，硕士研究生学历，主要从事房屋交易信息化、数据分析工作。

作者单位

郑州市房地产市场和产权交易管理中心 河南省郑州市 450000

<<上接166页图1：智慧旅游系统架构

168 •电子技术与软件工程 Electronic Technology & Software Engineering

数据库技术

• Data Base Technique

●基金项目：项目来源：2018年，云南省高校科技创新团队 项目名称：云南省高校智慧旅游科技创新团队。

快速数据挖掘和应用的必要性。

旅游信息智能处理与决策管理系统构建了一个支持横向扩展的大型数据处理平台体系结构，具有分布式、并行性和高效率的特点。综合运用云计算、云存储、并行数据挖掘、图像识别等技术进行数据存储、挖掘、关联和分析。通过集成异构数据资源数据和图像等电子监控设备到大型数据处理平台,提供在线实时分析模式和离线统计分析模式,通过分布式存储和并行数据挖掘、实时和离线分析大数据的

各种旅游管理可以全面开展。挖掘海量数据中隐藏的信息，充分掌握旅游企业的经营状况，它可以为战略制定、决策分析和行动部署提供依据，大大提高一体化管理的集约化程度。

2 架构设计

系统基于Web 框架采用层次结构进行架构如图1所示，上层使用下层提供的服务，仅通过调用层之间的特定接口来获得下层服务。下层公开特定的接口，为上层提供特定的服务，

不依赖于上层，也不知道上层的存在，进一步提高了系统设计和实现的灵活性和可靠性。

系统数据架构如图2所示分为：数据层、决策分析处理层、应用层。

数据层提供集中的数据访问，包括数据连接池控制、数据库安全控制和数据库系统，集中式数据访问可以在大量用户同时访问的情况下共享连接信息，从而提高了效率，集中式的数据库安全控制，使任何数据库都可以从互联网上访问，必须通过强制安全性来管理，并且不允许直接访问数据库。

决策分析处理层通过业务模型建立、分析，数据挖掘分析，提供智慧旅游的数据服务、管理服务。

应用层通过提供统一的数据服务接口为每个应用程序系统提供服务，应用系统的表示层可以是网站、客户端系统、Web 服务等应用程序。

3 数据流图

智慧旅游系统基于Hadoop ，包括大数据分析、数据挖掘、机器学习、HDFS 和Hbase 等功能模块，数据流结构如图3所示。系统收集各种各样的信息通过消息总线汇聚各类信息，分布式数据通过Hbase 、HDFS 、MapReduce 计算分布式数据,将结果和各种基

本应用系统集成平台通过应用程序服务器的数据接口,并使信息检索和分析决策。在系统中明确数据定义，统一数据来源，进一步挖掘模拟、预测等更高层次的决策支持；建立专业化的智能决策团队与共享服务机制；实现对已建立决策辅助业务应用的横向集成、纵向贯通。

4 总结

智能旅游系统提供基础数据源，对大量旅游资源信息进行整理和分类，建立数据的标准规范，并根据不同的主题，建立分类数据库，梳理旅游资源目录系统，实现数据共享、交换和应用集成。通过对旅游不同专题数据的分类和分析，了解旅游产业的发展现状和趋势，为地方旅游政策和旅游发展方向提供指导，了解

营销利润率、渠道分析、游客购买行为，从而更准确地投资于营销资金、分销渠道和游客喜爱的购买选择。

作者简介

丁勇（1975-），男，云南省昆明市人。工程硕士。副教授。研究方向为软件工程敏捷开发、大数据技术应用。

作者单位

云南师范大学文理学院信息工程学院 云南省

昆明市 650228

图2：智慧旅游系统数据架构

图3：智慧旅游数据流结构