基于大数据集的学生上网行为分析

and the graphs computing framework of MapReduce, at the same time cooperate with visualization technology to design a student online behavior analysis system based on big data.The system mainly includes three modules:log analysis module, the log storage module, visual display module. the analysis of the log is from four dimensions,which include the student number of users' search ranking, keyword ranking analysis, time analysis.The log storage module is divided into HDFS storage module and Mysql storage module. Visual display module intuitively display the analysis of the results . Finally the feasibility of the system is verified by test. Key words：hadooop , java ee , Query log , Student behavior analysis
关键词：Hadoop ，java ee ，查询日志 ，学生行为分析
QQ：792042913
The Design of the Student Behavior Analysis System Based On Big Data Abstract
With the popularization and development of the Internet, people communicate with each other through the network for the exchange of information were frequent . However,Internet has increasingly become a very important channel for the access to information .Student users using a search engine query some information will produce the corresponding query log,And these user query log Which can analyze the user's real demand and stealth requirements contains useful information.With the rise of the Hadoop distributed processing framework, the massive user's web log research are of great hope. Based on the above technology development and a large number of relevant journals, this paper use the hadoop framework as the basis through a detailed analysis of the user search log, and apply the hadoop distributed file system HDFS to storing log
2016 届 毕 业 设 计 说 明 书 QQ ： 792042913
目
录
1 绪论................................................................1 1.1 研究背景及意义....................................................1 1.1.1 研究背景........................................................1 1.1.2 研究意义........................................................1 1.2 国内外研究现状....................................................1 1.3 论文主要工作......................................................2 1.4 论文结构..........................................................2 2 相关技术介绍........................................................4 2.1 Hadoop 概述........................................................4 2.1.1 HDFS 介绍........................................................5 2.1.2 MapReduce 介绍...................................................6 2.2 可视化技术概述....................................................7 3 学生行为分析系统总体设计............................................8 3.1 需求分析 .........................................................8 3.1.1 开发背景与目的..................................................8 3.1.2 系统功能需求分析................................................9 3.2 系统总体架构设计.................................................10 3.2.1 Hadoop 集群层...................................................11 3.2.2 HDFS 存储层.....................................................11 3.2.3 MapReduce 计算层................................................12 3.2.4 Mysql 数据库存储层..............................................12 3.2.5 用户接口层.....................................................14 4 学生行为分析系统详细设计...........................................15 4.1 日志存储模块详细设计.............................................15 4.1.1 HDFS 分布式存储模块.............................................15 4.1.2 Mysql 数据库存储模块............................................16 4.2 日志分析模块详细设计.............................................18 第 I 页 共 II 页
QQ：792042913
毕业设计说明书
基于大数据技术的学生上网行为 分析系统设计
学生姓名： 学 专 院： 业：
xx
学ห้องสมุดไป่ตู้：
xxxxx
计算机与控制工程学院 计算机科学与技术 xx
指导教师：
2016 年
6 月
QQ：792042913
基于大数据技术的学生上网行为分析系统设计
摘 要
伴随着互联网的普及与发展，人们通过网络交流日益频繁，同时，互联网已经 日益成为人们获取信息的重要渠道。学生用户使用搜索引擎查询一些信息的时候， 会产生相应的查询日志。而这些查询日志中包含着用户有用的信息，可以从这些信 息中分析出用户的真实需求及隐形需求。随着 Hadoop 分布式处理框架的兴起，给 海量用户上网日志的研究带来了巨大的希望。 基于以上的技术发展与查阅大量相关期刊， 本论文通过对用户搜索引擎搜索日 志进行详细的分析，利用 hadoop 框架为基础，运用 HDFS 分布式文件系统存储日志 与 MapReduce 计算框架，同时配合可视化技术，设计了一个基于大数据的学生上网 行为分析系统。该系统主要包含了三个模块，日志分析模块，日志存储模块，可视 化展示模块。其中对日志的分析从四个维度进行，即学生用户搜索次数排行，关键 词排行分析，时间分析。其中日志的存储模块分为 HDFS 存储模块与 Mysql 存储模 块。可视化展示模块是对分析得的结果进行直观的展示。最终通过测试验证了系统 的可行性。