基于Hadoop集群的日志分析系统的设计与实现

基于Hadoop集群的日志分析系统的设计与实现
陈森博;陈张杰
【期刊名称】《电脑知识与技术》
【年(卷),期】2013(000)034
【摘要】Nowadays,there are vast amounts of log data onInternet, it contains available information. Mass data storage and analy-sis is a difficult and complex task.Single host has been unable to meet the requirements. The use of distributed storage and distrib-uted computing
to analyze mass data has become an inevitable trend. Hadoop distributed computing framework has matured, is widely used in many fields. This paper presents a large distributed cluster construction and implementation process for log analy-sis. It presents the status of log analysis, using vmware virtual machine to build a Hadoop cluster and log analysis system construc-tion method, and the experimental results are analyzed.%当前Internet上存在着海量的日志数据，他们中蕴藏着大量可用的信息。

对海量数据
的存储和分析都是一个艰巨而复杂的任务，单一主机已经无法满足要求，使用分布式存储和分布式计算来分析数据已经成为了必然的趋势。

分布式计算框架Hadoop已经日趋成熟，被广泛的应用于很多领域。

该文描述了一个针对大日志
分析的分布式集群的构建与实现过程。

介绍了日志分析的现状，使用vmware虚
拟机搭建了Hadoop集群和日志分析系统的构建方法，并对实验结果进行了分析。

【总页数】5页(P7647-7650,7655)
【作者】陈森博;陈张杰
【作者单位】南通大学计算机科学与技术学院，江苏南通 226019;南通航运职业技术学院，江苏南通 226019
【正文语种】中文
【中图分类】TP311
【相关文献】
1.基于Hadoop集群的分布式日志分析系统研究 [J], 王润华
2.基于Hadoop集群的分布式日志分析系统研究 [J], 王润华
3.基于Hadoop集群的分布式入侵检测系统的设计与实现 [J], 谢天宇;曹奇英
4.基于Ambari的Hadoop集群部署实验的设计与实现 [J], 唐磊
5.基于Spark的网络日志分析系统设计与实现 [J], 汪小霞
因版权原因，仅展示原文概要，查看原文内容请购买。