大数据的五大关键技术

大数据的五大关键技术

文档修订摘要

目录

大数据的五大关键技术 (1)

1. 概述 (4)

1.概述

大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和展现的有力武器。

一、大数据接入

1、大数据接入

已有数据接入、实时数据接入、文件数据接入、消息记录数据接入、文字数据接入、图片数据接入、视屏数据接入。

2、大数据接入技术

Kafka、ActiveMQ、ZeroMQ、Flume、Sqoop、Socket(Mina、Netty)、ftp/sftp

二、大数据存储

1、大数据存储

结构化数据存储、半结构化数据存储、非结构化数据存储

2、大数据存储技术

Hdfs、Hbase、Hive、S3、Kudu、MongoDB、Neo4J 、Redis、Alluxio(Tachyon)、Lucene、Solr、ElasticSearch

三、数据分析挖掘

1、大数据分析与挖掘

离线分析、准实时分析、实时分析、图片识别、语音识别、机器学习

2、大数据分析与挖掘技术

MapReduce、Hive、Pig、Spark、Flink、Impala、Kylin、Tez、Akka、Storm、S4、Mahout、MLlib