数据分析培训班

数据分析培训班
选择机构重点要多试听，多比较，毕竟每个人接受信息的方式不一样，老师技
术再好，如果不能有效地传达给学生，那对学生来说也是没用的，所以建议试
听后找到适合自己的最重要。

以下介绍的课程主要针对零基础大数据工程师每个阶段进行通俗易懂简易介绍，方面大家更好的了解大数据学习课程。

课程框架是科多大数据的零基础大数据
工程师课程。

一、第一阶段：静态网页基础(HTML+CSS)
1. 难易程度：一颗星
2. 课时量(技术知识点+阶段项目任务+综合能力)
3. 主要技术包括：html常用标签、CSS常见布局、样式、定位等、静态页面的
设计制作方式等
4. 描述如下：
从技术层面来说，该阶段使用的技术代码很简单、易于学习、方便理解。

从后
期课程层来说，因为我们重点是大数据，但前期需要锻炼编程技术与思维。

经
过我们多年开发和授课的项目经理分析，满足这两点，目前市场上最好理解和
掌握的技术是J2EE，但J2EE又离不开页面技术。

所以第一阶段我们的重点是页面技术。

采用市场上主流的HTMl+CSS。

二、第二阶段：JavaSE+JavaWeb
1. 难易程度：两颗星
2. 课时量(技术知识点+阶段项目任务+综合能力)
3. 主要技术包括：java基础语法、java面向对象(类、对象、封装、继承、多态、抽象类、接口、常见类、内部类、常见修饰符等)、异常、集合、文件、IO、MYSQL(基本SQL语句操作、多表查询、子查询、存储过程、事务、分布式事务)JDBC、线程、反射、Socket编程、枚举、泛型、设计模式
称为Java基础，由浅入深的技术点、真实商业项目模块分析、多种存储方式
的设计
与实现。

该阶段是前四个阶段最最重要的阶段，因为后面所有阶段的都要基于
此阶段，也是学习大数据紧密度最高的阶段。

本阶段将第一次接触团队开发、
产出具有前后台(第一阶段技术+第二阶段的技术综合应用)的真实项目。

三、第三阶段：前端框架
1. 难易程序：两星
2. 课时量(技术知识点+阶段项目任务+综合能力)：64课时
3. 主要技术包括：Java、Jquery、注解反射一起使用，XML以及XML解析、
解析dom4j、jxab、jdk8.0新特性、SVN、Maven、easyui
4. 描述如下：
前两个阶段的基础上化静为动，可以实现让我们网页内容更加的丰富，当然如
果从市场人员层面来说，有专业的前端设计人员，我们设计本阶段的目标在于
前端的技术可以更直观的锻炼人的思维和设计能力。

同时我们也将第二阶段的
高级特性融入到本阶段。

使学习者更上一层楼。

四、第四阶段：企业级开发框架
1. 难易程序：三颗星
2. 课时量(技术知识点+阶段项目任务+综合能力)
3. 主要技术包括：Hibernate、Spring、SpringMVC、log4j slf4j 整合、myBatis、struts2、Shiro、redis、流程引擎activity，爬虫技术nutch,lucene，webServiceCXF、Tomcat集群和热备、MySQL读写分离
如果将整个JAVA课程比作一个糕点店，那前面三个阶段可以做出一个武大郎
烧饼(因为是纯手工-太麻烦)，而学习框架是可以开一个星巴克(高科技设备-省
时省力)。

从J2EE开发工程师的任职要求来说，该阶段所用到的技术是必须掌握，而我们所授的课程是高于市场(市场上主流三大框架，我们进行七大框架技
术传授)、而且有真实的商业项目驱动。

需求文档、概要设计、详细设计、源码
测试、部署、安装手册等都会进行讲解。

五、第五阶段：初识大数据
1. 难易程度：三颗星
2. 课时量(技术知识点+阶段项目任务+综合能力)
3. 主要技术包括：大数据前篇(什么是大数据，应用场景，如何学习大数据库，虚拟机概念和安装等)、Linux常见命令(文件管理、系统管理、磁盘管理)、
Linux Shell编程(SHELL变量、循环控制、应用)、Hadoop入门(Hadoop组成、
单机版环境、目录结构、HDFS界面、MR界面、简单的SHELL、java访问hadoop)、HDFS(简介、SHELL、IDEA开发工具使用、全分布式集群搭建)、MapReduce应用(中间计算过程、Java操作MapReduce、程序运行、日志监控)、Hadoop高级应用(YARN框架介绍、配置项与优化、CDH简介、环境搭建)、扩展(MAP 端优化，COMBINER 使用方法见,TOP K,SQOOP导出,其它虚拟机VM的快照,权限管理命令,AWK 与 SED命令)
4. 描述如下：
该阶段设计是为了让新人能够对大数据有一个相对的大概念怎么相对呢?在前置课程JAVA的学习过后能够理解程序在单机的电脑上是如何运行的。

现在，大数据呢?大数据是将程序运行在大规模机器的集群中处理。

大数据当然是要处理数据，所以同样，数据的存储从单机存储变为多机器大规模的集群存储。

(你问我什么是集群?好，我有一大锅饭，我一个人可以吃完，但是要很久，现在我叫大家一起吃。

一个人的时候叫人，人多了呢? 是不是叫人群啊!)
那么大数据可以初略的分为：大数据存储和大数据处理所以在这个阶段中呢，我们课程设计了大数据的标准：HADOOP大数据的运行呢并不是在咋们经常使用的WINDOWS 7或者W10上面，而是现在使用最广泛的系统：LINUX。

六、第六阶段：大数据数据库
1. 难易程度：四颗星
2. 课时量(技术知识点+阶段项目任务+综合能力)
3. 主要技术包括：Hive入门(Hive简介、Hive使用场景、环境搭建、架构说明、工作机制)、Hive Shell编程(建表、查询语句、分区与分桶、索引管理和视图)、Hive高级应用(DISTINCT实现、groupby、join、sql转化原理、java编程、配
置和优化)、hbase入门、Hbase SHELL编程(DDL、DML、Java操作建表、
查询、压缩、过滤器)、细说Hbase模块(REGION、HREGION SERVER、HMASTER、ZOOKEEPER简介、ZOOKEEPER配置、Hbase与Zookeeper
集成)、HBASE高级特性(读写流程、数据模型、模式设计读写热点、优化与配置)
4. 描述如下：
该阶段设计是为了让大家在理解大数据如何处理大规模的数据的同时。

简化咋们的编写程序时间，同时提高读取速度。

怎么简化呢?在第一阶段中，如果需要进行复杂的业务关联与数据挖掘，自行编写MR程序是非常繁杂的。

所以在这一阶段中我们引入了HIVE，大数据中的数据仓库。

这里有一个关键字，数据仓库。

我知道你要问我，所以我先说，数据仓库呢用来做数据挖掘分析的，通常是一个超大的数据中心，存储这些数据的呢，一般为ORACLE,DB2,等大型数据库，这些数据库通常用作实时的在线业务。

总之，要基于数据仓库分析数据呢速度是相对较慢的。

但是方便在于只要熟悉SQL，学习起来相对简单，而HIVE呢就是这样一种工具，基于大数据的SQL 查询工具，这一阶段呢还包括HBASE，它为大数据里面的数据库。

纳闷了，不是学了一种叫做HIVE的数据“仓库”了么?HIVE是基于MR的所以查询起来相当慢，HBASE呢基于大数据可以做到实时的数据查询。

一个主分析，另一个主查询
七、第七阶段：实时数据采集
1. 难易程序：四颗星
2. 课时量(技术知识点+阶段项目任务+综合能力)
3. 主要技术包括：Flume日志采集，KAFKA入门(消息队列、应用场景、集群搭建)、KAFKA详解(分区、主题、接受者、发送者、与ZOOKEEPER集成、Shell开发、Shell调试)、KAFKA高级使用(java开发、主要配置、优化项目)、数据可视化(图形与图表介绍、CHARTS工具分类、柱状图与饼图、3D图与地
图)、STORM入门(设计思想、应用场景、处理过程、集群安装)、STROM开
发(STROM MVN开发、编写STORM本地程序)、STORM进阶(java开发、主要配置、优化项目)、KAFKA异步发送与批量发送时效，KAFKA全局消息有序，STORM多并发优化
4. 描述如下：
前面的阶段数据来源是基于已经存在的大规模数据集来做的，数据处理与分析
过后的结果是存在一定延时的，通常处理的数据为前一天的数据。

举例场景：网站防盗链，客户账户异常，实时征信，遇到这些场景基于前一天
的数据分析出来过后呢?是否太晚了。

所以在本阶段中我们引入了实时的数据采集与分析。

主要包括了：FLUME实时数据采集，采集的来源支持非常广泛，KAFKA数据数据接收与发送，STORM实时数据处理，数据处理秒级别
八、第八阶段：SPARK数据分析
1. 难易程序：五颗星
2. 课时量(技术知识点+阶段项目任务+综合能力)
3. 主要技术包括：SCALA入门(数据类型、运算符、控制语句、基础函数)、SCALA进阶(数据结构、类、对象、特质、模式匹配、正则表达式)、SCALA
高级使用(高阶函数、科里函数、偏函数、尾迭代、自带高阶函数等)、SPARK
入门(环境搭建、基础结构、运行模式)、Spark数据集与编程模型、SPARK SQL、SPARK 进阶(DATA FRAME、DATASET、SPARK STREAMING原理、SPARK STREAMING支持源、集成KAFKA与SOCKET、编程模型)、
SPARK高级编程(Spark-GraphX、Spark-Mllib机器学习)、SPARK高级应用(系统架构、主要配置和性能优化、故障与阶段恢复)、SPARK ML KMEANS算
法，SCALA 隐式转化高级特性
4. 描述如下：
同样先说前面的阶段，主要是第一阶段。

HADOOP呢在分析速度上基于MR 的大规模数据集相对来说还是挺慢的，包括机器学习，人工智能等。

而且不适合做迭代计算。

SPARK呢在分析上是作为MR的替代产品，怎么替代呢? 先说他们的运行机制，HADOOP基于磁盘存储分析，而SPARK基于内存分析。

我这么说你可能不懂，再形象一点，就像你要坐火车从北京到上海，MR就是绿皮火车，而SPARK是高铁或者磁悬浮。

而SPARK呢是基于SCALA语言开发的，当然对SCALA支持最好，所以课程中先学习SCALA开发语言。

在科多大数据课程的设计方面，市面上的职位要求技术，基本全覆盖。

而且并不是单纯的为了覆盖职位要求，而是本身课程从前到后就是一个完整的大数据项目流程，一环扣一环。

比如从历史数据的存储，分析(HADOOP,HIVE,HBASE)，到实时的数据存储(FLUME,KAFKA)，分析(STORM,SPARK)，这些在真实的项目中都是相互依赖存在的。

大数据
Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。

还能让你对以后新出的大数据技术学习起来更快。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。

Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。

它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql 数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能
在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创
建数据库。

这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。

当然你也可以不
用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生
产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。

有的人说Pig那?它和Pig差不多
掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapReduce、Spark脚本，还能检查你的程序是否执行正确，出错
了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。

我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond
是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与
MYSQL相比能存储的数据量大很多。

所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。

而不是你给的问题。

当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapReduce处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。

特别适合做迭代运算，所以算法流们特别稀饭它。

它是用scala编写的。

Java语言或者Scala都可以操作它，因为它们都是用JVM的。

基础阶段：Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis。

hadoop mapreduce hdfs yarn：hadoop：Hadoop 概念、版本、历史，HDFS工作原理，YARN介绍及组件介绍。

大数据存储阶段：hbase、hive、sqoop。

大数据架构设计阶段：Flume分布式、Zookeeper、Kafka。

大数据实时计算阶段：Mahout、Spark、storm。

大数据数据采集阶段：Python、Scala。

大数据商业实战阶段：实操企业大数据处理业务场景，分析需求、解决方案实施，综合技术实战应用。

讲师实力：一线开发人员
对于靠谱的大数据分析培训机构来说，讲师是最核心的竞争力。

在光环大数据
讲师都是有着多年实践经验的一线开发人员，在互联网行业都有丰富的项目经验。

他们了解企业最需要的技能和最流行的开发框架。

所有培训师的教学模式
都不是照本宣科，而是结合实际应用授课。

2、前沿的课程设置
互联网技术更新迭代很快，大数据分析技术也概莫能免。

大家在学习之前可以
通过专业渠道了解大数据分析课程主要涉及的各方面内容，并进行对比，看是
否合理。

谨防学习了过时、落伍的技术，误人误己光环大数据大数据课程分为
13大阶段90大模块课程+6大企业真实项目实战，每个阶段都有实力案例和项
目结合，从简单到专业一步一步带领学生走进大数据开发的世界，帮助学生顺
利走上大数据工程师的道路！
3、标准的学员录取准则
正规的培训机构对报名者肯定有一定的筛选原则，并不是“来着不拒”，交钱就收。

而筛选并不只是考察学员的基础，更多的是对学员的逻辑思维、学习能力、学习态度、数据分析师培训，
一般线下的课程，比如CDA，大概在20000左右，线上课程，比如大讲台，大概在10000左右；求学欲望以及所学专业等方面进行综合评估测试，确定是否适合学习大数据分析。

据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

这一过程也是质量管理体系的支持过程。

在实用中，数据分析可帮助人们作出判断，以便采取适当行动。

数据分析的工具：
Excel作为常用的分析工具，可以实现基本的分析工作，在商业智能领域Cognos、Style Intelligence、Microstrategy、Brio、BO和Oracle以及国内产品如Yonghong Z-Suite BI套件等。