大数据课程体系

安装JDK
Hadoop
Hadoop介绍，发展史，国内外现状，未来
Hadoop 核心组成介绍及hdfs、mapreduce体系结构
Hadoop 的集群结构
Hadoop独立模式安装与测试
Hadoop 启动与停止
SSH安装与配置
Hadoop 伪分布式和完全分布式安装配置
HDFS底层工作原理
HDFSdatanode,namenode详解
VMware Workstation虚拟软件安装ubuntu安装
Linux的常用命令
Linux系统进程管理常用命令ps、pkill、top、htop等的使用；
Linux启动流程，运行级别详解，chkconfig详解
nano编辑器
Linux权限管理：用户、组
Linux权限管理：文件权限rwx
Linux网络管理：hosts,hostname,ifconfig
Scala
scala解释器、变量、常用数据类型等
scala的条件表达式、输入输出、循环等控制结构
scala的函数、默认参数、变长参数等
scala的数组、变长数组、多维数组等
scala的映射、元组等操作
scala的类，包括bean属性、辅助构造器、主构造器等
scala的对象、单例对象、伴生对象、扩展类、apply方法等
Spark Streaming：数据源和DStream
无状态transformation与有状态transformation
Streaming Window的操作
sparksql编程实战
spark的多语言操作
SparkMLlib
机器学习
介绍
回归算法
分类算法
第四章 推荐系统
第五章 聚类
Kmeans
Docker
flume Sink Processors相关配置和案例分析
flumeБайду номын сангаасInterceptors相关配置和案例分析
flume AVRO Client开发
flume 和kafka的整合
Zookeeper
开发
Zookeeper javaapi开发
Zookeeperrmi高可用分布式集群开发
Zookeeperredis高可用监控实现
数据仓库Hive
Hive简介
Hive集群
客户端简介
HiveQL介绍与SQL的比较
数据类型
外部表和分区表
ddl与CLI客户端演示
dml与CLI客户端演示
select与CLI客户端演示
Operators 和 functions与CLI客户端演示
Hiveserver2与jdbc
用户自定义函数（UDF和UDAF）的开发与演示
综合项目演练2
结合国内某知名网站账户的泄露信息，运用大数据技术对所有账户的密码部分进行分析，从而判断国人在密码设置上的缺陷和漏洞，进而计算我们自己所设密码被成功破解的概率，最终通过改变个人的密码设置习惯有效保护个人的账户和财产安全。
基本介绍
vmdocker对比
docker基本架构介绍
unfscgroupnamespace
进程虚拟化 轻量级虚拟化
docker安装
docker镜像制作
docker常用命令
docker镜像迁移
dockerpipework
1dockerweave
虚拟化KVM
虚拟化介绍，虚拟化适用场景等等
QemuLibvirt&KVM
Hive 优化
数据迁移工具Sqoop
Sqoop简介和配置
Sqoopshell常见命令
Sqoop导入与导出
Flume分布式
日志框架
flume简介-基础知识
flume安装与测试
flume部署方式
flume source相关配置及测试
flume sink相关配置及测试
flume selector 相关配置与案例分析
Java基础
JAVA 开发基础知识
Eclipse 开发环境
多线程技术
Socket 网络技术
Regular Expression
Java反射技术
各种实战设计模式
面向对象设计原则详解
Java collection
Reflection
JVM原理与配置、调优
Java设计模式
Linux大纲
Linux的介绍与安装
安装KVM,Qemu,Libvirt
QEMU-KVM: 安装第一个能上网的虚拟机
Kvm虚拟机nat,网桥基本原理
kvm虚拟机克隆
kvm虚拟机vnc配置
kvm虚拟机扩展磁盘空间
Kvm快照
Kvm迁移
Java,python,c语言编程控制kvm
云平台OpenStack
openstack介绍和模块基本原理分析
Hdfsshell
Hdfsjavaapi
InputSplit和OutputSplit
BlockSize配置
最少副本数配置
MR作业流程分析
编写Mapper程序
编写Reducer程序
执行Mapreduce过程
Hadoop 核心类讲解,RM,NM,NN,DN
YARN调度框架事件分发机制
Hadoop底层IPC原理和RPC
scala的包、引入、继承等概念
scala的特质
scala的操作符
scala的高阶函数
scala的集合
scala数据库连接
Spark
大数据处理
Spark简介与应用场景
RDD
Transformation
Action
Spark计算PageRank
Lineage
Spark模型简介
Spark缓存策略和容错处理
Netty异步io通信框架
Zookeeper实现netty分布式架构的高可用
kafka
kafka是什么
kafka体系结构
kafka配置详解
kafka的安装
kafka的存储策略
kafka分区特点
kafka的发布与订阅
zookeeper协调管理
java编程操作kafka
scala编程操作kafka
flume 和kafka的整合
Kafka 和storm 的整合
Storm
Storm的基本概念
Storm的应用场景
Storm和Hadoop的对比
Storm集群的安装的linux环境准备
zookeeper集群搭建
Storm集群搭建
Storm配置文件配置项讲解
集群搭建常见问题解决
Storm常用组件和编程API：Topology、 Spout、Bolt
宽依赖与窄依赖
Spark配置讲解
Spark集群搭建
集群搭建常见问题解决
Spark原理核心组件和常用RDD
数据本地性
任务调度
DAGScheduler
TaskScheduler
Spark源码解读
性能调优
Spark和Hadoop2.x整合：Spark on Yarn原理
Spark Streaming
实时计算
Storm分组策略(stream groupings)
使用Strom开发一个WordCount例子
Storm程序本地模式debug、Storm程序远程debug
Storm事物处理
Storm消息可靠性及容错原理
Storm结合消息队列Kafka：消息队列基本概念(Producer、Consumer、Topic、Broker等)、消息队列Kafka使用场景、Storm结合Kafka编程API
openstack多节点安装部署【a.采用centos6.x系统】
Keystone基本原理
glance
Cinder
Swift
Neutron
Openstackapi二次开发
综合项目演练1
结合基于SSH技术的jee项目—互联网大数据调查系统，可针对当下流行的事件进行网络调查，然后从海量的调查调查问卷中通过大数据手段对其进行分析和汇总，最终对大众的消费习惯、文化倾向、未知领域的认知以及新事物趋势做数据上的可靠性分析，掌握大众的心理导向，有效指定企业的战略规划和部署。
Storm Trident概念
Trident state 原理
Trident开发实例
StormDRPC(分布式远程调用)介绍
StormDRPC实战讲解
Storm和Hadoop2.x的整合：Storm on Yarn
Storm开发实战：Kafka+Storm+Hbase+redis项目实战，以及多个案例
Hadoop的底层googleProtoBuf的协议分析
分布式数据库
Hbase
HBase简介与RDBMS的对比
系统架构
HBase上的MapReduce
Hbase核心术语介绍
Hbase基本操作
HBaseShell以及演示
Hbase树形表设计
Hbase一对多 和 多对多 表设计
Hbase调优(读、写、设计)