大数据实验报告

课程实验报告

专业年级14级软件工程

课程名称大数据技术原理与应用指导教师李均涛

学生姓名吴勇

学号************** 实验日期2017.05.04

实验地点笃行楼B栋301

实验成绩

教务处制

2017年03月09日

实验项目

Liunx基本操作

名称

实验

1.了解Liunx操作系统发展历史。

目的及要求

2.学习Liunx操作系统基本概念及操作。

3.学习Liunx操作系统用户及文件权限管理。

4.Linux 目录结构及文件基本操作。

实验

1.实验楼环境介绍，常用Shell 命令及快捷键，Linux 使用小技巧。

内容

2.Linux 中创建、删除用户，及用户组等操作。Linux 中的文件权限设置。

3.Linux 的文件组织目录结构，相对路径和绝对路径，对文件的移动、复制、

重命名、编辑等操作。

1.Liunx输入输出命令。

实验步骤

2.使用touch命令创建文件夹，后缀都为txt。

3.学会在命令行中获取帮助。

4.输出图形字符。

5.查看用户。

6.创建新用户。

7.删除用户。

8.查看文件权限。

9.用ls –A/Al/dl/AsSh查看文件。

10.变更文件所有者。

11.修改文件权限。

12.目录路径。

13.新建空白文件。

14.文件的复制、删除、移动、重命名。

实验环境

Liunx 操作系统

实验结果与

分析通过学习Liunx操作系统的发展历史、基本操作、用户及文件权限管理以及Linux 目录结构及文件基本操作。是得我大致了解Liunx操作系统的使用，并且能够完成相应的练习。

教师评语

.

课程实验报告

专业年级14级软件工程

课程名称大数据技术原理与应用指导教师李均涛

学生姓名吴勇

学号20142205042026 实验日期2017.05.04

实验地点笃行楼B栋301

实验成绩

教务处制

2017年03月09日

实验项目

名称

Hadoop的基本操作

实验

目的及要求

1.Hadoop单机模式安装.

2.Hadoop伪分布模式配置部署.

3.Hadoop介绍及1.X伪分布式安装.

4.adoop2.X 64位编译.

5.Hadoop2.X 64位环境搭建.

实验

内容

1.hadoop三种安装模式介绍,hadoop单机模式安装,测试安装

2.hadoop配置文件介绍及修改,hdfs格式化,启动hadoop进程，验证安装.

3.Hadoop1.X伪分布安装, Hadoop介绍,Hadoop变量配置.

4.Hadoop2.X 64位编译, 编译Hadoop2.X 64位, 编译Hadoop.

5.搭建环境, 部署Hadooop2.X, 启动Hadoop.

实验步骤1.用户及用户组,添加用户及用户组,添加sudo权限.

2.安装及配置依赖的软件包,安装openssh-server、java、rsync等,配置ssh

免密码登录.

3.下载并安装Hadoop, 下载Hadoop 2.6.0, 解压并安装, 配置Hadoop.

4.测试验证.

5.相关配置文件修改:修改core-site.xml:

6.格式化HDFS文件系统.

7.Hadoop集群启动.

8.测试验证.

9.设置Host映射文件.

10.下载并解压hadoop安装包

11.在Hadoop-1.1.2目录下创建子目录.

12.启动hadoop.

13. 编译Hadoop2.X 64位.

14.使用yum安装sun.

15. 部署Hadooop2.X.与Hadoop1.X类似。

实验环境hadoop Xfce终端

实验结果与

分析通过本次实验，让我对Hadoop有所了解，但是在实验过程中出现许多问题。例如，不知道该如何下载java jdk，甚至如何创建文件夹目录下的文件，以及Hadoop的环境配置原理以及编译原理和方法。这些都是实验中出现的问题，但是通过自己查询，问同学，部分问题已经得到解决，但是还存在一部分就只能通过课后自学进行解决通过上述的学习，让我对Hadoop的基本操作有了基础的掌握，包括Hadoop介绍及1.X伪分布式安装，adoop2.X 64位编译，Hadoop2.X 64位环境搭建等。

教师评语

注：可根据实际情况加页

课程实验报告

专业年级14级软件工程

课程名称大数据技术原理与应用指导教师李均涛

学生姓名吴勇

学号20142205042026 实验日期2017.06.01

实验地点笃行楼B栋301

实验成绩

教务处制

2017年03月09日

客户端通过调用DistributedFileSystem的create()方法创建新文件。

1.6测试例子1。

1.创建代码目录

2. 建立例子文件上传到HDFS中

3. 配置本地环境

4. 编写代码

5. 编译代码

6. 使用编译代码读取HDFS文件

2. MapReduce原理及操作。

2.1环境说明。