2Linux的实验环境
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
2Linux的实验环境
一、Linux的实验环境
版本:RedHat 7.4 64位自带netcat服务器(测试:Spark Streaming)
VM:12
类型:RedHat linux 7 64 位
网卡:仅主机模式
一共5台虚拟机安装jdk 配置主机名关闭防火墙
192.168.80.11 bigdata11
192.168.80.12 bigdata12
192.168.80.13 bigdata13
192.168.80.14 bigdata14
192.168.80.15 bigdata15
二、配置linux 和linux的目录结构
1、对linux了解
2、关闭防火墙
查看防火墙的状态:systemctl status firewalld.service
关闭防火墙: systemctl stop firewalld.service
禁用防火墙(永久): systemctl disable firewalld.service
Ctrl + l 清屏
3、设置主机名
修改配置文件 /etc/hosts
vi /etc/hosts 进行修改配置文件
输入ip和主机名。
进行保存退出
三、vi编辑器
有三种模式:
1、编辑模式等待命令的输入按i进入插入模式
2、插入模式
3、命令模式按esc键回到编辑模式
W:保存 Q:退出 Wq:保存退出
打开行号:set number 关闭行号:set nonumber
换行: set wrap 不换行 set nowrap
四、文件目录操作命令(重点掌握:后面操作HDFS的时候,很方便)
1、Ls:列出文件和目录列表 -l 列出文件的详细信息
-a 列出但当前目录所有文件,包含隐藏文件
隐藏文件:.bash_profile 设置环境变量JAVA_HOME HADDOP_HOME
隐藏目录: ..ssh 配置hadoop和spark的免密码登陆
当前目录;pwd
/root root用户的Home目录(快捷方式 ~)
2、mkdir 创建目录
-p 父目录不存在的情况下先创建父目录
约定:/root/tools 所有的安装包
/root/training 安装目录
查看hadoop的文件: hdfs dfs -ls /
在hadoop创建目录:hdfs dfs -mkdir /aaa
3、切换目录
4、touch 生成一个空文件
echo 生成一个带文件内容更常用的方法是: 查看环境变量
例如: echo $JAVA_HOME 打印JAVA_HOME的路径
5、cat 、tac 显示文本文件内容
查看hadoop中的内容:hdfs dfs -cat /a.txt
6、拷贝文件或目录
cp a.txt data.txt;
在hadoop拷贝内数据:hdfs dfs -cp /a.txt /b.txt 7、删除文件rm -rf
-r 同时删除该目录下的所有文件
-f 强制删除文件或目录
在hadoop中删除文件:hafs dfs -rmr /a.txt
8、Kill 杀死
参数; -9 强制杀死
-3
9、tar命令: 打包压缩
五、Linux的权限管理(Hadoop的HDFS权限非常像)
1、权限的类型: r 读
W: 写
X:执行
2、使用ls -l 或者ll命令查看权限
六、安装常用软件;安装jdk的时候,tar命令的使用安装JDK
tar -zxvf jdk-8u144-linux-x64.tar.gz -C ~/training
注意:
-C 必须大写解压到training 目录下 ~ 表示root目录
配置环境变量JAVA_HOME
vi ~/.bash_profile
生效环境变量:source ~/.bash_profile
检查是否java_home环境变量配置好执行java -version查看java版本
七、案例:Java的死锁分析介绍一个工具(kill -3 的命令)
目的:找到死锁性能诊断
Java 提供了一个非常强大的性能诊断工具 Thread Dump(文本信息)
1、Linux: kill -3 PID 就是java的进程号
2、Windows:按ctrl+break(fn +B)键。