win7+eclipse+hadoop开发环境搭建

合集下载

Eclipse+Maven构建Hadoop项目的方法步骤

Eclipse+Maven构建Hadoop项⽬的⽅法步骤

Maven 翻译为”专家”、”内⾏”，是 Apache 下的⼀个纯 Java 开发的开源项⽬。基于项⽬对象模型(Project Object Model 缩写：POM)概念，Maven利⽤⼀个中央信息⽚断能管理⼀个项⽬的构建、报告和⽂档等步骤。Maven 是⼀个项⽬管理⼯具，可以对Java 项⽬进⾏构建、依赖管理。

在开发⼀些⼤型项⽬的时候，需要⽤到各种各样的开源包jar，为了⽅便管理及加载jar，使⽤maven开发项⽬可以节省⼤量时间且⽅便项⽬移动⾄新的开发环境。

开发环境

系统：MacOS 10.14.1

Hadoop：2.7.0

Java：1.8.0

Eclipse：4.6.2

Maven: 3.3.9

Maven安装

我使⽤的这个版本的Eclipse已经⾃带了Maven插件，不需要在⾃⾏安装，因此我也没有实际操作，本⽂就不介绍如何配置。

⾄于怎么知道⾃⼰使⽤的Eclipse是否⾃带有Maven，可以在Eclipse->Preference->Maven->Installations查看是否有Maven及版本号。或者直接新建项⽬查看是否有Maven选项。

构建Hadoop环境

创建Maven项⽬

打开Eclipse，File->new->project，选择Maven，然后下⼀步next

选择Creat a simple project，然后下⼀步next

输⼊Group id和artifact id。然后finish。

3WINDOWS7下WEBDRIVER ECLIPSE环境配置教程

2015/8/3 1. 开发环境需要安装： 1、JDK1.8 2、Eclipse:Version: Kepler Service Release 1 3、Selenium: selenium-java-2.46.0.zip 解压 selenium-java 包，这个包里面包含四部分，如下图：
2.
新建 Java 工程，输入工程名称ቤተ መጻሕፍቲ ባይዱ
3.
将 selenium-java 解压文件拷到工程目录下
4.
添加 build path ，项目目录右键 -->Build Path--> config build path-->Java Build Path-->Libraries-->Add JARs 。把 libs 文件夹下的 jar 包全部添加上，再添加 selenium-java-2.46.0 和 selenium-java-2.46.0-srcs。
public static void main(String[] args) { //如果火狐浏览器没有默认安装在C盘，需要制定其路径 //System.setProperty("webdriver.firefox.bin", "D:/Program Files/Mozilla firefox/firefox.exe"); WebDriver driver = new FirefoxDriver(); driver.get("http://www.baidu.com/"); driver.manage().window().maximize(); WebElement txtbox = driver.findElement(By.name("wd")); txtbox.sendKeys("hello"); WebElement btn = driver.findElement(By.id("su")); btn.click(); driver.close(); } }

eclipse开发hadoop程序

hadoop Map/Reduce开发实例

1) Eclipse插件配置与程序开发

在windows下开发Map/Readuce程序，首先要在windows安装cygwin，目的是让hadoop在执行过程中可以用到linux下的一些shell命令，sygwin则给window装了一个linux外壳。

配置eclipse及运行程序具体步骤如下：

1. 安装cygwin步骤略过（网上安装步骤很多，因为不是此篇文章重点，不再赘述）

但值得注意的在安装过程中一定要安装以下部分

(1). net下的openssh和openssl，base下的sed，devel下的subversion

(2). 设置环境变量path，需要设置 Cygwin 的bin 目录，具体是否需要设置 Cygwin 的usr\bin 目录还不是很确定，但本人设置了

提示：cygwin安装完成后会有cygwin ssd服务在windows服务中，可以启动也可以不启动。

2. 下载并安装hadoop，（本人使用hadoop0.20.2版本）

下载：/dyn/closer.cgi/hadoop/core/

安装：即将hadoop-0.20.2.tar.gz解压即可

2. 下载并安装hadoop eclipse插件

(1)下载插件：https:///jira/browse/MAPREDUCE-1280

（注意：此hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar插件支持eclipse3.4+，hadoop0.20.2目

录 hadoop-0.20.2\contrib\eclipse-plugin中的插件只支持到eclipse3.3版本，版本不支持的话，导致插件不能正常使用。）

Cygwin+Eclipse搭建Hadoop开发环境

Cygwin的安装

1.先在/install.html上下载安装文件打开后双击setup.exe安装。如下图：

2. 直接点击下一步后如下图：

图中有三个选项，意思一看就懂啊。这里直选择下一步3.直接点击下一步后如下图:

这里是要选择安装路径，设置在哪里都可以。没有特殊要求。

4. 设置好路径后下一步进入下图：

这是设置Cygwin安装文件的目录。先安装的exe只是个引导它需要自己下载安装文件。设置这个目录就是存储这些文件的。

5.设置好后下一步进入下图：

这里是你网络的链接方式，第一个是直接链接，第二个是使用IE代理，第三个使用你指定的HTTP/FTP代理。你要根据你自己的情况选择。通常选第一个如不好使则查看你的联网是否使用了代理用了就选下面两个中的一个。

6.设置好后下一步进入下图：

选择其中一个url用作下载的站点。我选第一就行挺快的。你的不行可以试试别的。也可以在下面的User URL中添加url写完地址一点Add就加入到上面的url列表中了。然后选择你自己加入的url即可。如果自己加入可以尝试一下这个url：/pub/。然后点击下一步进行安装文件的下载，需要点时间。如果点击下一步后出现这个错误Internal Error: gcrypt library error 60 illegal tag。就是上一步网络选择的问题或者选择的url不能下载。自己可以尝试改动一下。

正常下载的话也可能出现一个警告窗口如下图：

点击确定即可。随即会进入下图。

7. 来到此图就要开始进行一些配置了。选择一下要安装的包。如下图：

hadoop环境搭建

hadoop环境搭建⼀、安装ssh免密登录

命令：ssh-keygen

overwrite(覆盖写⼊)输⼊y

⼀路回车

将⽣成的密钥发送到本机地址

ssh-copy-id localhost

（若报错命令⽆法找到则需要安装openssh-clients）

yum –y install openssh-clients

测试免密设置是否成功

ssh localhost

⼆、卸载已有java

确定JDK版本

rpm –qa | grep jdk

rpm –qa | grep gcj

切换到root⽤户，根据结果卸载java

yum -y remove java-1.8.0-openjdk-headless.x86_64 yum -y remove java-1.7.0-openjdk-headless.x86_64

卸载后输⼊java –version查看

三、安装java

切换回hadoop⽤户，命令：su hadoop

查看下当前⽬标⽂件，命令：ls

将桌⾯的hadoop⽂件夹中的java及hadoop安装包移动到app⽂件夹中

命令：

mv /home/hadoop/Desktop/hadoop/jdk-8u141-linux-x64.gz /home/hadoop/app mv /home/hadoop/Desktop/hadoop/hadoop-2.7.0.tar.gz /home/hadoop/app

解压java程序包，命令：tar –zxvf jdk-7u79-linux-x64.tar.gz

创建软连接

ln –s jdk1.8.0_141 jdk

在Windows上安装Hadoop教程

10
在 Windows 上安装 Hadoop 教程
当看到“Have fun”时，一般表示 sshd 服务安装成功了，如上图所示。接下来，需要启动 sshd 服务。
5. 启动 sshd 服务
在桌面上的“我的电脑”图标上单击右键，点击“管理”菜单，进入 Windows 计算机管理，如下图所示：
11
12
在 Windows 上安装 Hadoop 教程
在上图所示对话框中，需要输入时，直接按回车键即可，如果不出错，应当是需要三次按回车键。接下来生成 authorized_keys 文件，按下图所示操作即可：
正如上图所示，只需要两步操作，即可生成 authorized_keys 文件： cd ~/..ssh/
上图中的端口号 9999，可以改成其它未被占用的端口。到这里，hadoop 宣告安装完毕，可以开始体验 hadoop 了！
9. 启动 hadoop
在 Cygwin 中，进入 hadoop 的 bin 目录，运行 ./start-all.sh 启动 hadoop，在启动成功之后，可以执行./hadoop fs -ls /命令，查看 hadoop 的根目录，如下图所示：
3
在 Windows 上安装 Hadoop 教程
在上图所示的对话框中，选择“Direct Connection”，然后点击“下一步”，进入如下图所示对话框：

Win7安装Hadoop

作者：Windyqin 于2015/2/8

1、本人电脑是Win7 64位系统的：

2、JDK 版本：

3、Cygwin 版本：

官网自行下载

4、Hadoop 版本：

官网自行下载，下载稳定版的吧

下面就开始安装啦~~~~

一、安装JDK，安装时注意，最好不要安装到带有空格的路径名下，例如:Programe Files，

否则在配置Hadoop的配置文件时会找不到JDK。我安装的路径为C:\Java\jdk1.7.0_21，安装完配置环境变量：

①．安装完成后开始配置环境变量，右击我的电脑，点击属性

②．在出现的对话框中选择高级系统设置，在出现的对话框中选择环境变量

③．新建名为”JAVA_HOME“的变量名，变量值为之前安装jdk的目录，例如本人的为”

C:\Java\jdk1.7.0_21

“

④．在已有的系统变量”path“的变量值加上”%JAVA_HOME%\bin;（注意，每个变量值

是以”;“隔开，变量值开头的分号就起这个作用）自此配置完成。

二、安装Cygwin，下载地址：/，根据操作系统的需要下载32

位或64的安装文件。

①. 双击下载好的安装文件，点击下一步，选择install from internet

②选择安装路径，下一步，点下一步，选择合适的安装源，点击下一步

③在Select Packages界面里，Category展开net，选择如下openssh和openssl两项

④如果要在Eclipe上编译Hadoop，需要安装Category为Base下的sed

⑤如果想在Cygwin上直接修改hadoop的配置文件，可以安装Editors下的vim

win7正确配置java开发环境

1.安装jdk

2.在这里我们需要更改一下安装路径，点击更改

3.我们选着D盘中的文件

4.正在安装，我们不用管它

5.这里选着安装jre的路径，我们安装在同一路径下

6.点击下一步

7.如图

8.好，点击完成

9.之后会弹出一个网页，我们不用去管他

10.测试，在cmd中输入java，如图

11.接下来配置java环境

右击计算机并点击属性，点击高级系统设置

12.点击环境变量

13.选着系统变量，新建一个JAVA_HOME系统变量

变量值就是我们刚才安装jdk的路径

14.选着系统变量中的path变量，点击编辑

15.在最前方输入.;%JAVA_HOME%\bin; %JAVA_HOME%\jre\bin;

16.新建CLASSPATH，值为.;%JAVA_HOME%\lib\dt.jar;.;%JAVA_HOME%\lib\tools.jar

17.在cmd中输入javac测试

成功

18.WEB服务器的安装

（1）下载TOMCAT

（2）配置tomcat的环境变量

同理我们在环境变量里配置，如下三个变量

CATALINA_HOME D:\Program Files\java--tools\tomcat\apache-tomcat-6.0.32 Path .;%CATALINA_HOME%\bin

classpath .;%CATALINA_HOME%\lib

19.部署TOMCAT服务器

a.增加WEB服务器的角色，在tomcat的conf文件夹里打开

b.修改8080----80（*）

20.测试tomcat，在cmd下输入startup.bat

Hadoop的eclipse的插件安装方法

Hadoop的eclipse的插件安装⽅法

1）⽹上下载hadoop-eclipse-plugin-2.7.4.jar，将该jar包拷贝到Eclipse安装⽬录下的dropins⽂件夹下，我的⽬录是

C:\Users\test\eclipse\jee-oxygen\eclipse\dropins，然后重启Eclipse就可以看到MapReduce选项了。

2）启动eclipse，点开Windows->preferences，弹出如下对话框，设置hadoop的安装⽬录。

3）点开Windows->ShowView->Other…，弹出如下对话框。

在其中选中Map/ReduceLocations，点击Open后将成功添加Map/ReduceLocations窗⼝，点击右侧的⼩象图标创建New Hadoop Location，如下图:

总结

以上所述是⼩编给⼤家介绍的Hadoop的eclipse的插件安装⽅法,希望对⼤家有所帮助，如果⼤家有任何疑问请给我留⾔，⼩编会及时回复⼤家的。在此也⾮常感谢⼤家对⽹站的⽀持！

如果你觉得本⽂对你有帮助，欢迎转载，烦请注明出处，谢谢！

大数据--Hadoop集群环境搭建

⼤数据--Hadoop集群环境搭建

⾸先我们来认识⼀下HDFS， HDFS（Hadoop Distributed File System ）Hadoop分布式⽂件系统。它其实是将⼀个⼤⽂件分成若⼲块保存在不同服务器的多个节点中。通过联⽹让⽤户感觉像是在本地⼀样查看⽂件，为了降低⽂件丢失造成的错误，它会为每个⼩⽂件复制多个副本（默认为三个），以此来实现多机器上的多⽤户分享⽂件和存储空间。

Hadoop主要包含三个模块：

HDFS模块：HDFS负责⼤数据的存储，通过将⼤⽂件分块后进⾏分布式存储⽅式，突破了服务器硬盘⼤⼩的限制，解决了单台机器⽆法存储⼤⽂件的问题，HDFS是个相对独⽴的模块，可以为YARN提供服务，也可以为HBase等其他模块提供服务。

YARN模块：YARN是⼀个通⽤的资源协同和任务调度框架，是为了解决Hadoop中MapReduce⾥NameNode负载太⼤和其他问题⽽创建的⼀个框架。YARN是个通⽤框架，不⽌可以运⾏MapReduce，还可以运⾏Spark、Storm等其他计算框架。

MapReduce模块：MapReduce是⼀个计算框架，它给出了⼀种数据处理的⽅式，即通过Map阶段、Reduce阶段来分布式地流式处理数据。它只适⽤于⼤数据的离线处理，对实时性要求很⾼的应⽤不适⽤。多相关信息可以参考博客：。

本节将会介绍Hadoop集群的配置，⽬标主机我们可以选择虚拟机中的多台主机或者多台阿⾥云服务器。

注意：以下所有操作都是在root⽤户下执⾏的，因此基本不会出现权限错误问题。

hadoop和hbase分布式配置及整合eclipse开发

Hadoop和HBase分布式配置及整合My Eclipse开发

Q:620734263

说明：

本文档主要侧重hadoop和hbase在windows下的开发.在linux上开发自行修改即可.

一、下载安装包

下载hadoop-0.20.2、hbase-0.90.3及cygwin软件

二、安装cygwin和配置ssh

cygwin的安装google一下就行.

三、在主机配置ssh无密码连接

在这里找两台主机(仅供测试用),master(192.168.169.121)和slaver1(192.168.169.34)

分别在两台主机C:\WINDOWS\system32\drivers\etc\hosts配置如下:

至此在master上ssh slaver1就行，第一次要输入密码，系统将slaver1加入到know_hosts 中.以后就不用输入

四、配置hadoop

现在master上配置如下:

在/hadoop-0.20.2/conf/masters、slavers文件中加入主机:

配置完成后将此copy到slaver1上去.

为了输入简单: 配置环境变量:HADOOP_HOME = e:/hadoop-0.20.2

五、启动测试机器

如有节点启动不起来的情况:可以先stop-all.sh再删除临时文件/tmp和日志文件logs.再从新格式化节点，重新启动(start-all.sh)主机.

六、配置HBase

HBase是什么?官网WIKI,英文看不懂，google翻译…

先配置环境变量吧.HBASE_HOME = e:/habse-0.90.3

hadoop搭建与eclipse开发环境设置

――罗利辉

1.前言

1.1 目标

目的很简单，为进行研究与学习，部署一个hadoop运行环境，并搭建一个hadoop开发与测试环境。

具体目标是：

✓在ubuntu系统上部署hadoop

✓在windows 上能够使用eclipse连接ubuntu系统上部署的hadoop进行开发与测试1.2 软硬件要求

注意：

Hadoop版本和Eclipse版本请严格按照要求。

现在的hadoop最新版本是hadoop-0.20.203，我在windows上使用eclipse（包括3.6版本和3.3.2版本）连接ubuntu上的hadoop-0.20.203环境一直没有成功。但是开发测试程序是没有问题的，不过需要注意权限问题。

如果要减少权限问题的发生，可以这样做：ubuntu上运行hadoop的用户与windows 上的用户一样。

1.3 环境拓扑图

ubuntu 192.168.69.231

ubuntu2

192.168.69.233 ubuntu1

192.168.69.232

2.Ubuntu 安装

安装ubuntu11.04 server系统，具体略。

我是先在虚拟机上安装一个操作系统，然后把hadoop也安装配置好了，再克隆二份，然后把主机名与IP修改，再进行主机之间的SSH配置。

如果仅作为hadoop的运行与开发环境，不需要安装太多的系统与网络服务，或者在需要的时候通过apt-get install进行安装。不过SSH服务是必须的。

3.Hadoop 安装

以下的hadoop安装以主机ubuntu下进行安装为例。

hadoop入门教程

ubuntu 下安装配置hadoop 1.0.4

第一次搞hadoop，折腾我2天，功夫不负有心人，终于搞好了，现在来分享下，

我的环境

操作系统：wmv虚拟机中的ubuntu12.04

hadoop版本：hadoop-1.0.4(听说是稳定版就下了)

eclipse版本：eclipse-jee-indigo-SR2-win32

1.先安装好jdk，然后配置好jdk的环境变量，在这里我就不累赘了！网上多的是

2.安装ssh这个也不用说了

2.把hadoop-1.0.4.tar.gz拖到虚拟机中，解压,比如: /home/wys/Documents/hadoop-1.0.4/ (有的还单独建了个用户,为了舍去不必要的麻烦我都是用root用户来操作的)

3.修改hadoop-1.0.4/conf 下面的core-site.xml文件，如下：

hdfs://192.168.116.128:9000

hadoop.tmp.dir

/home/wys/Documents/tmp

192.168.116.128这个是虚拟机中ubuntu的ip,听说用localhost，127.0.0.1都不行，我没试过，直接写上ip地址了

tmp是预先创建的一个目录

4.修改hadoop-env.sh

把export JAVA_HOME=xxxxxx 这行的#号去掉，写上jdk的目录路径

5.修改hdfs-site.xml如下：

dfs.replication

dfs.permissions

false

说明：为了以后用eclipse开发出现各种问题，就把权限关了！

Hadoop云计算平台搭建最详细过程(共22页)

Hadoop云计算平台及相关组件搭建安装过程详细教程

——Hbase+Pig+Hive+Zookeeper+Ganglia+Chukwa+Eclipse等

一．安装环境简介

根据官网，Hadoop已在linux主机组成的集群系统上得到验证，而windows平台是作为开发平台支持的，由于分布式操作尚未在windows平台上充分测试，所以还不作为一个生产平台。Windows下还需要安装Cygwin，Cygwin是在windows平台上运行的UNIX模拟环境，提供上述软件之外的shell支持。

实际条件下在windows系统下进行Hadoop伪分布式安装时，出现了许多未知问题。在linux系统下安装，以伪分布式进行测试，然后再进行完全分布式的实验环境部署。Hadoop完全分布模式的网络拓补图如图六所示：

（1）网络拓补图如六所示：

图六完全分布式网络拓补图

（2）硬件要求：搭建完全分布式环境需要若干计算机集群，Master和Slaves 处理器、内存、硬盘等参数要求根据情况而定。

（3）软件要求

操作系统64位Ubuntu12.04.4

JDK版本:jdk-7u51-linux-x64.tar.gz

并且所有机器均需配置SSH免密码登录。

二．Hadoop集群安装部署

目前，这里只搭建了一个由三台机器组成的小集群，在一个hadoop集群中有以下角色：Master和Slave、JobTracker和TaskTracker、NameNode和DataNode。下面为这三台机器分配IP地址以及相应的角色：

192.168.100.90——master，namenode，jobtracker——master（主机名）

Hadoop在Windows7操作系统下使用Eclipse来搭建hadoop开发环境-电脑资料

Hadoop在Windows7操作系统下使用Eclipse来搭建

hadoop开发环境-电脑资料

网上有一些都是在Linux下使用安装Eclipse来进行hadoop应用开发，但是大部分Java程序员对linux系统不是那么熟悉，所以需要在windows下开发hadoop程序，所以经过试验，总结了下如何在windows下使用Eclipse来开发hadoop程序代码，。

1、需要下载hadoop的专门插件jar包

2、把插件包放到eclipse/plugins目录下

为了以后方便，我这里把尽可能多的jar包都放进来了，如下图所示：

3、重启eclipse，配置Hadoop installation directory

如果插件安装成功，打开Windows—Preferences后，在窗口左侧会有Hadoop Map/Reduce选项，点击此选项，在窗口右侧设置Hadoop安装路径。

4、配置Map/Reduce Locations

打开Windows-->Open Perspective-->Other

选择Map/Reduce，点击OK，在右下方看到有个Map/Reduce Locations的图标，如下图所示：

点击Map/Reduce Location选项卡，点击右边小象图标，打开Hadoop Location配置窗口：

输入Location Name，任意名称即可.配置Map/Reduce Master 和DFS Mastrer，Host和Port配置成与core-site.xml的设置一致即可。

Hadoop开发环境搭建(Win8 + Eclipse + Linux)

Hadoop开发环境搭建（Win8+Linux）

常见的Hadoop开发环境架构有以下三种：

1、Eclipse与Hadoop集群在同一台Windows机器上。

2、Eclipse与Hadoop集群在同一台Linux机器上。

3、Eclipse在Windows上，Hadoop集群在远程Linux机器上。

点评：

第一种架构：必须安装cygwin，Hadoop对Windows的支持有限，在Windows 上部署hadoop会出现相当多诡异的问题。

第二种架构：Hadoop机器运行在Linux上完全没有问题，但是有大部分的开发者不习惯在Linux上做开发。这种架构适合习惯使用Linux的开发者。

第三种架构：Hadoop集群部署在Linux上，保证了稳定性，Eclipse在Windows 上，符合大部分开发者的习惯。

本文主要介绍第三种Hadoop开发环境架构的搭建方法。

Hadoop开发环境的搭建分为两大块：Hadoop集群搭建、Eclipse环境搭建。其中Hadoop集群搭建可参考官方文档，本文主要讲解Eclipse环境搭建（如何在Eclipse 中查看和操作HDFS、如何在Eclipse中执行MapReduce作业）。

搭建步骤：

1、搭建Hadoop集群（Linux、JDK6、Hadoop-1.1.2）

2、在Windows上安装JDK6+

3、在Windows上安装Eclipse3.3+

4、在Eclipse上安装hadoop-eclipse-plugin-1.1.2.jar插件（如果没有，则需自行

编译源码）