MyEclipse/Eclipse安装Hadoop(mapreduce)插件
转载请注明出处:http://blog.csdn.net/lvsaixia/article/details/42323133
MyEclipse按照Hadoop(mapreduce插件)
1、下载好hadoop-eclipse-plugin-X.X.X.jar。版本必须和Hadoop的版本相对应。(不然连接文件系统的时候会出现本文后面出现的错误)
2、解压下载好的文件。把解压好的文件放在MyEclipse安装目录下的Genuitec\MyEclipse-8.6\dropins文件夹下。Eclipse放到对应的插件目录下。
3、设置MyEclipse和Eclipse,使得mapreduce相关的窗口显示出来。
window -> Open perspective -> other,然后选择mapreduce选项,调出以下窗口:
window -> show view -> other,然后,选择mapreduce选项,调出以下窗口:
4、配置hadoop所在的文件目录。
window->Preferences->Hadoop Map/Reduce->Browse...(然后,选择hadoop解压文件所在的主目录)-> Apply -> OK。
5、配置mapreduce
a、新建new hadoop location。
b、填写参数:
Host:对应为Master节点所在的IP地址,如果是本机可以使用localhost。
Port:50020填写mapred-site.xml下mapred.job.tracker属性的value值(9001)。
Port:50040填写core-site.xml下fs.default.name属性的value值(9000)。
填写Advanced parameters选项,这些属性和配置文件里面的属性相对应,一般不需要自己手动配置。
6、配置完成以后就可以看到,Hadoop在MyEclipse下的文件系统,可以方便的实现文件的上传和下载。
置过程中常见的错误:
1、Error:call to/*:9000: failed on local exception:java.io.EOFException
hadoop-eclipse-plugin-X.X.X 版本不对,下载相对应的插件。
2、Call to localhost/127.0.0.1:9000 failed on connection exception: java.net.ConnectException: Connection refused
原因:hadoop未启动或core-site.xml中配置错误;解决方案:启动hadoop或修改配置。
3. Cannot delete /home/hadoop/part. Name node is in safe mode.
hadop刚开始的时候会是safe模式,如果自己没有设置hadoop的模式,就只需要等待一会。如果自己修改了hadoop的模式,则需要把hadoop的safe模式关闭。
转载请注明出处:http://blog.csdn.net/lvsaixia/article/details/42323133