当前位置: IT大杂烩 > Ubuntu  > Linux下的Eclipse远程运行Mapreduce到hadoop集群

Linux下的Eclipse远程运行Mapreduce到hadoop集群

www.someabcd.com  网友分享于:Jun 8, 2018 5:59:01 PM

标签:

假设已经配置好集群。

在开发客户机Linux centos 6.5上进行:

a.客户机centos 有一个和集群同名的访问用户:huser.

b.vim /etc/hosts 加入namenode,加入本机IP.

-------------------------

1.安装hadoop集群 同版本的 jdk, hadoop,

2.Eclipse 编译和安装同版本的 hadoop-plugin,

 2.a设定preference->hadoop MR->hadoop install directory

 2.b设置hadoop-plugin的IP和端口号

3.将hadoop 配置文件core-site.xml 复制到客户机的指定目录下/home/huser

4.创建MR 项目,导入hadoop Lib

 创建wordcount class.

5.run hadoop;run config

 

================

 

Linux下的Eclipse远程运行Mapreduce到hadoop集群

标签:

发布此文章仅为传递网友分享,不代表本站观点,若侵权请联系我们删除,本站将不对此承担任何责任。
Copyright ©2018  IT大杂烩  版权所有  京ICP备11030978号-1 网站地图