hadoop linux7.6 安装部署

在进行大数据相关项目时，必须要有一个环境，目前比较流行的是hardoop,那下面就简单介绍一下hardoop的安装与部署。

软件准备

    [root@vmmaster hadoop]# pwd/opt/install/hadoop[root@vmmaster install]# cd /opt/install/hadoop[root@vmmaster hadoop]# lltotal 428080-rw-r--r--. 1 root root 433895552 Aug 14 11:56 hadoop-2.6.0-cdh5.14.2.tar.gz-rw-r--r--. 1 root root   4454912 Aug 14 11:56 hadoop-native-64-2.6.0.tar

解压软件到相应目录

	[root@vmmaster hadoop]# tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/bigdata/hadoop/

重命名

	[root@vmmaster hadoop]# cd /opt/bigdata/hadoop[root@vmmaster hadoop]# mv hadoop-2.6.0-cdh5.14.2/ hadoop260

修改目录权限

	[root@vwmaster hadoop]# chown -R root:root hadoop260/

配置jdk

	[root@vwmaster hadoop]# cd hadoop260[root@vwmaster hadoop260]# vi etc/hadoop/hadoop-env.shexport JAVA_HOME=/opt/bigdata/java/jdk180

配置hadoop文件系统

	[root@vwmaster hadoop260]# vi etc/hadoop/core-site.xml<configuration><property><name>fs.defaultFS</name><value>hdfs://192.168.161.180:9000</value></property><property><name>hadoop.tmp.dir</name><value>/opt/bigdata/hadoop/hadoop260</value></property><property><name>hadoop.proxyuser.root.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.root.groups</name><value>*</value></property></configuration>

hadoop replicas 备份

	[root@vwmaster hadoop]# pwd/opt/bigdata/hadoop[root@vwmaster hadoop]# mkdir hdfs[root@vwmaster hadoop]# lshadoop260  hdfs[root@vwmaster hadoop]# cd hdfs/[root@vwmaster hdfs]# mkdir namenode datanode[root@vwmaster hdfs]# lsdatanode  namenode[root@vwmaster hadoop260]# vi etc/hadoop/hdfs-site.xml<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.dir</name><value>/opt/bigdata/hadoop/hdfs/namenode</value></property><property><name>dfs.datanode.dir</name><value>/opt/bigdata/hadoop/hdfs/datanode</value></property></configuration>

hadoop mapreduce 计算框架

	[root@vwmaster hadoop260]# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml[root@vwmaster hadoop260]# vi etc/hadoop/mapred-site.xml<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

hadoop yarn 管理调度

	[root@vwmaster hadoop260]# vi etc/hadoop/yarn-site.xml<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.log-aggregation-enable</name><value>true</value></property></configuration>

hadoop slaves 主机名

	[root@vwmaster hadoop260]# vi etc/hadoop/slavesvmmaster

配置hadoop 环境变量

	[root@vwmaster hadoop260]# vi /etc/profileexport JAVA_HOME=/opt/bigdata/java/jdk180export TOMCAT_HOME=/opt/bigdata/java/tomcat85export NODE_HOME=/opt/bigdata/elk/node811export HADOOP_HOME=/opt/bigdata/hadoop/hadoop260export HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$NODE_HOME/bin:$JAVA_HOME/bin:$TOMCAT_HOME/bin:$PATH[root@vwmaster hadoop260]# source /etc/profile

hadoop 格式化 HDFS

	[root@vwmaster hadoop260]# cd bin[root@vwmaster bin]# hdfs namenode -format

见到以下信息说明格式化成功

	************************************************************SHUTDOWN_MSG: Shutting down NameNode at vwmaster/192.168.161.180************************************************************

如果格式化失败：需要去检查之前各项配置
且在此格式化必须：先把/opt/bigdata/hadoop/hdfs目录下的datanode和namenode和tmp删除了再去格式化。

hadoop-native库

	[root@vwmaster bin]# cd /opt/install/hadoop[root@vwmaster hadoop]# tar -xf hadoop-native-64-2.6.0.tar -C /opt/bigdata/hadoop/hadoop260/lib/native/	

启动 hadoop

	[root@vwmaster hadoop]# cd /opt/bigdata/hadoop/hadoop260/bin[root@vwmaster bin]# start-all.sh[root@vwmaster bin]# stop-all.sh			

启动或关闭 hadoop 需要输入密码的解决方法

	[root@vwmaster bin]# cd ~[root@vwmaster ~]# cd .ssh/[root@vwmaster .ssh]# lsauthorized_keys  id_rsa  id_rsa.pub  known_hosts[root@vwmaster .ssh]# cat id_rsa.pub >> authorized_keys [root@vwmaster .ssh]# ssh localhost

启动 jobhistory

	[root@vwmaster bin]# cd ../sbin/[root@vwmaster sbin]# jps[root@vwmaster sbin]# ./mr-jobhistory-daemon.sh start historyserver

查看 hadoop 服务状态

	[root@vwmaster sbin]# jps6800 NodeManager7329 Jps6387 DataNode6548 SecondaryNameNode6264 NameNode6697 ResourceManager7259 JobHistoryServer

如果看到以上信息说明hadoop配置成功。
至此hardoop安装部署完毕。