Hadoop3.2.1单节点集群搭建
本次集群搭建使用了三台服务器，一个主节点，两个从节点
准备工作
确保三台服务器之间互相能ping通，安装好JDK环境(JDK1.8)
一： 设置主机名称
hostnamectl set-hostname 主机名
#主节点的主机名设置为hadoop1，两个从节点的主机名设置为hadoop2以及hadoop3
# eg:hostnamectl set-hostname hadoop1
二： 修改hosts文件添加ip映射关系
# 使用如下命令修改hosts文件
vim /etc/hosts
节点ip 主机名
三：配置免密登录
以hadoop1为例，其他节点与此操作相同
# 执行命令 一路回车
ssh-keygen -t rsa
# 生成密钥以后执行如下命令
# 在hadoop1，hadoop，hadoop3中都执行下面这三条命令
ssh-copy-id -i hadoop1
ssh-copy-id -i hadoop2
ssh-copy-id -i hadoop3# 注意：ssh默认端口号是22，如果服务端口号不是22，使用 -p来指定端口号#例如： ssh-copy-id -p 60022 hadoop1, 如果提示需要输入密码，输入服务器密码
四：关闭防火墙
#关闭防火墙
systemctl stop firewalld
#禁止开机启用防火墙
systemctl disable firewalld
五：hadoop集群的安装
准备：Hadoop3.2.1的安装包，可以从官网上进行下载
http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
5.1 解压hadoop的压缩包，(自定义解压目录)
# 先将压缩包移动到自定义目录下，再使用压缩命令进行解压# 也可以使用 tar -zxvf 解压文件所在的目录/文件 -C 解压后的目录
5.2 修改配置文件，hadoop的配置文件在hadoop解压目录的etc/hadoop目录中
5.2.1 修改hadoop-env.sh文件，增加环境变量信息
vim hadoop-env.sh
# 添加如下信息，这两个目录根据自己的配置而定
export JAVA_HOME=/usr/local/java
export HADOOP_LOG_DIR=/data/hadoop_repo/logs/hadoop
5.2.2 修改core-site.xml文件
vim core-site.xml
# 添加如下配置：注意fs.defaultFS属性中的主机名需要和你配置的主机名保持一致
<configuration>
#这个属性用来指定namenode的hdfs协议的文件系统通信地址，指定一个主机+端口<property><name>fs.defaultFS</name><value>hdfs://hadoop1:9000</value></property>
# 指定文件存储的目录 <property><name>hadoop.tmp.dir</name><value>/data/hadoop_repo</value></property>
</configuration>
5.2.3修改hdfs-site.xml文件
vim hdfs-site.xml
# 添加如下配置
<configuration>
# hdfs的副本数设置。也就是上传一个文件，其分割为block块后，每个block的冗余副本个数，一般跟datanode节点数相等<property><name>dfs.replication</name><value>2</value></property>#secondary namenode的http通讯地址<property><name>dfs.namenode.secondary.http-address</name><value>hadoop1:50090</value></property>
</configuration>
5.2.4 修改 mapred-site 文件
vim mapred-site.xml
# 添加如下配置
<configuration>
# 指定mr框架为yarn方式,Hadoop二代MP也基于资源管理系统Yarn来运行<property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>
5.2.5 修改yarn-site.xml
vim yarn-site.xml
# 添加如下配置：
<configuration>
# 这里面主要指定了一些节点资源管理器nodemanager，以及总资源管理器resourcemanager的配置
# yarn是为了支持mapreduce这个模型<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.env-whitelist</name><value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value></property># yarn总管理的主机<property><name>yarn.resourcemanager.hostname</name><value>hadoop1</value></property>
</configuration>
5.2.6 修改workers文件
vim workers
# 删除文件中默认的localhost，然后添加从节点的主机名
hadoop2
hadoop3
5.3 修改启动脚本，要修改的文件在hadoop解压目录中sbin目录下
5.3.1 修改start-dfs.sh，stop-dfs.sh这两个脚本文件在文件中前面都增加如下内容：
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
5.3.2 修改start-yarn.sh，stop-yarn.sh这两个文件在文件前面增加如下内容：
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
5.4 将这台机器的配置拷贝到其他两台服务器(hadoop和环境变量的配置)
# -P 指定端口号 -r表示递归复制 hadoop2表示主机名# 拷贝hadoop
scp -P 60022 -r /opt/software/ root@hadoop2:/opt
scp -P 60022 -r /opt/software/ root@hadoop3:/opt
# 拷贝环境变量
scp -P 60022 -r /etc/profile root@hadoop2:/etc
scp -P 60022 -r /etc/profile root@hadoop3:/etc# 注意： 如果端口号为默认端口号，去掉-P 60022即可
六 格式化namenode
# 在hadoop1 中切换到hadoop的解压目录下，执行如下命令
bin/hdfs namenode -format# 如果能看到这个表示格式化成功
七 启动集群
# 在主机点(hadoop1)的解压目录下执行如下命令
sbin/start-all.sh# 如果出现以下异常，则需要指定端口号
hadoop2: ssh: connect to host hadoop2 port 22: Connection refused
pdsh@hadoop1: hadoop2: ssh exited with exit code 255
hadoop3: ssh: connect to host hadoop3 port 22: Connection refused
pdsh@hadoop1: hadoop3: ssh exited with exit code 255# 解决办法：在hadoop的配置文件hadoop-env.sh(在解压hadoop解压目录的etc/hadoop目录中)中添加
export HADOOP_SSH_OPTS="-p 60022"
# 再次启动集群
八： 验证集群
# 使用jps这个命令来查看三个节点中已启动的进程来验证集群是否成功
# 也可以使用 http://节点ip：8088来进行访问验证 (节点ip需要你的主节点ip)
# 查看各个节点的磁盘大小 在namenode的hadoop解压目录的bin目录下
./hdfs dfsadmin -report
adoop目录中)中添加
export HADOOP_SSH_OPTS="-p 60022"
再次启动集群
### 八： 验证集群```yaml
# 使用jps这个命令来查看三个节点中已启动的进程来验证集群是否成功
# 也可以使用 http://节点ip：8088来进行访问验证 (节点ip需要你的主节点ip)
# 查看各个节点的磁盘大小 在namenode的hadoop解压目录的bin目录下
./hdfs dfsadmin -report