当前位置: 代码迷 >> 综合 >> Hadoop用户重新部署伪分布式(HDFS)
  详细解决方案

Hadoop用户重新部署伪分布式(HDFS)

热度:97   发布时间:2023-11-13 10:12:02.0
上次课我们部署的使用的root用户,在生产环境中,不可能给你root用户,我们就创建一个hadoop用户重新部署伪分布式(HDFS)
Hadoop用户重新部署hdfs步骤
1.创建Hadoop用户
  1. # useradd hadoop
  2. # id hadoop
  1. # passwd haddop
  2. # vi /etc/sudoers
  3. hadoop ALL=(root) NOPASSWD:ALL

2.部署ssh,确保其是运行的

  1. 查看:默认是已经安装
  2. service sshd status

3.删除hadoop之前存储的一些残留文件

  1. [root@hadoop- 01 ~] # cd /opt/software
  2. [root@hadoop- 01 software] # chown -R hadoop:hadoop hadoop-2.8.1
  3. [root@hadoop- 01 software] # kill -9 &(pgrep -f hadoop)
  4. [root@hadoop- 01 software] # rm -rf /tmp/hadoop-* /tmp/hsperfdata_*


4.配置hadoop用户的ssh的信任关系

  1. ~]$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  2. ~]$ cat ~ /.ssh/id_rsa.pub >> ~ /.ssh/authorized_keys
  3. ~]$ chmod 0600 ~ /.ssh/authorized_keys
  4. .ssh]$ ssh 机器名 date
  5. 第一次输入需要yes
  6. .ssh]$ ssh 机器名 date
  7. 第二次输入不需要yes
5.修改dfs启动进程用hadoop
第一步:[hadoop@hadoop-01 hadoop]$ vi hdfs-site.xml 
  1. <configuration>
  2. <property>
  3. <name>dfs.replication </name>
  4. <value>1 </value>
  5. </property>
  6. <property>
  7. <name>dfs.namenode.secondary.http-address </name>
  8. <value> hadoop-01:50090 </value>
  9. </property>
  10. <property>
  11. <name>dfs.namenode.secondary.https-address </name>
  12. <value> hadoop-01:50091 </value>
  13. </property>
  14. </configuration>
第二步: [hadoop@hadoop-01 hadoop]$ vi core-site.xml 
  1. <configuration>
  2. <property>
  3. <name>fs.defaultFS </name>
  4. <value>hdfs:// hadoop-0 1:9000 </value>
  5. </property>
  6. </configuration>
  7. 第三步:
  1. [hadoop@hadoop-01 ~]# cd/opt/software/hadoop
  2. [hadoop@hadoop- 01 hadoop] # echo  "hadoop-01" > ./etc/hadoop/slaves
  3. [hadoop@hadoop- 01 hadoop] # cat./etc/hadoop/slaves
  4. hadoop-01
为什么三个进程要修改为hadoop-01
1、对外提供服务和集群配置
2、第一次启动之前我们配置的是当前hadoop-01的无密码信任

  相关解决方案