当前位置: 代码迷 >> 综合 >> CDH5.12.1添加新主机
  详细解决方案

CDH5.12.1添加新主机

热度:88   发布时间:2024-02-13 17:36:45.0

一. JDK安装

1.卸载自带JDK
查看安装的Java包

rpm -qa | grep java

将显示的java包全部删除

rpm -e --nodeps tzdata-java-2013g-1.el6.noarch

卸载自带的版本

yum -y remove java java-1.7.0-openjdk

验证是否还有java相关包

rpm -qa | grep java 

2.安装JDK
在/usr下新建java文件夹 ==》 将压缩包复制到java中 ==》解压 ==》 配置
vi /etc/profile

JAVA_HOME=/usr/java/jdk1.7.0_79
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
export PATH JAVA_HOME CLASSPATH

使文件生效:

source /etc/profile

二. Scala安装

安装在 /usr/local 下
解压==》 配置环境变量 ==》使文件生效:

source /etc/profile

三.关闭防火墙

service iptables stop

四.设置新增节点的hostname和hosts

1.设置hostname
vi /etc/hostname 设置成n5或fang
2.修改 hosts

**vi /etc/hosts**    
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1        localhost localhost.localdomain localhost6 localhost6.localdomain6
10.5.45.212 n1
10.5.45.213 n2
10.5.45.214 n3
10.5.45.215 n4
10.5.45.216 fang

3. ping命令查看,例如ping n1

五.ssh打通

①新增节点生成公钥(不要设置密码)
一路enter
②将本机的公钥复制到另外从节点服务器上。(过程需要输入目标服务器的root登录密码)

ssh-copy-id -i /root/.ssh/id_rsa.pub hadoop-master

#在新增节点上执行

ssh-copy-id -i /root/.ssh/id_rsa.pub hadoop-slave1 #在新增节点上执行
ssh-copy-id -i /root/.ssh/id_rsa.pub hadoop-slave2  #在master和slave1上执行

③测试是否成功
ssh hadoop-master #无密码远程登录hadoop-master,使用exit退出
④如果报错,重新配置hosts等文件

六.安装NTP服务,同步时间

所有节点安装相关组件:yum install ntp
完成后,配置开机启动: chkconfig ntpd on ,
检查是否设置成功:chkconfig --list ntpd其中2-5为on状态就代表成功。

配置ntp客户端(n2,n3,n4)
修改配置文件 /etc/ntp.conf

driftfile /var/lib/ntp/drift
restrict127.0.0.1
restrict -6 ::1
restrict default kod nomodify notrap nopeernoquery
restrict -6 default kod nomodify notrapnopeer noquery
server n1#这里是主节点的主机名或者ip
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

ntp同步到阿里服务器

ntpdate -u ntp1.aliyun.com

手动同步时间ntpdate -u n1
启动服务service ntpd start
设置开机启动chkconfig ntpd on

七.CDH配置

1.安装CDH5.12.1组件所依赖的包
#新增节点运行

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb  

2.上传文件到/opt,并解压
3.修改agent的配置文件的config.ini

cd /opt /cm-5.12.1/etc/cloudera-scm-agent
vim config.ini
server_host=n1

4.在所有节点(包括服务器)创建cloudera-scm用户

[useradd --system --home=/opt/cm-5.12.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm]

5 启动Server和Agent
主节点启动服务端

/opt/cm-5.12.1/etc/init.d/cloudera-scm-server start

所有节点启动Agent服务

/opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start