一. JDK安装
1.卸载自带JDK
查看安装的Java包
rpm -qa | grep java
将显示的java包全部删除
rpm -e --nodeps tzdata-java-2013g-1.el6.noarch
卸载自带的版本
yum -y remove java java-1.7.0-openjdk
验证是否还有java相关包
rpm -qa | grep java
2.安装JDK
在/usr下新建java文件夹 ==》 将压缩包复制到java中 ==》解压 ==》 配置
vi /etc/profile
JAVA_HOME=/usr/java/jdk1.7.0_79
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
export PATH JAVA_HOME CLASSPATH
使文件生效:
source /etc/profile
二. Scala安装
安装在 /usr/local 下
解压==》 配置环境变量 ==》使文件生效:
source /etc/profile
三.关闭防火墙
service iptables stop
四.设置新增节点的hostname和hosts
1.设置hostname
vi /etc/hostname
设置成n5或fang
2.修改 hosts
**vi /etc/hosts**
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
10.5.45.212 n1
10.5.45.213 n2
10.5.45.214 n3
10.5.45.215 n4
10.5.45.216 fang
3. ping命令查看,例如ping n1
五.ssh打通
①新增节点生成公钥(不要设置密码)
一路enter
②将本机的公钥复制到另外从节点服务器上。(过程需要输入目标服务器的root登录密码)
ssh-copy-id -i /root/.ssh/id_rsa.pub hadoop-master
#在新增节点上执行
ssh-copy-id -i /root/.ssh/id_rsa.pub hadoop-slave1 #在新增节点上执行
ssh-copy-id -i /root/.ssh/id_rsa.pub hadoop-slave2 #在master和slave1上执行
③测试是否成功
ssh hadoop-master
#无密码远程登录hadoop-master,使用exit退出
④如果报错,重新配置hosts等文件
六.安装NTP服务,同步时间
所有节点安装相关组件:yum install ntp
。
完成后,配置开机启动: chkconfig ntpd on
,
检查是否设置成功:chkconfig --list ntpd
其中2-5为on状态就代表成功。
配置ntp客户端(n2,n3,n4)
修改配置文件 /etc/ntp.conf
:
driftfile /var/lib/ntp/drift
restrict127.0.0.1
restrict -6 ::1
restrict default kod nomodify notrap nopeernoquery
restrict -6 default kod nomodify notrapnopeer noquery
server n1#这里是主节点的主机名或者ip
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
ntp同步到阿里服务器
ntpdate -u ntp1.aliyun.com
手动同步时间ntpdate -u n1
启动服务service ntpd start
设置开机启动chkconfig ntpd on
七.CDH配置
1.安装CDH5.12.1组件所依赖的包
#新增节点运行
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb
2.上传文件到/opt,并解压
3.修改agent的配置文件的config.ini
cd /opt /cm-5.12.1/etc/cloudera-scm-agent
vim config.ini
server_host=n1
4.在所有节点(包括服务器)创建cloudera-scm用户
[useradd --system --home=/opt/cm-5.12.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm]
5 启动Server和Agent
主节点启动服务端
/opt/cm-5.12.1/etc/init.d/cloudera-scm-server start
所有节点启动Agent服务
/opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start