当前位置: 代码迷 >> 综合 >> 黑猴子的家:Centos7 安装部署 Azkaban 2.5.0
  详细解决方案

黑猴子的家:Centos7 安装部署 Azkaban 2.5.0

热度:80   发布时间:2023-09-14 21:59:16.0

1、创建azkaban-2.5.0-tar.gz文件夹

用于存放安装包

[alex@hadoop102 software]$ mkdir azkaban-2.5.0-tar.gz

2、上传安装包并修改权限

[alex@hadoop102 software]$ sudo chown -R alex:alex azkaban-2.5.0-tar.gz/
[alex@hadoop102 azkaban-2.5.0-tar.gz]$ ls -l
-rw-r--r-- 1 alex alex 11157302 May 24 10:28 azkaban-executor-server-2.5.0.tar.gz
-rw-r--r-- 1 alex alex     1928 May 24 10:28 azkaban-sql-script-2.5.0.tar.gz
-rw-r--r-- 1 alex alex 11989669 May 24 10:28 azkaban-web-server-2.5.0.tar.gz

3、创建azkaban文件夹

这是安装路径

[alex@hadoop102 module]$ mkdir azkaban

4、解压安装包

[alex@hadoop102 azkaban-2.5.0-tar.gz]$ tar -xzvf azkaban-web-server-2.5.0.tar.gz -C /opt/module/azkaban/[alex@hadoop102 azkaban-2.5.0-tar.gz]$ tar -xzvf azkaban-executor-server-2.5.0.tar.gz -C /opt/module/azkaban/[alex@hadoop102 azkaban-2.5.0-tar.gz]$ tar -xzvf azkaban-sql-script-2.5.0.tar.gz -C /opt/module/azkaban/

5、查看解压后文件

[alex@hadoop102 azkaban-2.5.0-tar.gz]$ cd /opt/module/azkaban/
[alex@hadoop102 azkaban]$ ls -l
drwxrwxr-x 2 alex alex 4096 May 24 10:35 azkaban-2.5.0
drwxrwxr-x 7 alex alex   92 May 24 10:35 azkaban-executor-2.5.0
drwxrwxr-x 8 alex alex  103 May 24 10:34 azkaban-web-2.5.0

6、修改文件名

[alex@hadoop102 azkaban]$ mv azkaban-web-2.5.0 azkaban-web
[alex@hadoop102 azkaban]$ mv azkaban-executor-2.5.0 azkaban-executor
[alex@hadoop102 azkaban]$ mv azkaban-2.5.0 azkaban-sql

7、修改数据库文件

[alex@hadoop103 ~]$ vim /etc/my.cnf
[mysqld]
max_allowed_packet=1024M
[alex@hadoop103 ~]$ sudo systemctl restart mysqld

8、执行sql文件

[alex@hadoop103 ~]$ mysql -uroot -p000000
mysql> show databases;
mysql> create database azkaban;
mysql> show databases;
mysql> use azkaban;
mysql> show tables;
mysql> source /opt/software/create-all-sql-2.5.0.sql
mysql> show tables;

9、生成密钥库

keystore 是java 的一个工具,生成密钥库后,拷贝到azkaban 的web 服务里面
1)生成 keystore的密码及相应信息的密钥库

[alex@hadoop102 azkaban]$ keytool -keystore keystore -alias jetty -genkey -keyalg RSA

注意:
密钥库的密码至少必须6个字符,可以是纯数字或者字母或者数字和字母的组合等等
密钥库的密码最好和<jetty> 的密钥相同,方便记忆

黑猴子的家:Centos7 安装部署 Azkaban 2.5.0

2)将keystore 拷贝到 azkaban web服务器根目录中

[alex@hadoop102 azkaban]$ mv keystore azkaban-web/

Keytool是java数据证书的管理工具,使用户能够管理自己的公/私钥对及相关证书。
keystore 指定密钥库的名称及位置(产生的各类信息将不在.keystore文件中)
-genkey 在用户主目录中创建一个默认文件".keystore"
-alias 对我们生成的.keystore 进行指认别名;如果没有默认是mykey
-keyalg 指定密钥的算法 RSA/DSA 默认是DSA

10、时间同步配置

先配置好服务器节点上的时区
1)tzselect
如果在/usr/share/zoneinfo/这个目录下不存在时区配置文件Asia/Shanghai,就要用 tzselect 生成。

[alex@hadoop102 azkaban]$ date -R
Thu, 20 May 2021 15:25:30 +0800[alex@hadoop102 azkaban]$ tzselect
Please identify a location so that time zone rules can be set correctly.
Please select a continent or ocean.1) Africa2) Americas3) Antarctica4) Arctic Ocean5) Asia6) Atlantic Ocean7) Australia8) Europe9) Indian Ocean
10) Pacific Ocean
11) none - I want to specify the time zone using the Posix TZ format.
#? 5
Please select a country.1) Afghanistan           18) Israel                35) Palestine2) Armenia               19) Japan                 36) Philippines3) Azerbaijan            20) Jordan                37) Qatar4) Bahrain               21) Kazakhstan            38) Russia5) Bangladesh            22) Korea (North)         39) Saudi Arabia6) Bhutan                23) Korea (South)         40) Singapore7) Brunei                24) Kuwait                41) Sri Lanka8) Cambodia              25) Kyrgyzstan            42) Syria9) China                 26) Laos                  43) Taiwan
10) Cyprus                27) Lebanon               44) Tajikistan
11) East Timor            28) Macau                 45) Thailand
12) Georgia               29) Malaysia              46) Turkmenistan
13) Hong Kong             30) Mongolia              47) United Arab Emirates
14) India                 31) Myanmar (Burma)       48) Uzbekistan
15) Indonesia             32) Nepal                 49) Vietnam
16) Iran                  33) Oman                  50) Yemen
17) Iraq                  34) Pakistan
#? 9
Please select one of the following time zone regions.
1) Beijing Time
2) Xinjiang Time
#? 1The following information has been given:ChinaBeijing TimeTherefore TZ='Asia/Shanghai' will be used.
Local time is now:      Thu Oct 18 16:24:23 CST 2018.
Universal Time is now:  Thu Oct 18 08:24:23 UTC 2018.
Is the above information OK?
1) Yes
2) No
#? 1You can make this change permanent for yourself by appending the lineTZ='Asia/Shanghai'; export TZ
to the file '.profile' in your home directory; then log out and log in again.Here is that TZ value again, this time on standard output so that you
can use the /usr/bin/tzselect command in shell scripts:
Asia/Shanghai

2)拷贝该时区文件,覆盖系统本地时区配置

[alex@hadoop102 azkaban]$ cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

3)集群时间同步(同时发给三个窗口)

[alex@hadoop102 azkaban]$ sudo date -s '2021-05-20 16:39:30'

11、azkaban-web 修改配置文件

1)azkaban.properties

[alex@hadoop102 azkaban-web]$ vim conf/azkaban.properties
#web.resource.dir=web/
web.resource.dir=/opt/module/azkaban/azkaban-web/web#default.timezone.id=America/Los_Angeles
default.timezone.id=Asia/Shanghai#user.manager.xml.file=conf/azkaban-users.xml
user.manager.xml.file=/opt/module/azkaban/azkaban-web/conf/azkaban-users.xml#executor.global.properties=conf/global.properties
executor.global.properties=/opt/module/azkaban/azkaban-executor/conf/global.propertiesdatabase.type=mysql
mysql.port=3306
mysql.host=hadoop103
mysql.database=azkaban
mysql.user=root
mysql.password=000000
mysql.numconnections=100jetty.maxThreads=25
jetty.ssl.port=8443
jetty.port=8081
jetty.keystore=/opt/module/azkaban/azkaban-web/keystore
jetty.password=000000
jetty.keypassword=000000
jetty.truststore=/opt/module/azkaban/azkaban-web/keystore
jetty.trustpassword=000000

2)azkaban-users.xml

[alex@hadoop102 azkaban-web]$ vim conf/azkaban-users.xml
<azkaban-users><user username="azkaban" password="azkaban" roles="admin" groups="azkaban" /><user username="metrics" password="metrics" roles="metrics"/><user username="admin" password="admin" roles="admin,metrics" /><role name="admin" permissions="ADMIN" /><role name="metrics" permissions="METRICS"/>
</azkaban-users>

12、azkaban-executor修改配置文件

1)azkaban.properties

[alex@hadoop102 azkaban-executor]$ vim conf/azkaban.properties
#default.timezone.id=America/Los_Angeles
default.timezone.id=Asia/Shanghai#executor.global.properties=conf/global.properties
executor.global.properties=/opt/module/azkaban/azkaban-executor/conf/global.propertiesdatabase.type=mysql
mysql.port=3306
mysql.host=hadoop103
mysql.database=azkaban
mysql.user=root
mysql.password=000000
mysql.numconnections=100executor.port=12321

13、启动Azkaban

先启动azkaban-executor,再启动azkaban-web
因为要避免Web Server因为找不到执行器而启动失败
1)启动azkaban-executor

[alex@hadoop102 azkaban-executor]$ bin/azkaban-executor-start.sh
[alex@hadoop103 azkaban-executor]$ bin/azkaban-executor-start.sh
[alex@hadoop104 azkaban-executor]$ bin/azkaban-executor-start.sh

2)启动azkaban-web

[alex@hadoop102 azkaban-web]$ bin/azkaban-web-start.sh

3)浏览器访问

https://hadoop102:8443/
黑猴子的家:Centos7 安装部署 Azkaban 2.5.0
尖叫提示:用户名和密码都是admin
4)登陆成功
黑猴子的家:Centos7 安装部署 Azkaban 2.5.0