当前位置： 代码迷 >> 综合 >> CentOS7上安装配置破解Elasticsearch+Kibana 6.4.2-6.5.1全过程
  详细解决方案

CentOS7上安装配置破解Elasticsearch+Kibana 6.4.2-6.5.1全过程

热度：52   发布时间：2023-10-26 18:52:14.0

最近正在学习服务器应用平台的搭建的相关知识。有幸从朋友与书上了解到Elastic套件的使用，我花了两天的时间把最新的套件部署在我的服务器上，中间踩了数不清的坑。我把整个过程都记录了下来与各位有需要的朋友们分享一下。

Update
经过测试该安装破解方案已兼容Elasticsearch6.4.2至Kibana6.5.1版本

环境说明

  • 操作系统：CentOS 7.5 腾讯云公共镜像
  • 最低配置：1核2G（容易崩溃）
  • 建议配置：2核4G（比较稳定）
  • 推荐配置：越强越好（有钱真好）
  • 软件来源：官方yum源，官网网站：https://www.elastic.co/
  • 本文中使用的代码方式已在腾讯云服务器实际测试过，安装过程采用yum安装，若用rpm安装应该差异不大。
  • 最近一次成功配置服务的时间为：2018-10-22，若因为版本更新导致本文的配置方案有初入或者失效的请见谅。
  • 若有配置维护等问题欢迎讨论（其实我也是刚刚入门），联系我：mailto@wolfbolin.com

准备工作

  1. 首先你可以给自己的主机起一个好听的名字，方便在未来区分不同的主机
    hostnamectl set-hostname xxx
  2. 最好把系统上已有的应用更新到最新版本
    yum update -y
  3. Elasticsearch需要Java 1.8.0_131或更高版本，方便起见可以直接安装OpenJDK，如果有特别需要的朋友也可以选择OracleJDK
    yum install java-1.8.0* -y

从现在开始我们就要开始安装Elastic套件了，注意细节、提示与顺序

一、安装Elasticsearch 6.4.2

该过程的官方文档请参考如下链接
安装过程概览：https://www.elastic.co/products
Elasticsearch下载：https://www.elastic.co/downloads/elasticsearch
官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/6.4/index.html

根据文档的指引有以下步骤：

  1. 导入GPG密钥避免在安装过程中提示密钥信任问题
    rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
  2. 在源目录/etc/yum.repos.d/中添加源elasticsearch.repo
    可直接执行vim /etc/yum.repos.d/elasticsearch.repo，并在添加完成后保存
  3. 向elasticsearch.repo中写入源信息：
[elasticsearch-6.x]
name=Elasticsearch repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
  1. 在源添加完成后更新源数据并应通过yum安装Elasticsearch
    yum update -y && yum install elasticsearch -y

二、初步配置Elasticsearch 6.4.2

该过程的官方文档请参考如下链接
配置说明：https://www.elastic.co/guide/en/elasticsearch/reference/current/settings.html

根据文档的提示，我提取出一些关键信息

  • 默认设置已经足够入门使用，应该尽量少的修改配置文件
  • yum安装的Elasticsearch运行目录：/usr/share/elasticsearch/
  • yum安装的Elasticsearch配置文件目录：/etc/elasticsearch/
    • elasticsearch.yml 文件用于配置Elasticsearch
    • jvm.options 文件用于配置Elasticsearch JVM设置
    • log4j2.properties 文件用于配置Elasticsearch日志记录
  • 你可能想修改：
    • 需要修改主机IP为公网IP、内网IP或任意IP：network.host: 0.0.0.0
    • 修改端口：http.port: 9200
    • 数据存放位置：path.data: /var/lib/elasticsearch
    • 日志存放位置：path.logs: /var/log/elasticsearch
    • 修改运行时内存限制：见下文
    • 程序自启动：systemctl enable elasticsearch.service
    • 启动主程序：systemctl start elasticsearch.service

关于修改运行时内存

官方文档重点翻译：

您应该很少需要更改Java虚拟机（JVM）选项。如果需要修改，最可能的更改是设置堆大小。设置JVM选项（包括系统属性和JVM标志）的首选方法是通过jvm.options配置文件修改。
您最好将最小堆大小（Xms）和最大堆大小（Xmx）设置为彼此相等。
Elasticsearch可用的堆越多，它可用于缓存的内存就越多。但是请注意，过多的堆可能会使您的机器陷入长时间的垃圾收集暂停。
设置Xmx为不超过物理RAM的50％，以确保有足够的物理RAM留给内核文件系统缓存。

官方关于JVM的文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/jvm-options.html
此配置文件的默认位置在/etc/elasticsearch/jvm.options，视情况修改Xms和Xms，过多或过少的占用内存可能会导致程序崩溃或无法启动。
示例值：

-Xms2g
-Xmx2g

尝试启动Elasticsearch

Elasticsearch 安装完成并初步配置后可以先不急着启动，可以使用命令systemctl start elasticsearch.service启动Elasticsearch。
若想测试并验证安装结果，可以启动后访问http://<host_ip>:<host_part>（默认地址http://域名或IP:9200）进行验证，注意避免因为本机IP配置错误而导致无法连接的情况。
如能正常访问将显示如下格式的json数据

{"name" : "qEgqyT5","cluster_name" : "elasticsearch","cluster_uuid" : "wow17Li0SK-hgw-bOszN9g","version" : {"number" : "6.4.2","build_flavor" : "default","build_type" : "rpm","build_hash" : "04711c2","build_date" : "2018-09-26T13:34:09.098244Z","build_snapshot" : false,"lucene_version" : "7.4.0","minimum_wire_compatibility_version" : "5.6.0","minimum_index_compatibility_version" : "5.0.0"},"tagline" : "You Know, for Search"
}

三、安装kibana 6.4.2

该过程的官方文档请参考如下链接
Kibana下载：https://www.elastic.co/downloads/kibana
官方文档：https://www.elastic.co/guide/en/kibana/6.4/index.html

根据文档的指引有以下步骤：

  1. 通过yum安装Kibana：yum install kibana -y
  2. 配置文件修改：/etc/kibana/kibana.yml
# 本机IP根据个人需要填写公网IP、内网IP或任意IP
server.host: "0.0.0.0"#配置Kibana所连接的ES集群链接
elasticsearch.url: "http://localhost:9200"
  1. 设置软件开机自启并启动程序
systemctl enable kibana.service
systemctl start kibana.service
  1. 尝试启动Kibana
    Kibana启动前必须配置并启动Elasticsearch，否则网页上会出现错误提示。配置并启动后可通过http://<host_ip>:<host_part>访问Kibana，可以用浏览器进行访问。默认地址http://域名或IP:5601，效果如图。
    在这里插入图片描述

四、Beats与Logstash安装

可以根据个人需要安装Beats与Logstash，通过上文中配置的yum进行安装，组建的配置普遍的都比较简单，一般都是设置主机地址和证书即可。

详细内容可参考官方文档：https://www.elastic.co/guide/en/beats/metricbeat/current/index.html
Beats简介：https://www.elastic.co/cn/products/beats
Logstash简介：https://www.elastic.co/cn/products/logstash

简单举例

  1. 安装metricbeat
    yum install metricbeat -y
  2. 配置metricbeat
    文件目录：/etc/metricbeat/metricbeat.yml
    配置elasticsearch和kibana的主机地址并开启面板，修改内容：
output.elasticsearch:hosts: ["xxx.xxx.xxx.xxx:9200"]setup.kibana:host: "xxx.xxx.xxx.xxx:5601"setup.dashboards.enabled: true
  1. 开机启动和启动程序
    设置开机启动：chkconfig --add metricbeat
    手动启动程序：systemctl start metricbeat

五、设置x-pack

若想破解白金版服务，需要启动安全设置，也就是要在每个节点中安装证书

该过程的官方文档请参考如下链接
https://www.elastic.co/guide/en/elasticsearch/reference/current/configuring-security.html

在以下内容中我将主要陈述该版本的方法和之前版本的不同点，理由只简单陈述

  1. 安装x-pack
    6.4版本不需要安装x-pack
    因为在6.4的版本中x-pack已经是一个内置的组建了，不必像网上的其他教程那样自己安装x-pack了。
  2. 先进入试用模式
    我遇到的很奇怪的问题，若先配置证书再设置密码就会导致Kibana无法连接到Elasticsearch，出现以下提示。
  • 设置密码时：
Unexpected response code [403] from calling GET http://10.10.1.10:9200/_xpack/security/_authenticate?pretty
It doesn't look like the X-Pack security feature is available on this Elasticsearch node.
Please check if you have installed a license that allows access to X-Pack Security feature.ERROR: X-Pack Security is not available.
  • 打开Kibana时会出现
Cannot connect to the Elasticsearch cluster currently configured for Kibana.

如图
在这里插入图片描述
为避免此问题，请先点击试用再配置x-pack的相关证书。
在这里插入图片描述

  1. 生成CA证书
    路径陷阱要小心
  • 网络上大部分教程所描述的certutil程序脚本，在路径/usr/share/elasticsearch/bin/x-pack/中。但是，在6.4中已经不可用 （文件存在但是运行时会提示不可用），新的CA证书生成程序在/usr/share/elasticsearch/bin/目录中，名为elasticsearch-certutil
  • 我们可以进入/usr/share/elasticsearch/bin/目录执行如下命令来生成证书。
    ./elasticsearch-certutil ca --ca-dn "CN=WolfBolin Elatic CA" --out /etc/elasticsearch/certs/wolfbolin-elastic-ca.p12
    内容和参数的含义可以自行百度，百度上的说明还是能看明白的。若需要使用TLS/SSL证书可以参考官方文档。
  1. 生成cert证书
    同样的，可以在/usr/share/elasticsearch/bin/目录执行如下命令来生成证书。
    ./elasticsearch-certutil cert -ca /etc/elasticsearch/certs/wolfbolin-elastic-ca.p12 --out /etc/elasticsearch/certs/wolfbolin-elastic-certificates.p12
    该证书生成程序会以交互式的方式完成证书的生成，建议cert证书生成时不带密码，以降低配置复杂性（输入密码时直接回车就好）
  2. 合理的保存证书
    在保存证书时有两点需要注意：
  • cert证书中包含了CA证书的密码，所以不应被随意读取，注意权限的调整
  • 也许是由于Java或程序自身的限制，Elasticsearch无法读取非配置目录/etc/elasticsearch/下的文件，所以你应该将cert证书储存在/etc/elasticsearch/certs/文件夹中，并给予适当的权限，我的设置是chmod 660 /etc/elasticsearch/certs/*
  • 若访问权限不足会在日志中出现java.nio.file.AccessDeniedException:的报错提示
  1. 在Elasticsearch中配置证书文件
    修改配置文件/etc/elasticsearch/elasticsearch.yml，在文件结尾添加：
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: certs/wolfbolin-elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: certs/wolfbolin-elastic-certificates.p12

注意：两个证书是一样的，都是生成的cert证书。证书的名字和路径别弄错了！！！
若证书有密码可参考文档https://www.elastic.co/guide/en/elasticsearch/reference/current/configuring-tls.html#tls-transport

  1. 配置完成后重启Elasticsearch
    systemctl restart elasticsearch.service

  2. 若在重启过程中出现错误与导致不能启动的，可以分析日志/var/log/elasticsearch/elasticsearch.log查找原因。

  3. 阶段性成果
    在配置了安全证书后，若尝试访问则会在网页上提示，此时Kibana是不可访问Elasticsearch的

Cannot connect to the Elasticsearch cluster currently configured for Kibana.
Refer to the Kibana logs for more details and refresh to try again.
  1. 设置用户密码
  • 网上其他教程上使用的程序setup-passwords在6.4中已不可用（文件存在但是运行时会提示不可用），新的密码设置程序在/usr/share/elasticsearch/bin/目录中，名为setup-passwords
  • 我们可以进入/usr/share/elasticsearch/bin/目录执行如下命令来生成密码。
    ./elasticsearch-setup-passwords auto（自动生成）或./elasticsearch-setup-passwords interactive（手动设置）
    若是自动生成，过程提示如下，如报错请参考第二步。
[root@sbox-wolfbolin bin]# ./elasticsearch-setup-passwords auto
Initiating the setup of passwords for reserved users elastic,kibana,logstash_system,beats_system.
The passwords will be randomly generated and printed to the console.
Please confirm that you would like to continue [y/N]yChanged password for user kibana
PASSWORD kibana = nEeVHfxms4Q4S6mWmzzHChanged password for user logstash_system
PASSWORD logstash_system = zmb8xXkFk7KlLWYPHfO0Changed password for user beats_system
PASSWORD beats_system = ejSOoRx87tx43IfokIotChanged password for user elastic
PASSWORD elastic = RFWJ2dN0crlHk0ebUHN4

该凭据是其他应用程序连接Elasticsearch的凭据，请保存好

  1. 将密码部署到应用
    编辑Kibana配置文件/etc/kibana/kibana.yml
elasticsearch.username："elastic"
elasticsearch.password："RFWJ2dN0crlHk0ebUHN4"

此帐号密码是Kibana连接Elasticsearch的凭据，若使用kibana账户则无法链接。

  1. 将密码部署到收集器
    以metricbeat为例，修改配置文件/etc/metricbeat/metricbeat.yml，安装如下格式修改相关字段，密码按照上述自己修改的密码填写：
output.elasticsearch:hosts: ["myEShost:9200"]username: "beats_system"password: "ejSOoRx87tx43IfokIot" 
setup.kibana:host: "kibana_host:5601"username: "kibana"  password: "nEeVHfxms4Q4S6mWmzzH"

重启应用以刷新配置：systemctl restart metricbeat

  1. 重启Kibana
    重启应用以刷新配置：systemctl restart kibana.service
    此时刷新网页即可看到Kibana已经需要帐号密码登录了，此时使用刚刚生成的kibana账户登录。
    在这里插入图片描述

六、 破解x-pack

  1. 相关说明
    不同于手工安装的x-pack，Elasticsearch6.4内包含的x-pack位于modules/x-pack-core中，即：/usr/share/elasticsearch/modules/x-pack-core/x-pack-core-6.4.2.jar文件。

  2. 反编译jar文件
    在这个步骤中你完全可以跳过反编译的过程，直接使用我文章中给出的Java程序进行编译和替换。但如果有需要的可以该文件传出来并用luyten反编译软件对jar包进行反编译，luyten项目地址：https://github.com/deathmarine/Luyten

  3. 修改x-pack源码
    我们重点关心项目中的两个文件

  • org.elasticsearch.license.LicenseVerifier.java
  • org.elasticsearch.xpack.core.XPackBuild.java
    两个文件文件相较于之前的版本有一定的变化，但是不影响破解过程。原始文件我就不贴了，直接给出修改后的Java文件。你可以在本地新建一个同名的Java文件并将上面给出的代码拷贝到文件中，这样你就拥有了两个修改过的x-pack程序的Java源码文件。
    org.elasticsearch.license.LicenseVerifier.java
package org.elasticsearch.license;import java.nio.*;
import org.elasticsearch.common.bytes.*;
import java.security.*;
import java.util.*;
import org.elasticsearch.common.xcontent.*;
import org.apache.lucene.util.*;
import org.elasticsearch.core.internal.io.*;
import java.io.*;public class LicenseVerifier
{public static boolean verifyLicense(final License license, final byte[] publicKeyData) {return true;}public static boolean verifyLicense(final License license) {return true;}
}

org.elasticsearch.xpack.core.XPackBuild.java

package org.elasticsearch.xpack.core;import org.elasticsearch.common.io.*;
import java.net.*;
import org.elasticsearch.common.*;
import java.nio.file.*;
import java.io.*;
import java.util.jar.*;public class XPackBuild
{public static final XPackBuild CURRENT;private String shortHash;private String date;@SuppressForbidden(reason = "looks up path of xpack.jar directly")static Path getElasticsearchCodebase() {final URL url = XPackBuild.class.getProtectionDomain().getCodeSource().getLocation();try {return PathUtils.get(url.toURI());}catch (URISyntaxException bogus) {throw new RuntimeException(bogus);}}XPackBuild(final String shortHash, final String date) {this.shortHash = shortHash;this.date = date;}public String shortHash() {return this.shortHash;}public String date() {return this.date;}static {final Path path = getElasticsearchCodebase();String shortHash = null;String date = null;Label_0157: {shortHash = "Unknown";date = "Unknown";}CURRENT = new XPackBuild(shortHash, date);}
}
  1. 编译java程序
    你需要将这两个文件编译为class文件，编译依赖的文件在命令中已经给出。
    编译LicenseVerifier.java
    javac -cp "/usr/share/elasticsearch/modules/x-pack-core/*:/usr/share/elasticsearch/lib/*" LicenseVerifier.java
    编译XPackBuild.java
    javac -cp "/usr/share/elasticsearch/modules/x-pack-core/*:/usr/share/elasticsearch/lib/*" XPackBuild.java
    提示：如果编译迟迟不能结束，你可能需要将Elasticsearch关闭再重新编译即可。
    编译替换的过程需要关闭Elasticsearch。
  2. 获取源文件
    在完成编译程序之后需要将编译好的程序添加到x-pack-core-6.4.2.jar文件中，我们可以采用先解压再替换在压缩的方式构建新的jar文件。进入文件所在目录，备份文件，拷贝出来
cd /usr/share/elasticsearch/modules/x-pack-core/
cp x-pack-core-6.4.2.jar x-pack-core-6.4.2.jar.bak
cp x-pack-core-6.4.2.jar /home/x-pack-core-6.4.2.jar
  1. 解压jar文件
    解压jar文件：jar -xvf x-pack-core-6.4.2.jar该命令会解压到当前目录
    unzip x-pack-core-6.4.2.jar -d ./x-pack-core-6.4.2该命令可以指定目录
  2. 替换class文件
    将刚刚编译好的破解的class替换到相同的位置中
    cp LicenseVerifier.class ./x-pack-core-6.4.2/org/elasticsearch/license/
    cp XPackBuild.class ./x-pack-core-6.4.2/org/elasticsearch/xpack/core/
  3. 重新打包jar包
    压缩jar文件：jar -cvf x-pack-core-6.4.2.crack.jar -C x-pack-core-6.4.2/ . （不可忽略那个英文句号）
  4. 替换x-pack文件
    将我们生成的被破解的jar替换到Elasticsearch的目录中：
    cp x-pack-core-6.4.2.crack.jar /usr/share/elasticsearch/modules/x-pack-core/x-pack-core-6.4.2.jar
    另外需要注意需要替换集群中所有的x-pack-core-6.4.2.jar
  5. 重启Elasticsearch
    systemctl restart elasticsearch.service

七、 升级为铂金版

  1. 申请许可证
    在官网上申请一个许可证：https://register.elastic.co/marvel_register
    新申请的许可证都是普通的版本，我们需要修改一下文件中的信息让软件认为我们是铂金版。而且因为我们破解了验证证书的jar文件，所以软件无法验证我们的证书是不是真的。
    普通的证书内容如下：
{"license": {"uid": "c6570128-85c2-4f72-8d8f-b1425455b9ee","type": "basic","issue_date_in_millis": 1540080000000,"expiry_date_in_millis": 1571702399999,"max_nodes": 100,"issued_to": "elastic","issuer": "elastic","signature": "AAAAAwAAAA07qIy5rp9i1qa5VS3vAAAB...","start_date_in_millis": 1540080000000}
}

修改type字段为platinum，表示铂金版
修改expiry_date_in_millis字段为2147482800000，表示时间尽头
修改max_nodes字段为1000，表示集群数量

{"license": {"uid": "c6570128-85c2-4f72-8d8f-b1425455b9ee","type": "basic","issue_date_in_millis": 1540080000000,"expiry_date_in_millis": 1571702399999,"max_nodes": 100,"issued_to": "elastic","issuer": "elastic","signature": "AAAAAwAAAA07qIy5rp9i1qa5VS3vAAAB...","start_date_in_millis": 1540080000000}
}

注：“2147482800” 表示 “北京时间2038-1-19 11:00:00”

  1. 更新许可证
    修改成功后就可以在Kibana页面中上传新的许可证了
    注意：上传许可证时必须使用elastic帐号登录并更新许可证
    在这里插入图片描述
    在这里插入图片描述
若有配置维护等问题欢迎与我讨论（其实我也是刚刚入门）：mailto@wolfbolin.com
  相关解决方案

代码迷 - 您身边的软件异常，代码异常，编程异常助手（发现，解决，分享）
Copyright © 2009-2013 DAIMAMI.COM. All rights reserved.