当前位置: 代码迷 >> 综合 >> Flume-1.9.0的安装和第一次启动
  详细解决方案

Flume-1.9.0的安装和第一次启动

热度:2   发布时间:2023-12-04 14:26:29.0

1. 下载

http://www.apache.org/dyn/closer.lua/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz

2. 安装JDK

确保你已经按照了JDK-1.8+

3. 安装Flume

解压安装包、移动到你想要的位置、修改名称等:
在这里插入图片描述
配置文件、指定JDK的安装路径::
在这里插入图片描述
在这里插入图片描述
配置环境变量:
vim ~/.bashrc

# Flume
export FLUME_HOME=/home/hadoop/flume-1.9.0
export PATH=$PATH:FLUME_HOME/bin

source ~/.bashrc

查看Flume版本:
在这里插入图片描述

4. 启动Flume

官网手册:http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#setup

使用Flume 最主要的操作就是配置配置文件,如在conf/ 下建立example.conf 文件,添加如下内容:
简单描述:
a1 是启动名命令指定的agent 名称
r1 是source名称
k1是sink名称
c1是channel名称
使用netcat 模式读取数据,指定主机和端口
设置channel数据保存在内存
设置source 和 sink的channel指向。

conf/example.conf

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = master
a1.sources.r1.port = 44444# Describe the sink
a1.sinks.k1.type = logger# Use a channel which buffers events in memory
a1.channels.c1.type = memory# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动命令:
a1 对应配置文件中的a1、–conf是flume配置文件、–conf-file是用户配置文件、-Dflume.root.logger显示到控制台。

bin/flume-ng agent \
--name a1 \
--conf $FLUME_HOME/conf \
--conf-file $FLUME_HOME/conf/example.conf \
-Dflume.root.logger=INFO,console

在这里插入图片描述
另一个终端启动telnet:
在这里插入图片描述
测试数据:
在这里插入图片描述

完!

  相关解决方案