当前位置: 代码迷 >> 综合 >> flume hdfs sink 配置
  详细解决方案

flume hdfs sink 配置

热度:77   发布时间:2023-12-29 14:42:35.0

flume里关于hdfs的sink配置:

属性 描述
type hdfs
path hdfs的路径,需要包含文件系统标识,比如:hdfs://flume/events/dt=%y-%m-%d
filePrefix 默认值:FlumeData,写入hdfs的文件名前缀
fileSuffix 写入 hdfs 的文件名后缀,比如:.lzo .log等
inUsePrefix 临时文件的文件名前缀
inUseSuffix 默认值:.tmp,临时文件的文件名后缀
rollInterval 默认值:30:hdfs sink 间隔多长将临时文件滚动成最终目标文件,单位:秒.如果设置成0,则表示不根据时间来滚动文件
rollSize 默认值:1024:当临时文件达到多少(单位:bytes)时,滚动成目标文件;如果设置成0,则表示不根据临时文件大小来滚动文件
rollCount 默认值:10:当 events 数据达到该数量时候,将临时文件滚动成目标文件;如果设置成0,则表示不根据events数据来滚动文件
idleTimeout 默认值:0:当目前被打开的临时文件在该参数指定的时间(秒)内,没有任何数据写入,则将该临时文件关闭并重命名成目标文件
batchSize 默认值:100:每个批次刷新到 HDFS 上的 events 数量
codeC 文件压缩格式,包括:gzip, bzip2, lzo, lzop, snappy
fileType 默认值:SequenceFile,文件格式,包括:SequenceFile, DataStream,CompressedStream
maxOpenFiles 默认值:5000:最大允许打开的HDFS文件数,当打开的文件数达到该值,最早打开的文件将会被关闭
minBlockReplicas 默认值:HDFS副本数,写入 HDFS 文件块的最小副本数
writeFormat 写 sequence 文件的格式。包含:Text, Writable(默认)
callTimeout 默认值:10000,执行HDFS操作的超时时间(单位:毫秒)
threadsPoolSize 默认值:10,hdfs sink 启动的操作HDFS的线程数
rollTimerPoolSize 默认值:1,hdfs sink 启动的根据时间滚动文件的线程数
kerberosPrincipal HDFS安全认证kerberos配置
kerberosKeytab HDFS安全认证kerberos配置
proxyUser 代理用户
round 默认值:false,是否启用时间上的”舍弃”
roundValue 默认值:1,时间上进行“舍弃”的值
roundUnit 默认值:seconds,时间上进行”舍弃”的单位,包含:second,minute,hour
  相关解决方案