flume里关于hdfs的sink配置:
属性 | 描述 |
---|---|
type | hdfs |
path | hdfs的路径,需要包含文件系统标识,比如:hdfs://flume/events/dt=%y-%m-%d |
filePrefix | 默认值:FlumeData,写入hdfs的文件名前缀 |
fileSuffix | 写入 hdfs 的文件名后缀,比如:.lzo .log等 |
inUsePrefix | 临时文件的文件名前缀 |
inUseSuffix | 默认值:.tmp,临时文件的文件名后缀 |
rollInterval | 默认值:30:hdfs sink 间隔多长将临时文件滚动成最终目标文件,单位:秒.如果设置成0,则表示不根据时间来滚动文件 |
rollSize | 默认值:1024:当临时文件达到多少(单位:bytes)时,滚动成目标文件;如果设置成0,则表示不根据临时文件大小来滚动文件 |
rollCount | 默认值:10:当 events 数据达到该数量时候,将临时文件滚动成目标文件;如果设置成0,则表示不根据events数据来滚动文件 |
idleTimeout | 默认值:0:当目前被打开的临时文件在该参数指定的时间(秒)内,没有任何数据写入,则将该临时文件关闭并重命名成目标文件 |
batchSize | 默认值:100:每个批次刷新到 HDFS 上的 events 数量 |
codeC | 文件压缩格式,包括:gzip, bzip2, lzo, lzop, snappy |
fileType | 默认值:SequenceFile,文件格式,包括:SequenceFile, DataStream,CompressedStream |
maxOpenFiles | 默认值:5000:最大允许打开的HDFS文件数,当打开的文件数达到该值,最早打开的文件将会被关闭 |
minBlockReplicas | 默认值:HDFS副本数,写入 HDFS 文件块的最小副本数 |
writeFormat | 写 sequence 文件的格式。包含:Text, Writable(默认) |
callTimeout | 默认值:10000,执行HDFS操作的超时时间(单位:毫秒) |
threadsPoolSize | 默认值:10,hdfs sink 启动的操作HDFS的线程数 |
rollTimerPoolSize | 默认值:1,hdfs sink 启动的根据时间滚动文件的线程数 |
kerberosPrincipal | HDFS安全认证kerberos配置 |
kerberosKeytab | HDFS安全认证kerberos配置 |
proxyUser | 代理用户 |
round | 默认值:false,是否启用时间上的”舍弃” |
roundValue | 默认值:1,时间上进行“舍弃”的值 |
roundUnit | 默认值:seconds,时间上进行”舍弃”的单位,包含:second,minute,hour |