Flume1.4 相关参数设置，将收集的数据汇总到hdfs，解决许多小文件问题

参照官方文档，将 flume client 收集的日志文件 汇总到  flume sink收集端，然后存储到hdfs 中，默认会按生成许多小文件，如图所示

实际中可能只需要生成一个文件即可，这就涉及到了几个相关参数设置如下即可

需要修改的文件位于 flume/conf/ 下面，

agent.sinks.sink1.hdfs.round=true

agent.sinks.sink1.hdfs.roundValue=5

agent.sinks.sink1.hdfs.roundUnit=minute

agent.sinks.sink1.hdfs.rollInterval=30      

agent.sinks.sink1.hdfs.rollSize=0

agent.sinks.sink1.hdfs.rollCount=0

相关参数的具体含义可以参考 flume1.4 的 官方文档。

设置之后重新启动flume集群，即可