Flume系列：案例-Flume 聚合拓扑(常见的日志收集结构)

原创

已于 2023-06-06 22:48:42 修改 · 1.1k 阅读

标签

#flume #大数据 #hadoop

收录于

于 2023-05-28 22:31:23 首次发布

该博客介绍了如何在Apache Hadoop生态中使用Flume构建一个聚合拓扑结构，用于日志收集。案例展示了Flume-1和Flume-2分别监控不同的日志文件，并将数据发送给Flume-3，最后由Flume-3将数据打印到控制台。文章详细解释了实现该结构的三个主要步骤，包括配置flume1.conf、flume2.conf和flume3.conf。

Apache Hadoop生态-目录汇总-持续更新

1：案例需求-实现聚合拓扑结构

3：实现步骤：

2.1：实现flume1.conf - sink端口4141

2.2：实现flume2.conf- sink端口4141

2.3：实现flume3.conf - 监听端口4141

3：启动传输链路

Apache Hadoop生态-目录汇总-持续更新

系统环境：centos7

Java环境：Java8

案例只演示通道流程，其中Source，channel，Sink的种类按需调整

1：案例需求-实现聚合拓扑结构

Flume-1 监控文件/tmp/group3/log1.log

Flume-2 监控文件/tmp/group3/log2.log

Flume-1 与 Flume-2 将数据发送给Flume-3，Flume-3 将最终数据打印到控制台。

3：实现步骤：

2.1：实现flume1.conf - sink端口4141

vim flume1.conf

# 1：定义组件
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 2：定义source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /tmp/group3/log1.log
a1.sources.r1.shell = /bin/bash -c

# 3：定义channel
a1.channels.c1.type = memory
a1