flume4个学习案例
1.案例一监听端口到界面
1.1监听端口配置信息
## 配置信息
## 文件名 example-netcat.conf
a1.sources = r1
a1.sinks = k1
a1.channels = c1
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 7000
a1.sinks.k1.type = logger
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
1.2 执行
flume-ng agent -n a1 -c /opt/bdsp/apache-flume-1.6.0-bin/conf/ -f /opt/bdsp/conf/flume/example-netcat.conf -Dflume.root.logger=INFO,console
1.3 监听端口测试
telnet localhost 7000
2监听文件并传到另外一台电脑上界面
2.1配置信息(监听文件->avro->nodez001->logger)
## nodez001
## 文件名 example-avro_node1.conf
a1.sources = r1
a1.sinks = k1
a1.channels = c1
a1.sources.r1.type = cmd
a1.sources.r1.comman

该博客详细介绍了Apache Flume的四个实用案例,包括使用Flume监听端口并将数据输出到控制台,从一个节点监听文件并将其通过Avro协议传输到另一节点,监听文件夹并将内容显示,以及将文件数据持久化到HDFS。每个案例都包含了配置信息、执行步骤和测试方法,为Flume的学习和实践提供了清晰的指导。

3166

被折叠的 条评论
为什么被折叠?



