flume使用四个案例(监听端口,监听文件并传到另外一台电脑,监听文件夹,监听文件夹并将数据保存到hdfs)

该博客详细介绍了Apache Flume的四个实用案例,包括使用Flume监听端口并将数据输出到控制台,从一个节点监听文件并将其通过Avro协议传输到另一节点,监听文件夹并将内容显示,以及将文件数据持久化到HDFS。每个案例都包含了配置信息、执行步骤和测试方法,为Flume的学习和实践提供了清晰的指导。

1.案例一监听端口到界面

1.1监听端口配置信息

## 配置信息 
## 文件名 example-netcat.conf
a1.sources = r1
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 7000

a1.sinks.k1.type = logger

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

1.2 执行

flume-ng agent -n a1 -c /opt/bdsp/apache-flume-1.6.0-bin/conf/ -f /opt/bdsp/conf/flume/example-netcat.conf  -Dflume.root.logger=INFO,console

1.3 监听端口测试

telnet localhost 7000

2监听文件并传到另外一台电脑上界面

2.1配置信息(监听文件->avro->nodez001->logger)

## nodez001
## 文件名 example-avro_node1.conf
a1.sources = r1
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = cmd 
a1.sources.r1.comman
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

武念

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值