flume常用组件解析

最新推荐文章于 2026-04-16 21:25:30 发布

原创最新推荐文章于 2026-04-16 21:25:30 发布 · 768 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

大数据总结

flume常用组件解析

flume常用组件解析
- Avro Source

flume常用组件解析

Apache Flume 是一个分布式、高可靠、高可用的用来收集、聚合、转移不同来源的大量日志数据到中央数据仓库的工具
数据流模型
在这里插入图片描述
1.Event是Flume定义的一个数据流传输的最小单元。
2.Agent就是一个Flume的实例，本质是一个JVM进程，该JVM进程控制Event数据流从外部日志生产者那里传输到目的地（或者是下一个Agent）。
3. 一个完整的Agent中包含了三个组件Source、Channel和Sink，Source是指数据的来源和方式，Channel是一个数据的缓冲池，Sink定义了数据输出的方式和目的地。
复杂流
Flume可以设置多级Agent连接的方式传输Event数据。也支持扇入和扇出的部署方式，类似于负载均衡方式或多点同时备份的方式。
1.可以部署多个Agent组成一个数据流的传输链
2.Agent可以将数据流发到多个下级Agent，也可以从多个Agent发到一个Agent中
在这里插入图片描述

Avro Source

Avro Source监听Avro端口接收从外部Avro客户端发送来的数据流。如果与上一层Agent的 Avro Sink 配合使用就组成了一个分层的拓扑结构。必需的参数已用粗体标明。
在这里插入图片描述
配置范例：

a1.sources = r1
a1.channels = c1
a1.sources.r1.type = avro
a1.sources.r1.channels = c1
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 4141

ipFilterRules格式

ipFilterRules=allow:ip:127.*,allow:name:localhost,deny:ip:*

最先匹配到的规则会优先生效：

#只允许localhost的客户端连接，禁止其他所有的连接
ipFilterRules=allow:name:localhost,deny:ip:

#允许除了localhost以外的任意的客户端连接
ipFilterRules=deny:name:localhost,allow:ip:

标签

#flume #大数据 #big data