flink sink 到hdfs文件系统

原创已于 2022-07-05 13:55:33 修改 · 1.3k 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#flink

于 2022-07-04 10:24:33 首次发布

Flink 专栏收录该内容

33 篇文章

订阅专栏

本文介绍如何使用 Apache Flink 将实时数据流写入 HDFS，并通过 StreamingFileSink 进行详细配置，包括设置检查点、文件滚动策略及分区策略等。

flink将数据保存到hdfs中,官网支持–StreamingFileSink

public class StreamFileSinkDemo {
    public static void main(String[] args)throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        DataStreamSource<String> lines = env.socketTextStream("localhost", 8888);
        SingleOutputStreamOperator<String> upper = lines.map(String::toUpperCase);

        //然后建将官网写好的代码复制到这个平台
        String patha = "D:\\test\\out";

        //必须要设置,检查点10秒钟
        env.enableCheckpointing(10000);

		//指定分区分配策略，默认按每小时分桶
		BucketAssigner<String, String> assigner = new DateTimeBucketAssigner<>("yyyy-MM-dd", ZoneId.of("Asia/Shanghai"));
        StreamingFileSink<String> fileSink = StreamingFileSink.<String>forRowFormat(
                new Path("你的输出路径"),//hdfs-->"hdfs://198.16.1.23:9870/flink/"
                new SimpleStringEncoder<>("UTF-8"))//编码格式字符集
                .withRollingPolicy(
                        DefaultRollingPolicy.builder()//文件滚动策略
                                .withRolloverInterval(TimeUnit.MINUTES.toMillis(15))//至少包含 15 分钟的数据
                                .withInactivityInterval(TimeUnit.MINUTES.toMillis(5 ))//最近 5 分钟没有收到新的数据
                                .withMaxPartSize(1024 * 1024 * 1024)//文件大小已达到 1 GB
                                .build())
                .withBucketAssigner(assigner)//指定分桶策略
                .build();

        // 将record-->过滤上传数据-->转换成jsonstring-->写入到hdfs
        record.map(line->JSON.toJSONString(line)).addSink(fileSink);
        env.execute();
    }
}
--你在8888端口依次输入:
--我要保存在本地路:
--他就会在你的D:\\test\\下生成一个out文件夹,里面就有我们刚才输入的信息!