Flink系列-5、Flink DataSet API介绍

最新推荐文章于 2025-09-17 18:00:00 发布
原创 最新推荐文章于 2025-09-17 18:00:00 发布 · 980 阅读 · 0
标签
#flink #大数据 #apache
本文介绍了Flink的DataSetAPI编程模型，包括基本步骤，如获取执行环境、创建数据集、指定并行度以及数据输出。文中详细讲解了基于本地集合和文件的数据源，如从元素、List、Set、Queue中创建数据集，以及读取本地文件、HDFS、CSV和压缩文件的方法。此外，还提到了如何设置并行度来优化执行效率。

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

大数据系列文章目录

官方网址：https://flink.apache.org/

学习资料：https://flink-learning.org.cn/
在这里插入图片描述

目录

Flink DataSet API编程模型

在这里插入图片描述

Flink DataSet API编程基本步骤

  • 获取执行环境（ExecutionEnvironment）
  • 加载/创建初始数据集
  • 对数据集进行各种转换操作（生成新的DataSet）
  • 指定将计算的结果输出
  • 提交任务（可选）

输入数据集Data Source

Data Sources 是什么呢？就字面意思其实就可以知道 数据来源 。
Flink 做为一款流式计算框架，它可用来做批处理，也可以用来做流处理，这个 Data Sources 就是数据的来源地。
flink在批处理中常见的source主要有两大类。

  • 基于本地集合的source（Collection-based-source）
  • 基于文件的source（File-based-source）

基于本地集合的source（Collection-

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink 的SQL API和DataSet API对比
禅与计算机程序设计艺术
12-26 476
Flink是一个流处理框架，它可以处理大规模的实时数据流。Flink提供了两种API，一种是DataSet API，另一种是SQL API。DataSet API是一种基于编程的API，它允许用户使用Java或Scala编写数据处理程序。SQL API是一种基于查询的API，它允许用户使用SQL语句来查询和处理数据。在本文中，我们将讨论Flink的DataSet API和SQL API之间的区别。我们将讨论它们的核心概念，它们之间的联系，以及它们的算法原理和具体操作步骤。
Flink【理论篇】03：Flink核心API之DataSet【DataSource、Transformation、Sink】
weixin_40612128的博客
03-15 649
Flink【理论篇】03：Flink核心API之DataSet【DataSource、Transformation、Sink】
Flink源算子、转换算子和输出算子（DataSet）
roi666的博客
01-23 1816
但是，压缩文件可能不会并行读取，可能是顺序读取的，这样可能会影响作业的可伸缩性。Flink是一种一站式处理的框架，既可以进行批处理（DataSet），也可以进行流处理（DataStream）rightOuterJoin：右外连接,左边的Dataset中的每一个元素，去连接左边的元素。交叉操作，通过形成这个数据集和其他数据集的笛卡尔积，创建一个新的数据集。对一个文件目录内的所有文件，包括所有子目录中的所有文件的遍历访问方式。左外连接,左边的Dataset中的每一个元素，去连接右边的元素。
Flink04: Flink核心API之DataSet
anglemanyi的博客
02-22 1461
DataSet API主要可以分为3块来分析：DataSource、Transformation、Sink。
20200604——flink了解dataset开发
寄蜉蝣于天地，渺沧海之一粟。
06-04 522
Data Source data source 是什么呢，字面意思可以知道：数据来源 flink做为一个流式计算框架，可以用来批处理，也可以用来流处理。 批处理可以是静态的数据集，历史的数据集。 也可以用来做流处理，即实时的处理些实时数据流，实时产生数据流的结果，只要数据源源不断的传递过来，flink就可以一直计算下去，这个data source 就是数据的来源 flink 批处理的source常见有两大类 基于本地集合的source 基于文件的source 基于集合 基于文件 读取本地文件数据readt
Flink实战(四) - DataSet API编程
JavaEdge全是干货的技术号
07-19 2674
1 你将学到 ◆ DataSet API开发概述 ◆ 计数器 ◆ DataSource ◆ 分布式缓存 ◆ Transformation ◆ Sink 2 Data Set API 简介 Flink中的DataSet程序是实现数据集转换（例如，过滤，映射，连接，分组）的常规程序. 最初从某些Source源创建数据集（例如，通过读取文件或从本地集合创建） 结果通过sink返回，接收器可以例如将数据写...
Flink批处理揭秘：DataSet API如何统一有界流，并与DataStream API深度对比
最新发布
zuiyuelong的博客
09-17 1123
在大数据技术快速演进的今天，Apache Flink 作为一个开源的流处理框架，凭借其高吞吐、低延迟和精确一次（exactly-once）的处理语义，逐渐成为企业级数据处理的核心工具之一。Flink 最初由柏林工业大学的研究项目 Stratosphere 发展而来，于2014年进入 Apache 孵化器，2015年正式成为顶级项目。经过近十年的发展，Flink 已经在大数据生态系统中占据了重要地位，尤其因其独特的流批一体架构而备受关注。
【Flink系列】2. Flink快速上手
ayt007的博客
01-16 1453
在准备好所有的开发环境之后，我们就可以开始开发自己的第一个Flink程序了。首先我们要做的，就是在IDEA中搭建一个Flink项目的骨架。我们会使用Java项目中常见的Maven来进行依赖管理。
13、Flink 的table api与sql的基本概念、通用api介绍及入门示例
热门推荐
alanchanchn的专栏
07-27 7万+
Apache Flink 有两种关系型 API 来做流批统一处理：Table API 和 SQL。Table API 是用于 Scala 和 Java 语言的查询API，它可以用一种非常直观的方式来组合使用选取、过滤、join 等关系型算子。Flink SQL 是基于 Apache Calcite 来实现的标准 SQL。无论输入是连续的（流式）还是有界的（批处理），在两个接口中指定的查询都具有相同的语义，并指定相同的结果。
Flink入门（五）——DataSet Api编程指南
大数据流动
01-06 1287
Apache Flink Apache Flink 是一个兼顾高吞吐、低延迟、高性能的分布式处理框架。在实时计算崛起的今天，Flink正在飞速发展。由于性能的优势和兼顾批处理，流处理的特性，Flink可能正在颠覆整个大数据的生态。 DataSet API 首先要想运行Flink，我们需要下载并解压Flink的二进制包，下载地址如下：https://flink.apache.org/do...
Flink DataSet的常用API
涛博客
12-16 1769
Fink DataSet 常用API一、DataSourceTransformationSink Flink DataSet 常用API主要分为3部分： DataSource：是程序的数据源的输入，可以自定义数据源； transformation：具体的操作，对一个或多个输入进行计算处理； Sink：程序的输出，将Transformation处理之后的数据输出到指定的存储介质中； 一、DataSource 1、来源 DataSource 方法 描述 基于文件 readTextFile 读
2024年CentOS RHEL 系统更新安全补丁的方法_怎样升级red hat 补丁(2)，网络安全音频面试
2401_84264244的博客
05-05 866
默认情况下， cron 任务被配置成了立即下载并安装所有更新，但是我们可以通过在 /etc/sysconfig/yum-cron 配置文件中把下面两个参数改为yes，从而改变这种行为。为了使来自 root@localhost 的通知能够通过邮件发送给同一账户（再次说明，你可以选择其他账户，如果你想这样的话），下面这些行也是必须的。安装完成以后，打开/etc/yum/yum-cron.conf，然后找到下面这些行内容，你必须确保它们的值和下面展示的一样。而其它的行保证了能够通知并自动下载、安装安全升级。
第二篇|Flink DataSet API编程指南
wr_java的博客
04-01 722
/ 将tuple类型的数据写入关系型数据库// 创建并配置OutputFormat)").finish()复制代码。
Flink的DataSet基本算子总结_flink dateset 算子详解(1)
2401_86436851的博客
09-05 486
data2.add(new Tuple2(1,“北京”));data2.add(new Tuple2(2,“上海”));data2.add(new Tuple2(4,“重庆”));data2.add(new Tuple2(1,“北京”));data2.add(new Tuple2(2,“上海”));//实现join的多表查询：用户ID 姓名 所在的程序。//实现join的多表查询：用户ID 姓名 所在的程序。//实现join的多表查询：用户ID 姓名 所在的程序。
Flink之DataSet数据源
蔡政洁的博客
03-07 1265
目录（1）Flink Source之Text数据源（2）Flink Source之JSON数据源（3）FlinkSource之CSV数据源（4）Flink Source之MySQL数据源 （1）Flink Source之Text数据源 ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); // read text file from local files system DataSet<String&g
Flink 批处理之DataSet（source、sink、Transformation）
qq_37135484的博客
03-31 2007
介绍flink批处理开发流程,以及各类常用source&sink详细
有了这个网络安全面试题，面试就像开了挂！（附PDF）
lvaolan的博客
02-26 2462
还有兄弟不知道网络安全面试可以提前刷题吗？费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！王岚嵚工程师面试题（附答案），只能帮兄弟们到这儿了！如果你能答对70%，找一个安全工作，问题不大。对于有1-3年工作经验，想要跳槽的朋友来说，也是很好的温习资料！【完整版领取方式在文末！！​​​​内容实在太多，不一一截图了。
大数据-118 - Flink 批处理 DataSet API 全面解析：应用场景、代码示例与优化机制
谢谢你的喜欢 我们一起无限进步
09-04 5296
Flink 的 DataSet API 是批处理的核心编程接口，专为处理静态、有限数据集设计，支持 TB 级甚至 PB 级大数据分析。相比 DataStream API 的流处理，DataSet API 聚焦于离线批处理，具备 延迟执行、内存管理、丰富算子和容错机制 等优势。常见应用场景包括 ETL 数据清洗与加载、批量报表分析、大规模图计算、机器学习特征工程与数据预处理。DataSet API 支持多种数据源，如 集合、文件（HDFS/S3）、数据库，并提供 map、filter、flatMap、join
Flink DataStream的使用 - 对数据的读取、使用、输出的操作
LC的博客
11-01 3296
Flink DataStream的使用 - 对数据的读取、使用、输出的操作
Flink核心API之DataStream
qq_40905284的博客
03-07 881
Flink核心API学习笔记
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

技术武器库

一句真诚的谢谢，胜过千言万语

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值