Flink学习笔记（一）

最近开始学习Flink框架了，因此开个专栏将学习中的笔记记录一下。第一篇为Flink的入门介绍，主要以理论知识为主，不涉及代码层面的内容。菜鸟第一次接触Flink，有问题的话欢迎各位大佬批评指正。 1 Flink是什么 官方介绍：框架和分布式处理引擎，用于对无界和有界数据流进行状态计算 logo：小松鼠 德语：快速、灵巧 Flink目前的应用：涵盖了诸多应用场景，国内一线大厂 电商和市场营销：数据报表、广告投放 物联网 电信业 银行和金融业 2 Why Flink? 流数据更真实：真实的生产环

文章目录flink学习笔记一、flink简介flink是什么？为什么选择flink？传统数据处理架构事务处理分析处理有状态的流式处理lambda架构flink的主要特点事件驱动（Event-driven）基于**流**的世界观分层API其它特点二、flink运行架构flink运行时的组件JobManagerTaskMangerResourceManagerDispatcher任务提交流程任务提交流程（Yarn）任务调度原理TaskManager和Slots程序与数据流（DataFlow）执行图并行度（Par

1. Flink简介 Flink 是 Apache 基金会旗下的一个开源大数据处理框架。 Flink 的官网主页地址：https://flink.apache.org/ 在 Flink 官网主页的顶部可以看到，Flink的核心目标，是“数据流上的有状态计算”（Stateful Computations over Data Streams）。 1.1 Flink框架处理流程 1.2 OLTP和OLAP 联机事务处理OLTP（on-line transaction processing） OLTP是传统的关

（1）IDEA 编写代码 批处理WordCount package com.vip.wc import org.apache.flink.api.scala._ // 批处理代码 object WordCount { def main(args: Array[String]): Unit = { // 创建一个批处理的执行环境 val env = ExecutionEnvi...

以下笔记基于对尚硅谷Java版Flink(2020版)的学习,Flink版本1.10。

Apache Flink是一个框架和分布式处理引擎，用于对无限制和有限制的数据流进行有状态的计算。Flink被设计为可以在所有常见的集群环境中运行，以内存速度和任何规模执行计算。本示例以 1.12 版本进行介绍，当前版本更新至 1.17。Apache Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架，它基于同一个Flink流式执行模型（streaming execution model），能够支持流处理和批处理两种应用类型。

1.我们通常将数据分成无界数据集和有界数据集。 在我们的生活当中，只要还在持续不断的产生或者变化，这样的数据集我们都说它是无界数据集。 2.我们通常将计算方式分成两种： 第一种是实时的，我们也称之为流式处理 第二种是离线的，我们也称之为批处理 这个两种计算方式在某种意义上是可以相互替代的，只是选择是否最佳的问题。 例如我们可以不停的调用批处理任务来处理流式的数据，也可以通过调整流处理的...

框架版本 编程语言 Flink官方提供了Java、Scala、Python语言接口用以开发Flink应用程序，但是Flink的源码是使用Java语言进行开发的，且Flink被阿里收购后，未来的主要编程语言都一直会是Java（因为阿里是Java重度使用者! )，且GitHub上关于Flink的项目，大多数是使用Java语言编写的。所以课程中以Java语言为主进行Flink的学习讲解，但会扩展讲解使用其他语言进行Flink开发 https://ci.apache.org/projects/flink/fli

1.Flink是一个分布式流处理框架，它能够在大规模的数据流上进行实时计算和批处理。Flink支持丰富的API，包括DataStream API和DataSet API，可以在多种计算场景中使用，例如实时数据处理、批处理、图形计算和机器学习等。Flink还具有高可用性、低延迟、高吞吐量和高扩展性等特点，是近年来非常流行的数据处理框架之一。

Flink学习的前两章，内容包括flink的概述以及使用Flink实现批处理和流处理的一个简单的wordcount案例。

一、概述 在很多数据处理场景下，要求数据以数据流的形式进行分析和存储，然鹅er…为啥选flink呢？流处理的框架不是很多么 Q: 流处理框架有很多中，比如前面提到的spark，storm等，为什么选flink？ A: 1.flink具有高吞吐、低延迟、高性能的特性（海量数据秒级处理） 2.支持带有事件时间的窗口（Window）操作 3.持有状态计算的Exactly-once（严格/恰好一次）语义，保障状态的一致性 4.支持高度灵活的窗口（Window）操作，支持基于time、count、session，以及

Flink 1.11 引入了 CDC.Flink CDC 是一款基于 Flink 打造一系列数据库的连接器。Flink 是流处理的引擎，其主要消费的数据源是类似于一些点击的日志流、曝光流等数据，但在业务场景中，点击流的日志数据只是一部分，具有更大价值的数据隐藏在用户的业务数据库中。Flink CDC 弥补了 Flink 读取这些数据的缺陷，能够通过流式的方式读取数据库中的增量变更的日志。1.Flink JDBC Connector：Flink 与数据库集成最佳实践。

Flink学习笔记-窗口计算之WindowsFunctionReduceFunction 在确定窗口类型之后，便可以定义窗口数据的计算逻辑，也就是定义Window Function。Flink提供了四种类型Window Function，其中有ReduceFunction、AggregateFunction、FlodFunction和ProcessWindowFunction。其中ReduceFu...

flink学习笔记（一）——数据流编程模型flink官方文档学习笔记，本文主要是flink一些基础概念数据流编程模型（Dataflow Programming Model）抽象等级(Levels of Abstraction)Flink提供不同级别的抽象来开发流/批处理应用程序。 Statefule Stream Processing:是最低级别（底层）的抽象，只提供有状态的流。它通过Process

等效:...,event_time TIMESTAMP(3), -- 相当于时间戳来源WATERMARK FOR event_time AS event_time - INTERVAL '5' SECOND -- 相当于水位线生成。