【Flink系列】1.概述

Flink作为一个软件栈，是一个分层系统。栈的不同层相互叠加，并提高它们接受的程序表示的抽象级别： 运行时（runtime）层以JobGraph的形式接收程序。JobGraph是一个通用的并行数据流，其中包含消费数据流和生成数据流的任务。 DataStream API和DataSet API都可以通过各自的编译过程生成JobGraphs。DataSet API使用优化器（opti...

一、设计思想及介绍 基本思想：“一切数据都是流，批是流的特例” 1.Micro Batching 模式 在Micro-Batching模式的架构实现上就有一个自然流数据流入系统进行攒批的过程，这在一定程度上就增加了延时。具体如下示意图： 2.Native Streaming 模式 Native Streaming 计算模式每条数据的到来都进行计算，这种计算模式显得更自然，并且延...

#Flink资料汇总 入门资料，首推官网，Flink版本从1.5发展到1.9，各项功能逐渐完善 官网地址: https://ci.apache.org/projects/flink/flink-docs-release-1.9/ #比较好的博客内容 Flink概览，一文让你看懂Flink https://blog.csdn.net/oTengYue/article/details/102689538 金竹的博客，阿里巴巴技术专家，Blink的开发者 https://zhuanlan.51cto.com/co

OceanBase Flink DirectLoad连接器利用旁路导入技术，绕过SQL层直接写入存储，实现超高吞吐批量导入（适用于数据迁移、离线ETL），较JDBC方式性能提升数倍。

摘要： 本文介绍了Apache Flink的Table API，这是一个统一的关系型API，支持批处理和流处理，是SQL的超集。文章重点讲解了Table API的基础操作（如From、Select、Where、Distinct等）、表连接操作（Union、Join等）、聚合操作（GroupBy、OverWindow等）以及窗口操作（滚动窗口、滑动窗口、会话窗口）。通过Java和Scala代码示例，演示了如何使用Table API进行数据处理，包括时态Join和窗口聚合等高级功能。文中还强调了在处理无界数据时

本文介绍了Flink中的窗口机制，核心要点包括： 窗口概念：窗口是对无界数据流进行切分的机制，本质上是动态创建的"数据桶"，用于实现实时统计。 窗口分类： 按驱动类型：时间窗口（时间触发）和计数窗口（数据量触发） 按分配规则： 滚动窗口：固定大小、不重叠 滑动窗口：可重叠，通过步长控制触发频率 会话窗口：基于数据间隔动态划分 全局窗口：无界窗口，需自定义触发器

Flink窗口API学习摘要 本文全面讲解了Flink窗口API的核心概念和使用方法，主要包括以下内容： 窗口基本结构 KeyedStream和Non-KeyedStream的区别：KeyedStream需先keyBy再window，Non-KeyedStream直接windowAll 窗口操作链包含WindowAssigner、Trigger、Evictor、allowedLateness等组件 窗口触发器(Trigger) 控制窗口何时触发计算 可自定义触发器实现onElement/onProcessi

FlinkSQL客户端是一个简化Flink数据分析流程的工具，它允许熟悉SQL但不熟悉Java/Scala的用户直接通过SQL语句与Flink集群交互。文章详细介绍了FlinkSQL客户端的基本使用、三种结果可视化模式（表格模式、变更日志模式、Tableau模式）、如何基于Standalone和Yarn集群提交SQL任务，以及各种TableConnector（如Filesystem、Kafka、UpsertKafka、JDBC、HBase）的配置与应用。 主要内容包括： FlinkSQL客户端：支持交互式S

Flink中的Watermark机制用于处理事件时间语义下的乱序数据问题。本文详细介绍了Flink中Watermark的使用方式，包括有序流和乱序流中的设置方法，以及自定义Watermark生成策略的实现。文章还深入讲解了Flink窗口计算的分类和使用方法，包括滚动窗口、滑动窗口、会话窗口和全局窗口，并提供了Java和Scala的代码示例。 主要知识点： Watermark生成方法：通过assignTimestampsAndWatermarks方法设置，支持有序流(forMonotonousTimestam

Flink状态管理与容错机制详解 摘要： 本文系统介绍了Apache Flink框架中的状态管理与容错机制。首先阐述了有状态算子与无状态算子的区别，重点讲解了KeyedState（键控状态）的五种类型（ValueState、ListState、ReducingState、AggregatingState、MapState）及其应用场景，通过基站通话日志统计案例演示了具体实现。其次分析了OperatorState（算子状态）的使用方法及重分布策略。针对状态持久化需求，深入剖析了Checkpoint机制原理，包

FlinkSQL是Apache Flink中基于标准ANSI SQL语法的强大查询工具，支持DDL、DML和查询操作，并可通过窗口函数、Join连接和自定义函数实现复杂的数据处理。本文详细介绍了FlinkSQL的核心功能，包括三种窗口类型（滚动、滑动、累积）的使用，四种Join操作（常规、间隔、时态、维度）的应用场景，以及Top-N查询的实现。此外，还深入讲解了四种自定义函数（标量、表、聚合、表聚合）的开发方法，并通过基站日志分析等案例展示了实际应用。FlinkSQL通过Apache Calcite解析SQ

OceanBase官方提供基于JDBC的Flink连接器，支持MySQL/Oracle兼容模式，通过Druid连接池和批量写入优化，适用于实时数据同步与流式计算结果写入。

摘要：Apache Flink的时间和窗口机制是流处理的核心概念。时间语义分为事件时间（EventTime）、摄入时间（IngestionTime）和处理时间（ProcessingTime），其中EventTime通过事件自带时间戳解决乱序问题。Watermark是衡量事件时间进展的机制，其计算公式为最大事件时间减去延迟时间，可确保在乱序流中正确处理数据。在多并行度场景下，Flink选择最小watermark作为全局基准，并通过1.15版本引入的watermark对齐机制平衡不同数据源的读取速度，防止状态存

本文介绍了Apache Flink中状态管理和容错机制的关键技术。主要内容包括： 状态后端(StateBackend)的作用和分类：详细讲解了HashMapStateBackend和EmbeddedRocksDBStateBackend两种状态后端的特点及适用场景，以及MemoryStateBackend、FsStateBackend和RocksDBStateBackend三种具体实现方式。 检查点(Checkpoint)和保存点(Savepoint)机制：阐述了检查点的分布式保存流程，以及保存点作为检查点

本文介绍了Apache Flink的Table API和SQL编程模式，重点讲解了Table API与DataStream API的集成方式、动态表和时间属性等核心概念。主要内容包括： Table API与DataStream API转换： 提供了fromDataStream/toDataStream方法实现双向转换 详细介绍了三种转换方式：仅插入流、更新日志流和变更日志流 动态表与连续查询： 动态表随时间变化，支持连续查询处理流数据 解释了动态表的更新追加机制和查询限制 时间属性： 处理时间（PROCTI

Flink通过Connector + Format分层设计实现了关注点分离，连接器管理 I/O，Format 管理编解码；本文将介绍Flink Connector Formats的设计背景、核心原理以及Formats 配置使用。

数据科学与大数据技术专业的实习规划应遵循"基础期不冒进、关联期找感觉、核心期冲转正、补救期抓补录"的时序逻辑。大三暑期实习的转正价值远高于其他任何窗口，是整条路径的"胜负手"。在能力佐证层面，除 GPA、项目、实习外，行业认证（如 CDA）可作为学历信号的补充，尤其在金融、电信、咨询等对标准化能力要求高的行业具备实际招聘价值。但需明确：证书是"放大器"而非"替代品"，其实习经历与工程能力仍是核心竞争力。

RabbitMQ持久化, 发送方确认机制

文章摘要： Kafka核心架构与分区路由机制解析。Kafka集群由多个Broker节点组成，Topic作为逻辑消息主题被划分为多个Partition实现并行处理。分区副本(Replica)确保数据高可用，消费者组实现消息的独占或广播消费。文章详细讲解了Kafka的三种分区路由方式：1)直接指定Partition；2)自定义Partitioner；3)默认的Key-based Hash策略（hash(key)%partitions）。重点分析了Key对消息路由的影响，相同Key的消息会进入同一分区保证顺序性，