一个被低估的纯 .NET 打造的高性能数据流水线引擎-CSDN博客

Etl.Net：用 .NET 打造的高性能数据流水线引擎

在处理大规模数据时，你是否曾为内存溢出而头疼？或者在编写复杂的 ETL（提取、转换、加载）逻辑时，被层层嵌套的代码搞得晕头转向？

今天我们要介绍一个隐藏在 GitHub 上的宝藏项目——Etl.Net。它是一个纯 .NET 实现的大规模数据处理引擎，不仅拥有类似 LINQ 的优雅流式 API，还具备甚至超越 SSIS（SQL Server Integration Services）的功能。更令人兴奋的是，它采用响应式架构，即使面对百万行数据，也能保持高性能和低内存占用。

etl.net

让我们深入了解一下这个项目的魅力所在。

🚀 为什么选择 Etl.Net？

1. 极致的性能与低内存占用

Etl.Net 的核心设计理念是 流式处理。数据像水流一样通过管道，经过一个个处理节点，而不是一次性加载到内存中。这意味着你可以 轻松处理 GB 级别的文件 或 数据库表，而无需担心服务器崩溃。

2. 优雅的 Fluent API

如果你熟悉 LINQ，那么上手 Etl.Net 将毫无障碍。它提供了一套链式调用的 DSL（领域特定语言），让数据转换逻辑清晰可读。每个操作都可以命名，方便后续追踪和调试。

// 伪代码示例：读取 CSV -> 过滤 -> 转换 -> 存入数据库
sourceStream
    .Where("过滤无效数据", x => x.IsValid)
    .Select("格式化日期", x => new { x.Id, Date = DateTime.Parse(x.DateStr) })
    .SaveToSqlServer("保存至用户表", options);

3. 强大的模块化生态

Etl.Net 采用 “核心 + 插件” 架构。核心引擎负责调度，而各种连接器以插件形式存在。无论是 Excel、JSON、XML，还是 SQL Server、S3、Azure Blob、FTP，甚至是 PGP 加密，都有对应的模块支持。

🏗️ 架构揭秘：自研的响应式内核

大多数 .NET 开发者听到 “响应式”，首先想到的是 System.Reactive (Rx.NET)。但 Etl.Net 走了一条不同的路：它自研了一套 Push-based Reactive 框架。

为什么不直接用 Rx.NET？

作者 Stéphane Royer 选择自研内核，可能是为了更精细地控制资源释放、追踪机制以及针对 ETL 场景的特殊优化。这套内核包含：

IPushObservable：核心可观察序列，支持订阅推送、完成和异常处理。
59+ 响应式操作符：包括映射、过滤、聚合、分组、连接等底层原语。
自动资源管理：通过 StreamNodeBase 自动追踪节点依赖，确保 IDisposable 资源在流结束时正确释放。

四种流类型，满足各种场景

Etl.Net 定义了四种流接口，让类型系统帮你检查逻辑错误：

IStream：普通无序流，最常用。
ISingleStream：单元素流，适合传递配置或上下文信息。
ISortedStream<T, TKey>：已排序的流，用于高效合并或去重。
IKeyedStream<T, TKey>：按键分组的流，适合聚合操作。

💡 核心亮点功能

1. 独有的“关联机制” (Correlation)

这是 Etl.Net 最惊艳的特性之一。在传统 ETL 中，处理具有外键关系的数据（如：文章、作者、分类）通常非常痛苦。

Etl.Net 引入了 Correlated<T> 概念：

使用 SetForCorrelation 为数据行打上关联标签。
通过 CorrelateToSingle 或 CorrelateToMany 实现跨流关联。

场景举例：
你从一个扁平的 CSV 文件中读取文章数据，其中包含作者姓名和分类名称。你可以将其拆分为三个流（文章、作者、分类），并通过关联键自动维护它们之间的外键关系，最后分别存入三张数据库表。整个过程无需手动管理临时 ID 或复杂的 JOIN 逻辑。

2. 智能的数据库持久化

SQL Server 直连：自动生成高效的 MERGE 语句（存在则更新，不存在则插入），支持指定匹配键。
EF Core 集成：支持批量处理（Chunking），避免 ChangeTracker 内存泄漏。特别值得一提的是，它支持 SaveMode.SqlServerBulk，在需要极致写入速度时启用 Bulk Insert。

3. 强类型的文件解析

对于常见的平面文件（CSV/TXT），FlatFileDefinition<T> 提供了表达式树式的列映射配置：

var definition = FlatFileDefinition.Create(i => new MyRecord 
{
    Email = i.ToColumn("email"),
    Amount = i.ToNumberColumn<decimal?>("amount", "."),
    CreatedAt = i.ToDateColumn("date", "yyyy-MM-dd")
})
.IsColumnSeparated(',');