向量化执行引擎是啥？

向量化执行引擎是一种在现代数据库和分析型系统中用于‌显著提升查询处理性能‌的关键技术。它通过改变数据处理的基本单位（从一行到一批行）和利用现代CPU的硬件特性来实现加速。

以下是它的核心概念和原理：

1. ‌传统执行引擎（行式执行）：‌

   • 数据库系统通常将数据组织成表，表由行（记录）组成。
   • 传统执行引擎（如经典的Volcano迭代器模型）一次处理‌一行‌数据。
   • 一个查询计划由多个操作符（Operator）组成（例如，扫描Scan、过滤Filter、聚合Aggregation、连接Join）。每个操作符实现一个next()方法，每次调用返回下一行处理结果。
   • ‌问题：‌ CPU每处理一行数据，都需要调用一次操作符的next()方法。虽然一行数据很小，但函数调用的开销（压栈、弹栈、跳转）相对于实际的数据操作（如加法、比较）来说非常大，尤其是在处理数百万甚至数十亿行时。这导致了大量的指令开销，CPU大部分时间浪费在处理指令而不是实际运算上。同时，这种逐行处理难以有效利用现代CPU的高级特性（如SIMD）。

2. ‌向量化执行引擎的核心思想：‌

   • ‌批处理：‌ 不再一次处理一行，而是一次处理‌一批行‌（例如1024行、2048行）。这一批行数据称为一个‌向量‌或一个‌批次‌。
   • ‌列式处理（通常配合使用）：‌
     • 与向量化执行高度契合的是‌列式存储‌。数据按列而不是按行存储和读取。
     • 当引擎处理一个批次时，它实际上是加载和处理每个列的连续数据块（即列向量）。例如，一个包含customer_id、price、quantity的表，在处理一个批次时，引擎会分别加载这批记录的price列数据到一个向量（数组）中，quantity列数据到另一个向量中。
   • ‌操作符向量化：‌ 查询计划中的每个操作符（如Filter, Aggregation, Join）都被重新设计，使其能直接在整个向量（数组）上进行操作，而不是在单个标量值上操作。
   • ‌利用CPU特性（SIMD）：‌
     • 现代CPU（如x86的SSE/AVX, ARM的NEON/SVE）提供了‌单指令多数据‌指令集。
     • SIMD允许一条CPU指令同时对多个数据元素（例如4个、8个、16个整数或浮点数）执行相同的操作。
     • 向量化引擎在处理按列组织的向量数据时，可以非常高效地利用这些SIMD指令。例如，对一个包含1024个price值的向量执行加法，可以用几十条SIMD指令完成，而不是1024条单独的标量加法指令。这极大地提高了计算吞吐量。

3. ‌向量化执行引擎的优势：‌

   • ‌大幅减少指令开销：‌ 处理一批行只需要调用一次操作符函数，而不是每行调用一次。这消除了大量的函数调用开销。
   • ‌高效利用CPU缓存：‌ 按列连续处理数据具有极佳的‌空间局部性‌。访问完一个price值后，下一个price值很可能已经在CPU缓存中，大大减少了访问主内存的昂贵延迟。这比行式处理（访问完price后跳去访问quantity，再访问date，导致缓存频繁失效）高效得多。
   • ‌利用SIMD指令：‌ 如前所述，在列向量上进行数值计算和比较非常适合SIMD并行化，可以获得数倍甚至十几倍的指令级并行加速。
   • ‌编译器优化友好：‌ 处理大批量数据的循环结构更容易被编译器优化（如循环展开、自动向量化）。处理单行的代码逻辑复杂，编译器难以优化。
   • ‌更高的吞吐量：‌ 综合以上所有优点，向量化引擎能够以远高于行式引擎的速度处理海量数据，特别适合数据分析（OLAP）工作负载。

4. ‌关键要点总结：‌

   • ‌处理单元：‌ 一批行（向量/批次），而非一行。
   • ‌数据组织：‌ 通常在内存中按列组织（列向量），与列式存储完美配合。
   • ‌操作方式：‌ 操作符在整个向量上执行操作。
   • ‌核心优化：‌ 减少指令调用开销，提高CPU缓存命中率，充分利用CPU SIMD指令进行并行计算。
   • ‌目标：‌ 最大化CPU处理海量数据的吞吐量，适用于分析型查询。

5. ‌应用场景：‌

   • 主要用于‌在线分析处理‌系统。
   • 代表系统：‌ClickHouse‌（向量化是其高性能的核心支柱之一）、‌Apache Doris‌、‌StarRocks‌、‌Snowflake‌、‌Amazon Redshift‌、‌Google BigQuery‌、‌Vectorized Pandas/NumPy‌（Python科学计算库，底层原理类似）。

‌简单比喻：‌

• ‌传统行式引擎：‌ 就像让一个工人（CPU）在一条流水线上，每次拿起一件产品（一行），然后执行所有需要的工序（操作符）。
• ‌向量化引擎：‌ 就像让工人（CPU）一次拿起一箱（一批）相同类型的产品（列数据）。工人可以同时对整箱产品进行同一道工序（如质检/Filter），或者使用一个强力工具（SIMD）同时拧紧一箱产品的多个螺丝（数值计算/Aggregation）。处理完一箱再处理下一箱，效率大大提高。

总之，向量化执行引擎通过批处理、列式操作和硬件加速（SIMD），极大地提升了数据处理效率，是现代高性能分析型数据库不可或缺的核心技术。