Parquet 批量读取性能分析报告（python）

Parquet 批量读取性能分析报告（python）

1. 测试背景

1.1 测试目标

评估多种方案批量读取 Parquet 文件并合并为 pandas DataFrame 的性能差异，找到最优读取方案。

1.2 数据规格

1.3 测试环境

1.4 测试方法

• 每种方案运行 3 次，取中位数
• 使用 time.perf_counter() 高精度计时
• 每次运行前执行 gc.collect() 减少 GC 干扰

2. 版本对比：pandas 2.3.2 vs 3.0.3

2.1 环境配置

2.2 性能对比结果

2.3 关键发现

pandas 3.0.3 + pyarrow 24 的 to_pandas() 转换有巨大优化：

• 传统全量转换从 4.25s 降至 0.73s，提升 5.8 倍
• 字符串列转换效率大幅提升，可能是优化了 Arrow string -> Python string 的转换路径
• pyarrow 24 本身也有性能改进（polars 读取也同步提升）

3. 方案分类与适用场景

3.1 方案分类

3.2 场景推荐

4. ArrowDtype 惰性物化机制

4.1 原理

to_pandas(types_mapper=pd.ArrowDtype)
    ↓
为每列创建 ArrowExtensionArray 包装
    ↓
ArrowExtensionArray._pa_array = 原始 Arrow ChunkedArray 的引用
    ↓
零拷贝！DataFrame 直接引用 Arrow buffer，无数据复制
    ↓
调用 .to_numpy() 时才触发真正的 Arrow → numpy 转换

4.2 实测验证

Buffer 地址验证：

• DataFrame 列 buffer: 0x1a4b34d0080
• Table 列 buffer: 0x1a4b34d0080
• 地址相同 = 零拷贝确认

4.3 注意事项

1. 转换开销未消失，只是推迟 — 如果最终需要全部列转 numpy，总成本不变
2. 真正加速来自少转换 — 列裁剪 + ArrowDtype 组合
3. pandas 操作可直接在 Arrow 后端运行 — groupby/filter/sort 无需转 numpy

5. 最佳实践

5.1 推荐代码（pandas 3.0.3+）

import pyarrow.dataset as ds
import pandas as pd

DATA_DIR = "path/to/parquet/files"

# 方案 A：全量读取（推荐，0.73s）
dataset = ds.dataset(DATA_DIR, format="parquet")
df = dataset.to_table().to_pandas()

# 方案 B：只读数值列（0.37s）
NUMERIC_COLS = ["TradingDay", "Open", "Close", "Settle", 
                "PrevClose", "PrevSettle", "Multiple", "TickPrice"]
df = dataset.to_table(columns=NUMERIC_COLS).to_pandas()

# 方案 C：惰性包装（0.37s，按需转换）
df = dataset.to_table().to_pandas(types_mapper=pd.ArrowDtype)

5.2 类型兼容性注意

5.3 版本升级建议

6. 性能瓶颈分析

6.1 瓶颈分布（pandas 2.3.2）

全量 to_pandas() = 4.25s
├── 数值列转换: ~0.3s (零拷贝，快)
└── 字符串列转换: ~3.9s (创建 8800 万 Python 对象，慢)
    └── 占比: 92%

6.2 pandas 3.0.3 优化点

• 字符串转换从 3.9s 降至 ~0.4s
• 可能采用了批量字符串分配或更高效的内存布局
• 具体实现细节需查阅 pandas 3.0 release notes

7. 结论

7.1 最终推荐

7.2 关键数字

结论：升级到 pandas 3.0.3 + pyarrow 24 是最佳方案，全量读取 2200 万行数据仅需 0.73 秒。

附录：完整测试代码

测试脚本位于：

• bench_version_compare.py - 版本对比专用
• bench_read_parquet_v4.py - 全方案对比
• test_lazy_materialization.py - 惰性物化验证

数据目录：D:\quantinv_code\...\data\opt_daily_quote