Python : Arrow、Pyarrow库、以及与Julia互读

最新推荐文章于 2026-05-02 15:18:24 发布

原创

最新推荐文章于 2026-05-02 15:18:24 发布 · 6.5k 阅读

收录于

本文介绍如何使用PyArrow将CSV文件转换为Arrow文件格式，并演示了如何将这些文件在Python与Julia之间进行互读。具体包括从CSV创建Arrow文件、读取并转换Arrow文件为DataFrame以及解决Python与Julia间Arrow文件读取不兼容的问题。

test.csv 样例：
在这里插入图片描述
一、从csv =>table=>生成arrow文件

import pyarrow as pa
from pyarrow import csv
csv_path = 'C:\\Users\\songroom\\Desktop\\test.csv'
table = csv.read_csv(csv_path)
#df = table.to_pandas()
#table = pa.Table.from_pandas(df)
path = 'C:\\Users\\songroom\\Desktop\\py.arrow'
writer = pa.RecordBatchFileWriter(path, table.schema)