spark读取本地文件

原创

已于 2023-03-01 00:24:17 修改 · 1.2k 阅读

标签

#python #pandas #spark

收录于

于 2023-03-01 00:18:52 首次发布

1、将本地EXCEL文件读取到HIVE表中

1.1 如果没有装读取EXCEL的包，如下安装：

pip install openpyxl

如果已经安装好，如下读取和处理文件：

import pandas as pd
#1-读表
file1=pd.read_excel(open('2023年数据表.xlsx', 'rb'), sheet_name='汇总表', header=1, dtype={"ID号":str})
#2-对一些需要处理的列进行特殊处理
file1['ID号']=file1['ID号'].map(lambda x:str(x).split(".")[0])

file1[:20]
#3-处理后转存为其他文件
file1.drop_duplicates().fillna("").to_csv("tmp.csv", index=False, encoding="utf-8", sep="|")

pandas读取EXCEL的其他方法参考：