python读取pickle,csv,excel文件速度大比拼

最新推荐文章于 2024-12-10 16:36:38 发布

原创

最新推荐文章于 2024-12-10 16:36:38 发布 · 3k 阅读

标签

#数据分析

收录于

本文对比了使用pickle、csv和excel三种格式进行大数据处理的速度，结果显示pickle格式在数据读取速度上远超其他两种格式，适合大数据量的处理任务。

进行数据处理时数据量一大，excel文件就力不从心。
这次对三个文件格式的读取速度做大比拼。

# -*- coding: UTF-8 -*-
import time
import pandas as pd
"""
csv
excel
pkl
速度大比拼

"""
start = time.clock()
df = pd.read_pickle('table.pkl')
elapsed = (time.clock()

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Ackerman2

关注关注

0
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

python各种excel写入方式的速度对比

12-16

经过实验，新建一个excel表格，该表格拥有7个sheet，每个sheet有800条数据，其中最后一个sheet为空。首先使用openpyxl进行写入操作，代码如下： book = openpyxl.Workbook() auths = Auth.objects.filter(owner_id=1) filename = '导出数据' for auth in auths: sheet = book.create_sheet(auth.name, index = 0) sheet.append([ _("书名"), _("作者"), _("译者")

参与评论您还未登录，请先登录后发表或查看评论

Pandas读取文件性能优化 Tricks

先说一下，就简单地写点儿氵文，不是博客，只是我的笔记本/工具书

06-22

829

Pandas读取文件的速度和内存优化tricks

数据高效读取 pickle

王小二的博客

03-15

787

# 将数据写入到文件中 def writeToFile(data, path): with open(path, 'wb') as fw: pickle.dump(data, fw) # 从文件中读取数据 def readFromFile(path): with open(path, 'rb') as fr: data = pickle.load(fr) return data #数据排序 index=readFromFile(path+'index_name.pkl') sort_lis

还是不够快？几个方法帮你加快Python运行速度

xff123456_的博客

08-04

2959

当然是要追求一下速度的啦~

Python读取Excel表格效率对比(openpyxl、xrld、csv)

游戏测试-AJiian的博客

12-18

7226

文章目录前言安装模块正文一、openpyxl 读取 .xlsx二、openpyxl 读取 .xlsx(只读模式)三、xrld 读取 .xlsx四、CSV 读取 .csv结论前言搭了一个配置表检查平台，单个项目使用时执行效率还能接收，可后面部署到公司所有项目使用时执行就变的慢，毕竟数据量起来了，经过排查主要表现在表格的读取，所有才有这篇效率对比。安装模块 CSV标准库自带，不用安装 pip install openpyxl pip install xrld 环境： Python版本：3.6.9 O

Python对象序列化性能比较：pickle、json、msgpack

qq_27144923的博客

04-14

3185

简单对比三种python常用序列化工具的性能：pickle、json、msgpack。

python | 读文件 | csv 、json、pickle、sql等

求知：数据科学家之路

08-02

3375

本次总结来源于pandas的官网，由个人学习总结出来。来说下pandas用于读取的文件格式有那些吧，这些读取方法获取文件的速度超级快，很实用。 1、pd.read_csv() 、df.to_csv() 读csv和存储为csv格式的文件，这是日常工作和学习中很常见的。不过，它需要设置的参数很多，需要注意下。 2、pd.read_json()、df.to_json() 读取、存储json格式的

遇到100万行的 Excel，还没打开，电脑和我都崩溃了，该怎么办？

CDA数据分析师

02-10

9280

CDA数据分析师出品作者：曹鑫编辑：JYD 我真遇到了上百万行的 Excel 年底到了，我想把公司历年的销售明细和指标等业务数据放在一起透视做分析，觉得这样很方便，但是无奈一张表就50多万行，好几年的数据加在一起有两三百万行，受 excel行数限制，我只能将数据按年分开，一年一张表，每张表里的表头项目都是一样的。业务发展越来越大，数据的规模会越来越大，在初期的时候，还觉得Excel 够用了，但是当 Excel 规模的数据量不断增加，我们开始发现打开 Excel 越来越慢，操作一下 Excel .

Python读取不同格式的文件：txt、csv、excel、json、xml、yaml

LLX_002的博客

03-11

879

可扩展标记语言，标准通用标记语言的子集，简称XML。一种用于标记电子文件使其具有结构性的标记语言。loads():将json字符串转化为python对象。dumps():将python对象转化为json字符串。缩进的空格数目不重要，只要想同层级的元素左侧对齐即可。是一个可读性高，用来表达数据序列化的格式。缩进时不允许使用Tab键，只允许使用空格。使用缩进表示层级关系。

python1A 之文件存取读入

HaileeRPIJNU的博客

04-17

776

文件读取

pandas读写csv excel pinkle 的性能比较

weixin_38296425的博客

05-08

2678

在数据分析工作中，csv、excel、pinkle这三种格式的文件经常会被用到，但是pandas读取这3种格式的数据究竟性能如何呢，我准备了13列 17519行的excel数据测试了一下，结果是这样： csv xls pickle 字节数MB 1.26 1.09 1.13 读数据耗费时间：秒 0.044 4.992 0.009 写数据耗费时间：秒 0.336 15.982 0.01 从这个测试结果可以得到以下结论.

【python学习】pickle文件和csv文件读取速度、内存大小对比

s1k9y9的博客

12-09

6269

本文主要从读取数据速度、占内存大小等方面对pickle文件(.pkl)和csv文件(.csv)进行对比。

python读取excel丨换一种存储格式, 读取速度提升几倍

python技巧分享

01-19

2472

您好, 本博客将持续更新python数据分析技巧, 一次解决一个问题，欢迎关注订阅! 本次介绍提升excel文件读取速度问题工作中我们会有一些大文件(excel, csv等), 作为基础数据经常会读取, 如何减少读取时间, 提升效率呢? 今天用了一个88万行13列的表格, 按不同的方式读取比较读取用时如下: excel文件: 文大小 61.9M, 读取用时 200秒 csv文件: 文件大小 194M, 读取用时 5秒 hdf文件: 文件大小 80M, 读取用时 2秒相同的数据, 用hdf方式.

Python Dataframe之excel、csv、pickle、feather、parquet、jay、hdf5 文件存储格式==》存读效率对比

积一时之步，臻千里之遥程

11-12

9599

今天看到一篇文章参考：对比不同主流存储格式（csv, feather, jay, h5, parquet, pickle）的读取效率然后我自己也试了一下，感觉发现了“新大陆”，T_T~到现在才知道还有这些存储形式，比这excel、csv快多了。上次实习的时候，因为不知道可以存为其他格式，把多个几十个G的dataframe处理完后存为csv，过后又要读出来心态瞬间崩了~ 搞数据都搞了好久，浪费时间~拐求文章目录desk 读取CSV文件一、excel 存储格式（xlsx）二、csv 存储格式三、pic

chatgpt赋能python：Python的数据存取方式

weixin_45566993的博客

06-24

145

本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。

Python文件操作(json、csv、tsv、excel、pickle文件序列化)