【numpy】np.genfromtxt非常的慢，并且需要读取文件的10倍内存

最新推荐文章于 2024-04-28 00:25:19 发布

原创

最新推荐文章于 2024-04-28 00:25:19 发布 · 688 阅读

收录于

本文记录了一次使用numpy的np.genfromtxt函数处理大文件时遇到的内存溢出问题，并提供了一个替换方案，使用np.loadtxt替代np.genfromtxt进行CSV文件的读取。

issue 连接

https://github.com/numpy/numpy/issues/3477

今天使用np.genfromtxt加载一个5G不到的csv文件，把我30G内存+10Gswap都干满了还是报了out of memory.

一开始以为是open方法慢呢，原来是np.genfromtxt

一定要注意！！！！

np.genfromtxt非常的慢，并且需要读取文件的10倍内存

有问题的代码实例

with open(bin_file, 'r') as f:
	#读取5G的文件居然需要10倍大小的内存!!!!!
    csv = np.genfromtxt(f, delimiter=

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

安安爸Chris

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

NumPy基础使用genfromtxt导入数据

数智笔记

02-21

1470

genfromtxt的唯一必需参数是数据的来源。它可以是一个字符串、一个字符串列表、一个生成器或一个具有read方法的打开的文件对象，例如文件或io.StringIO对象。如果提供了单个字符串，则假定它是一个本地或远程文件的名称。如果提供了一个字符串列表或返回字符串的生成器，每个字符串都被视为文件中的一行。当传递远程文件的URL时，文件会自动下载到当前目录并打开。可识别的文件类型是文本文件和存档文件。目前，该函数识别gzip和bz2bzip2）存档。存档的类型是根据文件的扩展名确定的：如果文件名以。

参与评论您还未登录，请先登录后发表或查看评论

Python读取txt文件方法的速度对比和改进方案

cshy2013的博客

09-16

1万+

使用Python做数据处理时，常用的读取/加载文件txt方法有以下几种： numpy.loadtxt()方法 pandas.read_csv()方法 open文件方法 Python读取txt文件方法的速度对比和改进方案。

python读取大文件内存不够_大型CSV文件（numpy）上的Python内存不足

weixin_39761195的博客

11-24

1287

正如其他人所提到的，对于一个很大的文件，最好不进行迭代。但是，出于各种原因，您通常确实希望将整个内容存储在内存中。genfromtxt效率要低得多loadtxt（尽管它可以处理丢失的数据，而效率更高，但loadtxt“精益求精”，这就是两个函数共存的原因）。如果您的数据非常规则（例如，所有相同类型的简单分隔行），也可以使用进行改进numpy.fromiter。如果您有足够的内存，请考虑使用np.l...

python 读取大文本文件并存入numpy时过于费时的问题及猜测

WATER_BRO的博客

06-01

1049

因需要读取大文本文件（约有1,300,000行，40兆），并简单处理存入numpy数组中，运行过程中发现随读取数据的增加，耗费时间显著增加，稍作修改后运行速度显著提升，不解，记之，希望大家帮忙解惑。初步猜测（未验证）：在原始代码中对numpy数组进行了vstack，而这个过程可能对已有数组进行了类似遍历的操作，才会出现随数组中数据增加产生时间上的显著增加。 1.原始代码此代码在前期运行较快，在运行接近4,500行左右时，速度开始逐步变慢，最后花了很长时间也没能运行出结果，不知是何种原因。 de

【Numpy学习】np.genfromtxt函数用法详解

sxl的博客

03-21

4316

Python 并没有提供数组功能，虽然列表 (list) 可以完成基本的数组功能，但它并不是真正的数组，而且在数据量较大时，使用列表的速度就会慢的让人难受。为此，Numpy 提供了真正的数组功能，以及对数据快速处理的函数。Numpy 还是很多更高级的扩展库的依赖库，例如： Scipy，Matplotlib，Pandas等。此外，值得一提的是：**Numpy 内置函数处理数据的速度是 C 语言级别的，因此编写程序时，应尽量使用内置函数，避免出现效率瓶颈的现象。**一切计算源于数据，那么我们就来看一看Num

python中np.genfromtxt一个简单例子

hjxu2016的博客

07-13

1万+

比如我现在有txt文件，如下所示，前面是路径，后面的对应的标签，图像大数据处理的人都知道，需要有一个txt文件，然后根据这个txt文件来读取图像或者制作数据比如我的txt文件列表是 train1/9381_106_1.tif 1 train1/9381_106_10.tif 1 train1/9381_106_100.tif 1 train1/9381_106_101.tif 1 t

如何将.csv文件数据直接读取为numpy array型数据（np.genfromtxt()函数）

comli_cn的博客

01-03

1万+

1. 函数简介（1）完整形式 numpy.genfromtxt(fname, dtype=<type 'float'>, comments='#', delimiter=None, skip_header=0, skip_footer=0, converters=None, missing_values=None, filling_values=None, usecols=None, names=None, excludelist=None, deletechars=None, replace

Numpy函数笔记——np.genfromtxt（）

weixin_54096215的博客

10-08

1563

1.两个主循环 genfromtxt运行两个主循环。第一个循环以字符串序列转换文件的每一行。第二个循环将每个字符串转换为适当的数据类型。这种机制比单循环慢，但具有更大的灵活性。特别是，当其他更快，更简单的功能（如loadtxt不能）无法处理时，genfromtxt能够考虑丢失的数据。可识别文件:该功能可识别gzip和bz2（bzip2）存档 2.参数 numpy.genfromtxt(fname,dtype=<type 'float'>,comments='#',...

【NumPy】深入解析numpy中的genfromtxt 方法

2402_83361138的博客

04-28

1492

genfromtxt是 NumPy 提供的一个用于从文本文件中加载数据的函数。它支持多种数据格式，包括固定宽度格式、分隔符定义格式（如 CSV 或 TSV）等。genfromtxt# 加载数据，将缺失值用 NaN 替换，忽略以 '#' 开头的注释行NumPy 的genfromtxt方法为从文本文件加载数据提供了一种灵活且强大的工具。本文介绍了genfromtxt方法的基本概念、使用方法以及它在解决实际问题中的应用。希望本文能够帮助您更有效地加载和处理文本文件中的数据。

matlab 和python读取csv文件速度_与Matlab相比，Numpy加载csv太慢了

weixin_39939601的博客

12-03

253

I posted this question because I was wondering whether I did something terribly wrong to get this result.I have a medium-size csv file and I tried to use numpy to load it. For illustration, I made the...

【python】用 np.loadtxt() 读取txt文件

人间不值得

04-10

5万+

读取txt文件我们通常使用 numpy 中的 loadtxt（）函数 numpy.loadtxt(fname, dtype=, comments='#', delimiter=None, converters=None, skiprows=0, usecols=None, unpack=False, ndmin=0）注：loadtxt的功能是读入数据文件，这里的数据文件要求每一行数据的格式相...

python小坑1（np.loadtxt）

wxkhturfun的博客

09-02

2172

data.txt中不能有多余的空行 import numpy as np data=np.loadtxt("data.txt",delimiter=",",dtype=np.float32) print(data)

关于python中numpy.loadtxt()的详细用法

热门推荐

ACID_lv_ing的博客

02-13

12万+

np.loadtxt（）

如果python程序写硬盘太慢，可以考虑输出为二进制。且save 和load 都用pickle比较方便

xyqzki的专栏

10-31

3351

import pickle 用字典做了文本数据的统计，但是还没有统计完，需要第二天继续，所以用到了数据持久化部分。简单记录字典的保存和导出。 import pickle # create dict list = {"01":02,"02":03,"03":04} # save dict f1 = open("E:\\test.txt","wb") pickle.dump(li

Numpy中使用genfromtxt获取单一列数据时设置usecols参数的方法

I‘m Frank Lee

04-17

2065

genfromtxt的功能是读入数据文件，这里的数据文件要求每一行数据的格式相同。这个函数有几个常用的参数，这里给出了参数的意义。 fname：读取文件的文件名。例如C:/Dataset/iris.txt。 delimiter：数据之间的分隔符。如使用逗号","。 dtype：数据类型。如float，str等。 usecols：选取数据的列。这里主要说一下usecols的用法。如果iris.tx...

numpy.genfromtxt读取本地文件

allan2222的博客

08-12

8511

bd = np.genfromtxt('F:/beijing/final.csv', encoding='utf-8', dtype='U75', delimiter=',', skip_header=1) print(bd[:, 0:2]) dtype转换数据类型，关键字设置为'U75'，不设置dtype，输出数据类型为nan delimiter=','表示数据由逗号分隔 skip_he...

【python的读取csv文件数据】已解决

黎国溥

09-24

4662

方法一Numpy.genfromtxt 简介数据文件的一种非常常见的文件格式是逗号分隔值（CSV）或相关格式，例如TSV（制表符分隔值）。要将数据从此类文件读取到Numpy数组中，我们可以使用numpy.genfromtxt函数。例子1： >>> import numpy as np >>> data = np.genfromtxt(...

Python中使用警告：UserWarning: loadtxt: Empty input file: “/home/***/**/*.txt“的解决方案

ChaoMartin的博客

07-03

3886

问题描述： UserWarning: loadtxt: Empty input file: "/home/zh/PytorchProjects/00-DataSet/COCO2014/labels/train2014/COCO_train2014_000000195266.txt 这只是一个使用警告，并不影响使用。警告loadtxt()函数可能读入空文件。解决方案： import warnings with warnings.catch_warnings(): warnings....

python读取大智慧数据_大智慧数据读取接口大智慧股票本地数据读取接口

weixin_39883079的博客

11-25

1980

大智慧数据读取接口大智慧股票本地数据读取接口时间：2020-7-28 1:42:29 点击：核心提示：所属分类：C资源描述：组件方法和属性说明：（1）方法GetData语法：public string[,] GetData(string dataType, string code,int iRecor...所属分类：C资源描述：组件方法和属性说明：（1）方法GetData语法：public st...

numpy.genfromtxt的用法

小丶熊的博客

03-11

3957

Help on function genfromtxt in module numpy.lib.npyio:genfromtxt(fname, dtype=<class 'float'>, comments='#', delimiter=None, skip_header=0, skip_footer=0, converters=None, missing_values=None, f...