【pandas】在Pandas中降低dataframe使用的内存

本文分享了python pandas内存优化的原理

目录 将内存使用量减少高达90％的方法 使用棒球比赛日志 数据帧的内部表示 了解子类型 使用子类型优化数值列 将Numeric与String存储进行比较 使用分类优化对象类型 读取数据时选择类型 分析棒球比赛 总结和后续步骤   将内存使用量减少高达90％的方法 当使用具有小数据（小于100兆字节）的pandas时，性能很少成为问题。当我们迁移到更大的数据（100兆字节到...

aa

pandas读取文件占用内存多主要是没有准确识别每一列的数据类型，采用了object进行存储，所有的优化办法都是围绕数据类型转换进行的：一是在读取时指定最佳的数据类型，二是在读取后进行数据转换；更进一步的的优化操作有：（1）将数值向下转换为更高效的类型；（2）将字符串列转换为categorical类型。

通过指定列类型为category减少Pandas DataFrame内存占用的方法。实测节约83%的内存占用

生成的文件将不会有相同的大小减小，但仍然会更小。当使用一个新的数据集时，我通常会创建一个第一个笔记本来加载所有相关的文件，转换数据类型，将DataFrame保存为pickle文件，然后只在主要的特征工程笔记本中加载它。，应该被转换为分类列。这种特殊的数据类型基本上将所有唯一值保存在字典中，然后在每一列中放置内存高效的整数，并在使用DataFrame时显示相应的文本值。在某些情况下，先将列连接起来，然后对结果列应用标签编码是有意义的，以帮助树模型找到结构，或者避免将属于不同父类别的类别标记为相同的数字。

来源：机器之心pandas 是一个 Python 软件库，可用于数据操作和分析。数据科学博客 Dataquest.io 发布了一篇关于如何优化 pandas 内存占用的教程：仅需进行简单的...

string 转pandas dataframe

pandas减少dataframe占用内存的若干方法

点击上方“数据不吹牛”，选择“置顶星标”公众号干货福利，第一时间送达选自DATAQUEST作者：Josh Devlin机器之心编译参与：Pandapandas 是一个 Python 软件...

当dataframe数据量较大时，使用for循环会耗费较多的时间。当然，应该也有对for循环进行优化处理的方法，但效果可能只能提高几百倍的速度。（可能可以，自己还没有动手实践过，不太确定。（本人持悲观态度））方法4：使用itrows方法。（函数名没有拼对，大致长这个样子）（没有尝试过，不过看着可行）如：使用vectorize向量化函数对DataFrame中值进行复杂运算。待尝试：听说过hadoop大数据处理框架，但还没有学过，希望有时间尝试下，再补上……方法2：使用apply()函数+lambda函数。

各类字段优化之后，内存占用从刚开始的26.7+ MB减到6.7+ MB，优化的效果非常明显。仅仅是数据类型的简单调整，就带来了如此之大的内存效率提升，这也给我们带来启示，在数据分析的过程中，构造DataFrame时，也可以根据数值的范围，特点等，来赋予它合适的类型，不要一味简单的使用字符串，或者默认的整数（int32），默认的浮点（float64）等类型。

前不久，“腾讯2022校招-应届毕业生年薪 40 万”刷屏了… 尽管互联网大厂的薪资高不算什么新鲜事儿，但这个热搜仍然让我大受震撼。 腾讯校招官网显示，2022届腾讯校招开放技术、产品、设计等岗位共计 78 个，且以IT岗为主。 另据各大招聘平台统计数据，腾讯2022届研发岗应届生基础月薪在1.7万-2.3万之间，签字费（针对优秀人才的额外奖励）3万，股票依据不同等级从6万到20万不等，就算是最低等级的“白菜包”，年薪总包也远超40万元。 职业发展 作为一个代码打工仔，对于绝大部分程序员来说，想要成为牛

这篇文章原文出自kaggle，文中给出了reduce_mem_usage方法可以用来自动缩减dataframe占用空间 这篇notebook展示了通过使用更合理的数据类型来减少dataframe的内存使用量 方法如下： 迭代每一个column 检查column是否为数字型 检查column是否可以用integer表示 找出column下的最大值和最小值 选择适用于数据范围的最合适的数据类型 ...

前言 pandas是一个Python软件库，可用于数据分析和操作。本文记录实现一些降低内存占用的简单方法。 当使用pandas操作小规模数据（低于100MB）时，性能一般不是问题。而当面对更大规模的数据（100MB到GB）时，性能问题会导致运行时间变得更长，甚至有可能因为内存问题导致运行失败。比如前段时间我用pandas读取数千张表，使用python自带读取方法明显比pandas快很多。 尽...

optimized_gl = gl.copy()optimized_gl[converted_int.columns] = converted_int optimized_gl[converted_float.columns] = converted_floatprint(mem_usage(gl)) print(mem_usage(optimized_gl)) 861.57 MB 804.69 MB from sys import getsizeofs1 = ‘working out’ s2 = ‘mem

????今天看案例的时候看见了一个关于pandas数据的内存压缩功能，特地来记录一下。 ????先说明一下情况，pandas处理几百兆的dataframe是没有问题的，但是我们在处理几个G甚至更大的数据时，就会特别占用内存，对内存小的用户特别不好，所以对数据进行压缩是很有必要的。 目录1. pandas查看数据占用大小2. 对数据进行压缩3. 参考资料 1. pandas查看数据占用大小 给大家看一下这么查看自己的内存大小（user_log是dataframe的名字） #方法1 就是使用查看datafram

本文最后修改于2018-01-21，文章有问题或者转载请及时联系本人，如果对你有帮助，别忘了点下关注~ 0 背景 在我们使用pandas进行数据处理的时候，有时候发现文件在本地明明不大，但是用pandas以DataFrame形式加载内存中的时候会占用非常高的内存，本文即解决这样的问题。 1 原因 如果是计算机相关专业的同学，你应该知道int8，int16，int64的区别。如果你忘记了，那...

## 查看df占内存的大小 import timeit import sys st = time.time() print('all_data占据内存约: {:.2f} GB'.format(df.memory_usage().sum()/ (1024**3))) st1=time.time() print('costtime: {:.2f} s'.format(st1-st)) print('all_data占据内存约: {:.2f} GB'.format(sys.getsizeof(df)/(10.