pandas常用函数之NaN

最新推荐文章于 2025-02-28 00:33:14 发布
原创 最新推荐文章于 2025-02-28 00:33:14 发布 · 2.3k 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#python
本文介绍了如何使用pandas处理DataFrame中的缺失数据NaN，包括fillna方法、isnull和notnull函数以及dropna的用法。同时，对比了pandas和Numpy在数值计算中对NaN的不同处理策略：pandas会忽略NaN，而Numpy则将结果设为NaN。此外，还讨论了在pandas和Numpy中如何给数据赋值为NaN。

文章目录

前言

对pandas常用的函数进行了一下汇总，供自己以后回顾使用。

一、缺失数据（NaN）

df.fillna()#对DataFrame中的nan进行填充，一般会使用df.mean()或df.median()进行填充，而不是具体数字
pd.isnull(df)#DataFrame中是否有nan
pd.notnull(df)#DataFrame中是否没有nan
df.dropna(axis=0或1, how="all"或"any",inplace="False"或"True")#以什么样的策略对DataFrame中的nan进行丢弃

二、pandas和Numpy在数值中对于NaN的处理策略

pandas在数值中处理nan会将nan去掉，计算均值或者求和会忽略nan
Numpy在数值中处理nan时，不管是什么数据，结果都是nan

三、给数据赋值nan

pandas中给数据赋值nan可以直接进行，不用考虑数据类型
Numpy中给数据复制nan需要先将数据转为float
pandas使用replace函数将所有的无穷大值np.inf替换为缺失值np.nan、使用pandas的fillna函数用经验固定值填充缺失值np.nan
data+scenario+science+insight
03-03 4001
pandas使用replace函数将所有的无穷大值np.inf替换为缺失值np.nan(replace all infinities with a missing value)、使用pandas的fillna函数用经验固定值填充缺失值np.nan
Pandas 中缺失值NaN的判断, 删除 及 替换
酒酿小圆子呀～
01-04 2万+
文章目录1. 检查缺失值NaN2. Pandas中NaN的类型3. NaN的删除 dropna()3.1 删除所有值均缺失的行/列3.2 删除至少包含一个缺失值的行/列3.3 根据不缺少值的元素数量删除行/列3.4 删除特定行/列中缺少值的列/行4. 缺失值NaN的替换(填充) fillna()4.1 用通用值统一替换4.2 为每列替换不同的值4.3 用每列的平均值，中位数，众数等替换4.4 替换为上一个或下一个值 当使用pandas读取csv文件时，如果元素为空，则将其视为缺失值NaN（Not a Num
Pandas 模块-操纵数据(9)-分清楚 None 和 NaN 值，处理好 NaN 值
一分耕耘一分收获
12-10 6624
Python 中特殊的常量 None，None 和 False 不同，它不表示 0，也不表示空字符串，而表示没有值，也就是空值。numpy 模块中有三个常量 np.NAN 、np.nan 、np.NaN，这三个常量其实是一个东西。后面我们就只说 np.NaN 即可。 .isnull() 和.notnull() ，.isna() 和 .notna() 使用方法，都不区分 NaN 和 None值，这到底是为什么呢？
Python中的Pandas详解-6-处理Nan的思路
Saki_Python的博客
11-23 1301
正如之前提到的，在能够使用大型数据集训练学习算法之前，我们通常需要先清理数据。也就是说，我们需要通过某个方法检测并更正数据中的错误。虽然任何给定数据集可能会出现各种糟糕的数据，例如离群值或不正确的值，但是我们几乎始终会遇到的糟糕数据类型是缺少值。正如之前看到的，Pandas 会为缺少的值分配NaN值。在这，我们将学习如何检测和处理NaN值。首先，我们将创建一个具有一些NaN值的 DataFrame。可以清晰地看出，我们创建的 DataFrame 具有 3 个NaN值：商店 1 中有一个，商店 3 中有两个。
python之pandas中NaN与None的比较与处理
hutaotaotao的博客
05-08 5988
python之pandas中NaN与None的比较与处理
pandas中关于nan的处理
我是小蚂蚁
10-27 5万+
在pandas中有个另类的存在就是nan，解释是：not a number，不是一个数字，但是它的类型确是一个float类型。对于pandas中nan的处理，简单的说有以下几个方法。 import numpy as np import pandas as pd from pandas import Series, DataFrame n = np.nan print(type(n)) # &lt...
【第4章Pandas实战案例与解析 清洗数据】4.219 高级技巧：自定义函数设置NaN的颜色
02-28 869
在数据处理和展示过程中，NaN（Not a Number）是一个常见的特殊值，用于表示缺失或未定义的数据。为了使NaN更加显眼，便于识别和处理，我们可以使用 Pandas 的style模块来为NaN设置特定的颜色。通过自定义函数，我们可以灵活地控制NaN的显示样式，从而提高数据的可读性和可视化效果。NaN是一个特殊的浮点数，用于表示缺失或未定义的数据。在 Pandas 中，NaN通常用于标记缺失值。NaN不等于任何值，包括它自己。在数值计算中会被忽略。可以通过numpy.nan生成。
pandas用均值填充nan_pandas dataframe 填充 NaN（填补缺失值）的方法 fillna 函数使用说明...
weixin_35757191的博客
12-24 8117
在基于 pandas 的 DataFrame 对象进行数据处理时(如样本特征的缺省值处理)，可以使用 DataFrame 对象的 fillna 函数进行填充，同样可以针对指定的列进行填补空值，单列的操作是调用Series 对象的 fillna 函数。fillna 函数DataFrame.fillna(value=None, method=None, axis=None, inplace=Fals...
【第4章Pandas实战案例与解析 清洗数据】4.221 利用自定义函数为Pandas DataFrame中的非NaN值设置颜色
最新发布
02-28 802
为了实现更加灵活多变且符合特定需求的样式定制，可以通过向Styler对象传递自定义函数来达到目的。这种方式允许我们针对每一行、列甚至是单个单元格执行复杂的逻辑判断，并据此决定其外观表现。"""高亮非空值"""def highlight_non_null(val) : """高亮非空值""" color = 'red' if pd . notnull(val) else '' return f'background-color: {color } '
pandas中nan的处理
个人博客
10-21 2555
value：这是最基本的参数，用于指定一个单一的值来填充所有的缺失值。这个值可以是数字、字符串、或者与数据结构兼容的任何其他类型。method：这个参数允许你通过特定的方法填充缺失值，而不是单一的值。主要的方法有ffill（或pad，表示向前填充）和bfill（或backfill表示向后填充）。ffill或pad：用前一个非空值填充NaN，bfill或backfill：用后一个非空值填充NaN。axis：这个参数指定了填充操作的轴。对于 DataFrame，'columns'（或0）表示沿着列填充，
【Pandas】Python中None、null和NaN
littlemichelle
03-28 7798
经常混淆。空值一般表示数据未知、不适用或将在以后添加数据。缺失值指数据集中某个或某些属性的值是不完整的。一般空值使用None表示，缺失值使用NaN表示。注意： python中没有null，但是有和其意义相近的None。
pandas中对nan空值的判断和陷阱
S_o_l_o_n的博客
09-09 7万+
pandas基于numpy，所以其中的空值nan和numpy.nan是等价的。numpy中的nan并不是空对象，其实际上是numpy.float64对象，所以我们不能误认为其是空对象，从而用bool(np.nan)去判断是否为空值，这是不对的。 对于pandas中的空值，我们该如何判断，并且有哪些我们容易掉进去的陷阱，即不能用怎么样的方式去判断呢？ 可以判断pand......
python pandas缺失值处理_pandas缺失值该怎么处理?
weixin_39623716的博客
12-14 598
处理方式：存在缺失值nan,并且是np.nan:删除存在缺失值的:dropna(axis='rows')替换缺失值:fillna(df[].mean(), inplace=True)不是缺失值nan，有默认标记的1、存在缺失值nan,并且是np.nan1# 判断数据是否为NaN2# pd.isnull(df),pd.notnull(df),pd.isna(df)34 # 读取数据5 movie =...
Pandas缺失值inf与nan处理实践
肖永威的专栏
08-09 1万+
实践Pandas对正负无穷inf、空值nan的缺失值处理。
pandas 处理缺省值NaN
love_521_的博客
03-07 624
import pandas as pd import numpy as np df2 = pd.DataFrame([[1, 2, 3, np.nan], [1, 2, 3, 5],[2, np.nan, 5, 6],[np.nan, np.nan, np.nan, np.nan],[np.nan, 7, np.nan, 9], [1, np.nan, np.nan, np.nan]]) df2 df2.dropna(thresh=None) # thresh 为空删除所有存在NaN的行 df2
pandas nan判断_关于pandas无法对Nan重新赋值问题解决办法
weixin_39516956的博客
12-01 1050
问题背景　　随便描述一下：大概就是如果你的dataframe只有一行数据，其中有一列是nan的，在这种情况下如果对nan列进行复制为None会出现将nan转换为None状态Excel截图读取显示import pandas as pdimport numpy as nppath = r"文件路径ext.xls"df = pd.read_excel(path,header=0)print(df)# ...
Pandas 替换 NaN 值
uncle_ll的博客
12-29 1万+
NaN 代表 Not A Number，是表示数据中缺失值的常用方法之一。它是一个特殊的浮点值，不能转换为 float 以外的任何其他类型。NaN 值是数据分析中的主要问题之一。为了得到理想的结果，对 NaN 进行处理是非常必要的。， 可以替换为任意值，依照个人情况考虑。
pandas中使用fillna函数填充NaN值
lch551218的博客
02-09 1万+
1. 参数解析 1.1 inplace参数 取值：True、False True：直接修改原对象 False：创建一个副本，修改副本，原对象不变（缺省默认） 1.2 method参数 取值 ： {‘pad’, ‘ffill’,‘backfill’, ‘bfill’, None}, default None pad/ffill：用前一个非缺失值去填充该缺失值 backfill/bfill：用下一个非缺失值填充该缺失值 None：指定一个值去替换缺失值（缺省默认这种方式） 1.3 limit参数： 限制
Python笔记：在Pandas中处理NaN值
热门推荐
Wang的专栏
08-03 7万+
关于NaN值 -在能够使用大型数据集训练学习算法之前，我们通常需要先清理数据, 也就是说，我们需要通过某个方法检测并更正数据中的错误。 - 任何给定数据集可能会出现各种糟糕的数据，例如离群值或不正确的值，但是我们几乎始终会遇到的糟糕数据类型是缺少值。 - Pandas 会为缺少的值分配 NaN 值。 创建一个具有NaN值得 Data Frame import pandas a...
Python3：Pandas的简单使用5(NaN值的处理，特殊显示值?的处理以及数据的分组和聚合)
编程学习者的博客
01-05 2888
1.声明 当前的内容用于本人复习使用，主要是针对Pandas读取数据出现NaN值时的处理，以及读取的时候产生?或者其他值的处理，还有分组和统计。 2.处理NaN值 在读取数据的时候可能出现某个值缺失，这个时候Pandas默认使用NaN代替缺失值！ 准备具有确实值的数据： import pandas as pd import numpy as np pd_dataFrame = pd.rea...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值