dataframe如何替换某列元素值_Python干货宝典：如何处理Pandas中丢失的数据？

最新推荐文章于 2024-03-19 11:37:27 发布
原创 最新推荐文章于 2024-03-19 11:37:27 发布 · 1.9k 阅读 · 1 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#dataframe如何替换某列元素值
本文介绍了如何在Pandas DataFrame中处理缺失数据，包括使用isnull()和notnull()检查缺失值，用fillna()、replace()和interpolate()填充缺失值，以及使用dropna()删除缺失值的行或列。示例代码展示了不同方法的使用场景和效果。
ACE-Step

ACE-Step

音乐合成
ACE-Step

ACE-Step是由中国团队阶跃星辰（StepFun）与ACE Studio联手打造的开源音乐生成模型。 它拥有3.5B参数量，支持快速高质量生成、强可控性和易于拓展的特点。 最厉害的是，它可以生成多种语言的歌曲，包括但不限于中文、英文、日文等19种语言

当一个或多个项目或整个单元没有提供信息时，可能会出现丢失数据。在现实生活中，丢失数据是一个很大的问题，往往找半天还找不回来。

在Pandas中，缺少的数据由两个值表示：

  • None：None是Python单例对象，通常用于丢失Python代码中的数据。
  • NaN(非数字的缩写)，是所有使用标准ieee浮点表示的系统所认可的特殊浮点值。

pandas对于None和NaN本质上是可互换的，用于表示缺失或空值。

在Pandas DataFrame中有几个用于检测、删除和替换空值的有用函数：

  • isnull()
  • notnull()
  • dropna()
  • fillna()
  • replace()
  • interpolate()

使用isnull()和notnull()

使用函数isnull()和notnull()检查PandasDataFrame中缺少的值。

使用isnull()

为了检查PandasDataFrame中的空值，我们使用isnull()函数返回布尔值的数据，这些值是NaN值的真值。

代码1：

# importing pandas as pd
import pandas as pd
  
# importing numpy as np
import numpy as np
  
# dictionary of lists
dict = {'First Score':[100, 90, np.nan, 95],
        'Second Score': [30, 45, 56, np.nan],
        'Third Score':[np.nan, 40, 80, 98]}
  
# creating a dataframe from list
df = pd.DataFrame(dict)
  
# using isnull() function  
df.isnull()

产出：

d54c56a372fc1d38efe4b9f847974132.png

代码2：

# importing pandas package 
import pandas as pd 
    
# making data frame from csv file 
data = pd.read_csv("employees.csv") 
    
# creating bool series True for NaN values 
bool_series = pd.isnull(data["Gender"]) 
    
# filtering data 
# displaying data only with Gender = NaN 
data[bool_series]

产出：
如输出映像所示，只有具有Gender = NULL都会显示。

e97a82a222be8929b6011fd3b81e1ec4.png

使用notnull()

为了检查PandasDataframe中的空值，我们使用NOTNULL()函数来返回对于NaN值为false的布尔值的数据。

代码3：

# importing pandas as pd
import pandas as pd
  
# importing numpy as np
import numpy as np
  
# dictionary of lists
dict = {'First Score':[100, 90, np.nan, 95],
        'Second Score': [30, 45, 56, np.nan],
        'Third Score':[np.nan, 40, 80, 98]}
  
# creating a dataframe using dictionary
df = pd.DataFrame(dict)
  
# using notnull() function 
df.notnull()

产出：

8d75e865ccc919e787dcdf1f5a78bd53.png

代码4：

# importing pandas package 
import pandas as pd 
    
# making data frame from csv file 
data = pd.read_csv("employees.csv") 
    
# creating bool series True for NaN values 
bool_series = pd.notnull(data["Gender"]) 
    
# filtering data 
# displayind data only with Gender = Not NaN 
data[bool_series]

产出：
如输出映像所示，只有具有Gender = NOT NULL都会显示。

159b44196a3a699c11cf33de6ab6718e.png

使用fillna(), replace()和interpolate()

使用fillna(), replace()和interpolate()函数这些函数将NaN值替换为它们自己的一些值。在DataFrame的数据集中填充空值。

插值()函数主要用于填充NA数据中的值，使用各种插值技术来填充丢失的值，不是对值进行硬编码。

代码1：用单个值填充空值

# importing pandas as pd
import pandas as pd
  
# importing numpy as np
import numpy as np
  
# dictionary of lists
dict = {'First Score':[100, 90, np.nan, 95],
        'Second Score': [30, 45, 56, np.nan],
        'Third Score':[np.nan, 40, 80, 98]}
  
# creating a dataframe from dictionary
df = pd.DataFrame(dict)
  
# filling missing value using fillna()  
df.fillna(0)

产出：

5d621ea2862c687000760eda108975b1.png

代码2：用前面的值填充空值

# importing pandas as pd
import pandas as pd
  
# importing numpy as np
import numpy as np
  
# dictionary of lists
dict = {'First Score':[100, 90, np.nan, 95],
        'Second Score': [30, 45, 56, np.nan],
        'Third Score':[np.nan, 40, 80, 98]}
  
# creating a dataframe from dictionary
df = pd.DataFrame(dict)
  
# filling a missing value with
# previous ones  
df.fillna(method ='pad')

产出：

963c5cc4f0515a67094883ef32755c6e.png

代码3：用下一个值填充空值

# importing pandas as pd
import pandas as pd
  
# importing numpy as np
import numpy as np
  
# dictionary of lists
dict = {'First Score':[100, 90, np.nan, 95],
        'Second Score': [30, 45, 56, np.nan],
        'Third Score':[np.nan, 40, 80, 98]}
  
# creating a dataframe from dictionary
df = pd.DataFrame(dict)
  
# filling  null value using fillna() function  
df.fillna(method ='bfill')

产出：

b62558933f56aee2ee46b202db3a7006.png

代码4：在CSV文件中填充空值

# importing pandas package 
import pandas as pd 
    
# making data frame from csv file 
data = pd.read_csv("employees.csv")
  
# Printing the first 10 to 24 rows of
# the data frame for visualization   
data[10:25]

44cd0d7b280ad3996d663b6fc1500e75.png

现在，我们将用“无性别”填充性别列中的所有空值。

# importing pandas package 
import pandas as pd 
    
# making data frame from csv file 
data = pd.read_csv("employees.csv") 
  
# filling a null values using fillna() 
data["Gender"].fillna("No Gender", inplace = True) 
  
data

产出：

5e9bbdef09ea7c365dce1c12e8f7edcd.png

代码5：使用替换()方法填充空值

# importing pandas package 
import pandas as pd 
    
# making data frame from csv file 
data = pd.read_csv("employees.csv")
  
# Printing the first 10 to 24 rows of
# the data frame for visualization   
data[10:25]

产出：

10785ae163696bfacdb3206a849b7ce0.png

现在，我们将将数据帧中的ALNAN值替换为-99值。

# importing pandas package 
import pandas as pd 
    
# making data frame from csv file 
data = pd.read_csv("employees.csv") 
    
# will replace  Nan value in dataframe with value -99  
data.replace(to_replace = np.nan, value = -99)

产出：

d300a32de6d188544939f4122a8b93c6.png

代码6：使用插值()函数来使用线性方法填充缺失的值。

# importing pandas as pd 
import pandas as pd 
    
# Creating the dataframe  
df = pd.DataFrame({"A":[12, 4, 5, None, 1], 
                   "B":[None, 2, 54, 3, None], 
                   "C":[20, 16, None, 3, 8], 
                   "D":[14, 3, None, None, 6]}) 
    
# Print the dataframe 
df

d61e3e364efff66cc3ca0251635d7de3.png

让我们用线性方法插值缺失的值。请注意，线性方法忽略索引，并将值视为等距。

# to interpolate the missing values 
df.interpolate(method ='linear', limit_direction ='forward')

产出：

522de94b7fc4081564cb56bc3b80ab9e.png

正如我们可以看到的输出，第一行中的值无法被填充，因为填充值的方向是向前的，并且没有以前的值可以用于插值。

使用dropna()

从dataframe中删除空值，使用dropna()函数以不同的方式删除具有Null值的数据集的行/列。

代码1：删除至少1空值的行。

# importing pandas as pd
import pandas as pd
  
# importing numpy as np
import numpy as np
  
# dictionary of lists
dict = {'First Score':[100, 90, np.nan, 95],
        'Second Score': [30, np.nan, 45, 56],
        'Third Score':[52, 40, 80, 98],
        'Fourth Score':[np.nan, np.nan, np.nan, 65]}
  
# creating a dataframe from dictionary
df = pd.DataFrame(dict)
    
df

2d3e1686644802db9bb41e93e9af7a9f.png

使用至少一个Nan值(Null值)删除行。

# importing pandas as pd
import pandas as pd
  
# importing numpy as np
import numpy as np
  
# dictionary of lists
dict = {'First Score':[100, 90, np.nan, 95],
        'Second Score': [30, np.nan, 45, 56],
        'Third Score':[52, 40, 80, 98],
        'Fourth Score':[np.nan, np.nan, np.nan, 65]}
  
# creating a dataframe from dictionary
df = pd.DataFrame(dict)
  
# using dropna() function  
df.dropna()

产出：

724c4648d127d0896c21e7f9ed1b5d32.png

代码2：如果该行中的所有值都丢失，则删除行。

# importing pandas as pd
import pandas as pd
  
# importing numpy as np
import numpy as np
  
# dictionary of lists
dict = {'First Score':[100, np.nan, np.nan, 95],
        'Second Score': [30, np.nan, 45, 56],
        'Third Score':[52, np.nan, 80, 98],
        'Fourth Score':[np.nan, np.nan, np.nan, 65]}
  
# creating a dataframe from dictionary
df = pd.DataFrame(dict)
    
df

3440d2ca1505d846a60b50ce1cd5d97f.png

删除所有数据丢失或包含空值(Nan)的行。

# importing pandas as pd
import pandas as pd
  
# importing numpy as np
import numpy as np
  
# dictionary of lists
dict = {'First Score':[100, np.nan, np.nan, 95],
        'Second Score': [30, np.nan, 45, 56],
        'Third Score':[52, np.nan, 80, 98],
        'Fourth Score':[np.nan, np.nan, np.nan, 65]}
  
df = pd.DataFrame(dict)
  
# using dropna() function    
df.dropna(how = 'all')

产出：

be40c1cec6df5f6b79fcb73d596c0af5.png

代码3：删除至少1空值的列。

# importing pandas as pd
import pandas as pd
   
# importing numpy as np
import numpy as np
   
# dictionary of lists
dict = {'First Score':[100, np.nan, np.nan, 95],
        'Second Score': [30, np.nan, 45, 56],
        'Third Score':[52, np.nan, 80, 98],
        'Fourth Score':[60, 67, 68, 65]}
  
# creating a dataframe from dictionary 
df = pd.DataFrame(dict)
     
df

557a9ab0cfa1abd0caf057c0c5f5482d.png

删除至少有1个缺失值的列。

# importing pandas as pd
import pandas as pd
   
# importing numpy as np
import numpy as np
   
# dictionary of lists
dict = {'First Score':[100, np.nan, np.nan, 95],
        'Second Score': [30, np.nan, 45, 56],
        'Third Score':[52, np.nan, 80, 98],
        'Fourth Score':[60, 67, 68, 65]}
  
# creating a dataframe from dictionary  
df = pd.DataFrame(dict)
  
# using dropna() function     
df.dropna(axis = 1)

产出：

01b7f100ffff353f69e02b8fec0da34e.png

代码4：在CSV文件中删除至少1空值的行

# importing pandas module 
import pandas as pd 
    
# making data frame from csv file 
data = pd.read_csv("employees.csv") 
    
# making new data frame with dropped NA values 
new_data = data.dropna(axis = 0, how ='any') 
    
new_data

产出：

80e63aabf069bfd1aace26b8941cc4aa.png

现在我们比较数据帧的大小，这样我们就可以知道有多少行至少有一个空值。

print("Old data frame length:", len(data))
print("New data frame length:", len(new_data)) 
print("Number of rows with at least 1 NA value: ", (len(data)-len(new_data)))

产出：

Old data frame length: 1000
New data frame length: 764
Number of rows with at least 1 NA value:  236

由于差值为236，因此在任何列中都有236行，其中至少有1空值。

您可能感兴趣的与本文相关的镜像

ACE-Step

ACE-Step

音乐合成
ACE-Step

ACE-Step是由中国团队阶跃星辰（StepFun）与ACE Studio联手打造的开源音乐生成模型。 它拥有3.5B参数量，支持快速高质量生成、强可控性和易于拓展的特点。 最厉害的是，它可以生成多种语言的歌曲，包括但不限于中文、英文、日文等19种语言

如何在DataFrame中根据条件替换列中的值
猫敷雪
03-31 4144
语法: df[“column_name”] = np.where(df[“column_name”]==”value”, value_if_true, value_if_false)示例: 这个numpy.where()函数应该写上条件，如果条件为真，后面是值，如果条件为假，则是一个值。现在，我们要把性别栏中的所有 “女性 “改为0，”男性 “改为1。如果我们可以访问它，我们也可以操作它的值，是的！Pandas的掩蔽函数是为了用一个条件替换任何行或列的值。函数，我们可以访问一个列并通过一个条件改变它的值。
根据筛选条件对Dataframe或Series数据中的元素进行替换
weixin_44699812的博客
03-19 1293
pandas的where方法只能替换不满足筛选条件的数据，而对符合筛选条件的数据只能保留原数据，使用numpy里面的where方法，既可以替换满足条件的数据，也可以替换不满足条件的数据。df=pd.DataFrame(df_array,columns=['A','B']) #可以批量更换列名columns=df.columns.tolist()mask():与where方法相反，根据条件筛选数据，并替换满足条件的元素。将数组变为dataframe格式。
Python干货宝典：如何处理Pandas中丢失的数据
Python6886的博客
11-16 655
当一个或多个项目或整个单元没有提供信息时，可能会出现丢失数据。在现实生活中，丢失数据是一个很大的问题，往往找半天还找不回来。 在Pandas中，缺少的数据由两个值表示： None：None是Python单例对象，通常用于丢失Python代码中的数据。 NaN(非数字的缩写)，是所有使用标准ieee浮点表示的系统所认可的特殊浮点值。 pandas对于None和NaN本质上是可互换的，用于表示缺失或空值。 在Pandas DataFrame中有几个用于检测、删除和替换空值的有用函数： isnull()
JSON对象中值为空的属性，转字符串不显示问题
qq_38304878的博客
08-04 5007
JSON对象中值为空的属性，转字符串属性不显示问题
解决fastjson parseObject始终返回空值的问题
jiaohuizhuang6019的博客
04-11 2059
解决fastjson parseObject始终返回空值的问题
python dataframe 替换_python-根据条件将值从一个 pandas dataframe 替换为另一个
weixin_39939904的博客
12-11 2752
通过IIUC,您可以创建布尔掩码,并将值通过astype转换为字符串,然后与-进行比较.最后用-填充来自另一个DataFrame的值-mask或where,并通过〜反转掩码：mask = df_1.astype(str) == '-'print (mask)A B C0 False False False1 True False False2 False Fa...
pandas DataFrame数据重命名列名的几种方式
热门推荐
littleRpl的博客
08-28 12万+
文章目录前言一 部分列重命名二 全部列重命名三 str 批量修改列名四 读取csv文件重命名后记 前言 首先，我们创建一个5行4列的DataFrame数据作为示例，进行演示 import pandas as pd import numpy as np df = pd.DataFrame(data=np.arange(20).reshape(5,4), columns=['a', 'b', 'c'...
dataframe批量替换值_Python缺失值处理
weixin_33443972的博客
12-28 3029
在许多业务数据分析场景中，数据不一定十分完整，总是存在部分缺失值，因此，数据清洗阶段，对缺失值进行处理就显得尤为重要。本文介绍一些缺失值处理的示例，主要用到的库有：pandas、numpy 、sklearn。1.导入需要的库。import pandas as pdimport numpy as npfrom sklearn.preprocessing import Imputer2.生成...
DataFrame中某列值的替换map(dict)
wangwangstone的博客
06-01 5399
pandas 的dataframe 中，有时需要将某列的值替换为另一个值，pandas中可以直接利用map()里传入字典kv对的方式实现替换如下： 需要将相应的数值编码替换为实际的类别含义 。 选择对应的列，调用map传入字典kv 对 结果：
如何从字典中替换dataframe列中的特定值[转]
weixin_43793761的博客
04-20 3316
转载仅供个人学习参考，侵删。 转载来自此处 如何从字典中替换dataframe列中的特定值？ 所以，我有一张如下的表格： Col1 Col2 ABS 45 CDC 23 POP 15 现在，我有一本字典。所以对于匹配的关键部分，我只希望列中的值改变。对于与字典不匹配的其他字母，键应保持不变。你知道吗 最后一个表应该如下所示： Col1 Col2 ADBS 45 LCDLC 23 PLOPL 15 方法1： df = pd.DataFrame(
json.parseobject空值不输出_案例 | 用pdpipe搭建pandas数据分析流水线，又是你不知道的干货...
weixin_39858298的博客
11-27 1294
作者：费弗里博客地址：https://www.cnblogs.com/feffery/p/12179647.html说明：本文经作者授权转载，禁止二次转载本文对应脚本及数据已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes1 简介在数据分析任务中，从原始数据读入，到最后分析结果出炉，中间绝大部分时间都是在对数据...
JSONObject转String后null值不输出
柳敏莘
07-04 3201
直接上代码： JSONObject jsonObject = new JSONObject(); jsonObject.add("name",null); String str = jsonObject.toString();//{} str = JSONObject.toJSONString(jsonObject, SerializerFeature.WriteMapNullValue);//{"name",null}
dataframe值替换
好好学习,天天向上的博客
04-03 6757
1、用loc方式,适合限制条件的元素值替换或填充 df.loc[df['count']==20,'是否入围']=1 2、用apply方式，适合元素值直接替换 df.apply(lambda x:x.replace('nan%','0.00%')) ...
JSON对象转List对象，对象里的数据都是空
yaling的博客
09-01 2830
JSON对象转List对象
DataFrame根据条件替换某一列的值
sinat_26753005的博客
07-31 3145
pandas.DataFrame按条件替换某一列
解决JSONObject中属性为null时，不显示问题
qq_45900905的博客
01-03 4590
解决JSONObject中属性为null时，不显示问题
dataframe 按条件替换某一列中的值
空字符
10-20 5万+
import pandas as pd content = ['T', 'F'] * 10 data = pd.DataFrame(content, columns=['Y']) print(data) Y 0 T 1 F 2 T 3 F 4 T 5 F 6 T 7 F 8 T 9 F 10 T 11 F 12 T 13 F 14 T 15 ...
fastJson简单使用_fastjson为null不输出
weixin_46649054的博客
07-07 1438
简介 fastjson 是阿里巴巴开源的一款工具，前后端在进行数据传输交互的时候，常常会遇到 String 和 Json 格式的相互转化 依赖 <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>RELEASE</version> </dependency> 常用 A
使用FastJson. 将Json转为其他类型时 出现参数为空时 不进行转化
daisangdexiaomin的博客
03-22 791
【代码】使用FastJson. 将Json转为其他类型时 出现参数为空时 不进行转化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值