pandas操作 | 读取txt格式数据、删除nan值、删除重复值

最新推荐文章于 2026-06-15 09:55:15 发布
原创 最新推荐文章于 2026-06-15 09:55:15 发布 · 537 阅读 · 2 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
标签
#pandas #python
本文介绍了如何使用Pythonpandas库读取txt格式数据，包括设置分隔符和表头，以及处理缺失值（删除行或列）和重复值的方法。

一、读取txt格式数据

指令：

pd.read_table（filepath,sep='\t',header='infer')

filepath:文件存储路径

sep:数据分隔符，默认为tap

header:是否需要将原数据集中的第一行作为表头，默认将第一 行用作字段名称

举个栗子：

数据形式

运行结果

二、nan值的处理

x.dropna(axis=0) #删除nan所在行的所有数据
x.dropna(axis=1) #删除nan所在列的所有数据

数据

删除行

删除列

三、重复值的删除

x.drop_duplicates()

效果

pandas删除nan数据，筛选出nan的数据，筛选出非nan的数据，替换nan值
热门推荐
Ghjkku的博客
05-11 14万+
在处理缺失值的时候，总会遇到各种问题 目录 1.删除全部为nan的行 2.删除含有nan的行 3.删除全部为nan的列 4. 删除包含nan的列 5.删除指定某一列有nan，这样即可定位到所在行的index，然后对该index进行drop操作即可df[np.isnan(df[‘open’])].index #定位某一列是否有nan直接drop对应indx即可删除该行df.drop(df[np.isnan(df[‘open’])].index, inplace=True) 6.df1 = df.
Pandas数据处理1、DataFrame删除NaN空值(dropna各种属性值控制超全)
红目香薰
02-13 5877
Pandas数据处理1、DataFrame删除NaN空值(dropna各种属性值控制超全) Pandas数据处理——渐进式学习 前言 环境 DataFrame删除NaN空值 dropna函数参数 测试数据 删除所有有空的行 axis属性值 how属性值 thres属性值 subset属性值 inplace是否复制副本 fillna测试
(四)pandas-删除数据
guochaogang的博客
05-05 2420
pandas删除数据主要有两种方式：1.在dataframe上调用函数2.通过找到相应的行或列，然后使用命令删除。
【pandas小技巧】删除某列中包含nan的数据
苦苦思索的吃瓜群众博客
03-08 9856
小技巧
Pandas|DataFrame| DataFrame中的nan值处理
craftsman2020的博客
08-31 6859
DataFrame.dropna()方法的作用：是删除含用空值或缺失值得行或列。语法为：dropna（axis=0，how=‘any’，thresh=None，subset=None，inplace=False）axis:确定过滤的行或列，取值可以为(1) 0或index：删除包含缺失值的行，默认为0。(2) 1或columns：删除包含缺失值的列。how:确定过滤的标准，取值可以为：(1)any:默认值，如果存在NaN值，就删除该行或该列。//有一个就删除行或列。
pandas库的数据导入导出，缺失值，重复值处理和数据筛选,matplotlib库 简单图绘制
weixin_72931638的博客
07-24 1308
使用 plt.subplot 创建两行两列的子图（共4个），图像大小为10x8（单位未明确）。（如 好评数 > 17000）筛选数据，生成 True/False 序列后提取对应行。Pandas支持多种数据格式，包括CSV、Excel（XLSX/XLS）、TST等。方法筛选数值范围内的数据（如 好评数在15000到17000之间）。index=True（是否导出行索引）。header=True（导出列名）。：to_excel()参数与CSV类似，仅格式不同。的区别（将缺失值纳入匹配结果）。
轩小陌的Python笔记-Pandas 数据处理
hjjqazwsx的博客
05-01 615
Pandas 数据处理 一、数据IO操作 pandas IO操作主要是读取和写入有特定格式的文件，如CSV文件、TXT文件： # 本质上pd.read_csv和pd.read_tablepd.read_table的读取方式是一样的，区别只在于分隔符的不同 pd.read_csv('csv文件.csv', sep=',', header=None, index_col=0) pd.read_table('txt文件.txt', header=None, sep=' ', index_col=0) pd.r
pandas 常用命令集合
XiaoMaEr66的博客
10-06 629
一、读取文件 1、读取csv、txt 格式时： sep为分隔2符，默认为逗号，如果读取的数据分割的不正常，可能是分隔符的问题，换成正确的分隔符就行。 encoding 是编码，有的时候用的是其他编码，如果要正确显示不出现乱码，加上会减少很多意外。 engine 是读取的机器，不加这个字段，有时候无法正确读取数据。 path1 = r'C:\Users\MAYAN\Downloads\人工对话详情8.1.csv' data1 = pd.read_csv(path1,sep=',',encoding='utf-
Pandas数据清洗七条铁律：从避坑到工程化流水线
最新发布
张 作强 BLOG
06-15 422
数据清洗不是简单的空值填充或列重命名，而是基于Pandas向量化计算与索引对齐特性的系统性工程。其核心原理在于理解底层三大隐式假设——索引稳定性、缺失值形态统一性、类型转换原子性；技术价值体现在提升清洗可靠性、降低内存占用（如astype('category')可节省47%内存）、保障分析结果可复现；典型应用场景覆盖电商订单治理、金融交易流水校验、IoT传感器数据标准化等高频脏数据处理任务。本文聚焦真实生产环境中的文本替换安全机制、布尔索引缺失值陷阱、merge合并死法等关键问题，提供可落地的Pandas清
Python学习笔记（十八）——Pandas进阶
weixin_60535956的博客
11-28 2535
1.3W字详细解释Pandas库进阶内容，让你的数据处理能力再进一大步！
pandas ：删除所有列中的所有NaN值
06-04 748
在这个例子中，原始DataFrame中有两列包含了NaN值，调用`.dropna(axis=1)`方法后，这两列都成功删除了所有的NaN值，留下了包含所有非NaN值的新DataFrame。在Pandas库中，要删除DataFrame中所有列（即Series）中所有的NaN值，可以使用`.dropna()`方法结合`axis=1`参数来指定操作的方向。这一步会返回一个新的DataFrame，其中不包含任何NaN值。print("\n删除 NaN 后的 DataFrame：")# 删除所有列中NaN值的操作。
pandas ：如何删除以NaN为列名的多个列？
12-01 513
虽然`dropna(axis=1, how='all')`可以删除所有值为NaN的列，但这种方法并不是真正意义上的删除所有名为NaN的列。在Pandas中，要删除DataFrame中所有名为NaN的列，可以使用`dropna()`函数结合布尔索引或列表推导式来实现。data = {'Name': ['Alice', 'Bob', None, None], # 注意：这里使用了None代替np.nan。如果您需要移除所有名为NaN的列，可以使用上述方法。# 使用布尔索引删除所有名为NaN的列。
实验一 pandas读取txt文件，并进行处理
kkkkkba12138的博客
10-13 1786
（3）计算第一条数据和第二条数据的欧式距离。（1）并输出第一列数据的最大、最小和均值。读取DatingTest的数据文件，给定数据集datingTest。（2）输出该文件有多少数据。
pandas去除Nan值
Major_S的博客
11-07 2605
pandas去除Nan值 删除表中全部为NaN的行 df.dropna(axis=0,how='all') 删除表中含有任何NaN的行 df.dropna(axis=0,how='any') 删除表中全部为NaN的列 df.dropna(axis=1,how='all') 删除表中含有任何NaN的列 df.dropna(axis=1,how='any') ...
利用pandas对txt文件进行数据处理
qq_43302174的博客
03-16 2836
记一次帮朋友进行txt数据处理问题。 需求：对大量txt文件中第一行的数据进行处理。将第二个数据与第四个数据相加，并将相加结果替换到第四个数据位置，将第三个数据与第五个数据相加，并将相加结果替换到第五个数据位置，其余数据不变。 通过对问题的搜索与查询，得出以下代码： import os from glob import glob import pandas as pd #输入需要批处理的txt文件路径 paths = glob(r'*.txt') for path in paths: file =
Pandas数据处理（取数/删除NaN)
铁盒薄荷糖的博客
03-29 711
subset：列表----columns或者index，只删除指定列/行。df.iloc[ 行序 ] [列序 ]列转换为一维数组，然后访问该数组索引处的值。df.iloc[ 行 ] [ '列名' ]#取出某一列，然后根据行序列进行对第n行取值。是标量的快速访问方法，可从 Pandas。#访问行，然后使用列名访问值。df.iloc[ 行序, 列序 ]thresh：阈值，类型为int，1或者columns则是删除列。删除至少有一个NaN的行/列；删除全部都是NaN的行/列。，并且使用起来最简单。
Pandas：简便操作txt文件的利器
RcxhClass的博客
10-05 866
Pandas是Python中一款功能强大的数据分析和处理库，它提供了许多方便的功能来操作各种数据格式，包括文本文件。在处理txt文件时，Pandas提供了简便而高效的方法，使得读取、处理和写入txt文件变得轻而易举。本文将介绍Pandas在操作txt文件方面的便利之处，并提供相应的源代码示例。综上所述，Pandas是一款强大而灵活的工具，可极大地简化对txt文件的操作。它提供了简单易用的读取、处理和写入功能，使得我们能够高效地处理和分析txt文件中的数据。
pandas数据读取处理详解
me_to_007的博客
05-12 2万+
数据读取、记录抽取，聚合，去重，空值处理，删除，时间序列，分箱，字符串字段处理方法......
Python Pandas 通过读取txt文件内容创建DataFrame
weixin_42098295的博客
06-01 1083
Python 中，Pandas 是一个强大的数据分析库，它提供了方便的方法来读取和处理不同格式的数据文件，包括 CSV、Excel、JSON 以及纯文本文件（如 .txt）。如 .txt 文件是表格格式的数据，可以使用 pandas.read_csv() 函数读取它并创建 DataFrame。# 读取不规则分隔符的文件，使用正则表达式。3、读取以制表符（Tab）分隔的数据。# 读取无标题行的文件，并指定列名。# 读取以制表符分隔的数据。1、读取以空格分隔的数据。# 读取以空格分隔的数据。
pandas读取文件
m0_58544983的博客
07-15 1万+
pandas读取xlsx、xls文件
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值