python3 文本文件内容去除重复行

最新推荐文章于 2025-07-30 11:46:16 发布

转载最新推荐文章于 2025-07-30 11:46:16 发布 · 2.4k 阅读

8 ·

本内容遵循CC 4.0 BY-SA版权协议

原文链接：https://blog.csdn.net/whatday/article/details/104874321

收录于

本文介绍了一个Python脚本，用于去除文件中的重复行，并演示了如何使用shutil模块进行文件移动。通过定义一个名为remove_duplicates的函数，该脚本可以读取指定路径的文件，去除重复行后将结果写入新文件，最后将新文件移动到原始位置覆盖原文件。

环境：python3.8

import shutil

# 文件去除重复行
def remove_duplicates(path):
    lines_seen = set()
    outfile = open(f"{path}.out", 'a+', encoding='utf-8')
    f = open(path, 'r', encoding='utf-8')
    for line in f:
        if line not in lines_seen:
            outfile.write(line)
            lines_seen.add(line)
    outfile.close()
    f.close()

    # 移动文件
    shutil.move(f"{path}.out", path)