将多行大txt文件拆分为单行txt文件

最新推荐文章于 2026-04-14 10:09:34 发布

原创最新推荐文章于 2026-04-14 10:09:34 发布 · 1k 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

智能钻完井

油田大数据

Python在石油工程中应用

本文介绍如何将包含多行的大TXT文件转换为每行单独保存的多个TXT文件，适合需要逐行处理大量文本数据的情况。

内容：将一个很多行的txt文件拆分为多个单行的文件尽心操作，可以更加高效的利用内存
 程序目录结构
 bigtxt
	├─finish
	├─log
	└─smalltxt
 BigTxtTosmall.py
# -*- coding: utf-8 -*-
import os
import shutil
rootPath = os.path.abspath(os.path.abspath('.'))

filePath = rootPath+'\\bigtxt\\'


for file in os.listdir(filePath):
    if file not in ("finish","smalltxt","log"):
        with open(filePath+file,'r',encoding='utf-8',errors='ignore') as f:
            i=1
            filename=file[0:len(file)-4]
            for line in f:
                try:
                    line = line[:-1]
                    if len(line) != 0 and line.__contains__("http"):
                        with open(filePath + 'smalltxt\\' + filename + str(i) + '.txt', 'w+',encoding='utf-8') as small:
                            small.write(line)
                        print(str(i) + ":" + line)
                except BaseException as e:
                    error = "在第" + str(i) + '行遇到问题'
                    print(error)
                    with open(filePath + 'log\\' + filename + str(i) + '.txt.log', 'a', encoding='utf-8') as small:
                        small.write(error + str(e))
                    i += 1
                    continue
                i += 1
                # if not line:
                #     break
        shutil.move(filePath + file, filePath + "finish\\")

作者：WangB