使用生成器,您可以定义一个惰性读取器,该读取器每次都会产生4个值的列表.
您可以如下所述耗尽或延迟迭代生成器.
import csv
from io import StringIO
mystr = StringIO("""1 @M9890393393
2 ATCTGTAAAA
3 +
4 FG%@ATAAAA
5 @M9890393394
6 ATGTCTATCC
7 +
8 AA%$$983089
""")
def gen():
# replace mystr with open('file.csv', 'r')
with mystr as fin:
reader = csv.reader(fin, delimiter=' ', skipinitialspace=True)
res = []
for line in reader:
res.append(line[1])
if len(res) == 4:
yield res
res = []
耗尽发电机:
lines = list(gen())
print(lines)
[['@M9890393393', 'ATCTGTAAAA', '+', 'FG%@ATAAAA'],
['@M9890393394', 'ATGTCTATCC', '+', 'AA%$$983089']]
迭代生成器:
for line in gen():
print(line)
['@M9890393393', 'ATCTGTAAAA', '+', 'FG%@ATAAAA']
['@M9890393394', 'ATGTCTATCC', '+', 'AA%$$983089']
本文介绍了一种使用Python生成器实现的惰性读取器,该读取器能够从CSV文件中按需逐批读取数据,每次返回四个值组成的列表。这种方式可以有效减少内存消耗,适用于处理大型数据集。

4142

被折叠的 条评论
为什么被折叠?



