微软人脸数据库ms-celeb-1m清洗Python Coding #1

最新推荐文章于 2026-08-19 10:51:35 发布

原创最新推荐文章于 2026-08-19 10:51:35 发布 · 3.2k 阅读

本内容遵循CC 4.0 BY-SA版权协议

本文介绍了一个Python脚本，用于解析MS Celeb 1M图像数据集，并将Base64编码的图像数据解码并保存为.jpg文件格式。脚本通过读取多个分段的.tsv文件，提取每条记录中的图像标识信息和Base64编码数据，创建相应的目录结构来存储这些图像。

# conding:utf-8
import base64
import csv
import os,sys
csv.field_size_limit(10000000000)  
for i in range(0,8):
filename = 'MsCelebV1-ImageThumbnails.part.0'+str(i)+'.tsv'
outputDir = 'MS_Celeb_1M_0'+str(i)+'/'
with open(filename, 'r') as tsvF:
        reader = csv.reader(tsvF, delimiter='\t')
        i = 0
        for row in reader:
            MID, imgSearchRank, faceID, data = row[0], row[1], row[2], base64.b64decode(row[-1])

            saveDir = os.path.join(outputDir, MID.replace(' ','-').replace('/','-'))
        if not os.path.exists(saveDir):
                    os.makedirs(saveDir)    
            savePath = os.path.join(saveDir, "{}-{}.jpg".format(imgSearchRank.replace(' ','-').replace('/','-'), faceID))


            with open(savePath, 'wb') as f:
                    f.write(data)
            i += 1

            if i % 10000 == 0:
                    print("Extracted {} images.".format(i),filename)
print i   ## keep error point

标签

#python