tensorflow之从文件中读取数据(适用场景:大规模数据集,亲测有效~)

这篇博客详细介绍了如何在TensorFlow中从文件读取大规模数据集,包括准备样本和标签,将CSV文件转换为TFRecords格式,并最终用于训练模型。文章提供了完整的代码示例,涵盖了从数据预处理到训练模型的全过程。

      网上从文件中读取样本和标签的资料很多,但大多讲的不全面,或只讲原理,或只有变为.tfrecords部分,或没有调用的栗子。寄几and男票一起捣鼓了两天,终于有了目前这个完整版的代码,希望对看到的朋友有所帮助。

1. 准备样本和标签

样本图示如图1,标签文件train_y.csv如图2,这是个2分类问题。

图1

图2

2.生成记录样本的记录文件

我们的图片存储路径如图3红框所示,标签文件train_y.csv存储路径如图3绿框所示。

我们用ray14_train.py进行train,这个.py文件和train_y.csv不在同一目录下。所以,在标签文件train_y.csv中,我们需要将图片名称这一列变为相对路径,如图4所示,这个新csv我们存为y_train.csv,测试集也这么处理。

图3

      

图4

import numpy as np
import pandas as pd
import cv2
import csv
from os import path as osp
import os
base_path = os.path.join('images','images224')
train_y_path = os.path.join(base_path,'train_y.csv')
train_y = np.loadtxt(train_y_path, delimiter=",", skiprows=0, usecols=(0,1), dtype=str)
train_y_pd =
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值