Tensorflow易错点(3)---tf.FixedLenFeature的使用

为了解析每个输入样本每一列数据，需要定义一个解析字典。tensorflow提供了三种方式：FixedLenFeature、VarLenFeature、FixedLenSequenceFeature，分别解析定长特征、变长特征、定长序列特征。 FixedLenFeature() 函数有三个参数： （1）shape：输入数据的shape。 （2）dtype：输入的数据类型。 （3）default_value：如果示例缺少此功能，则使用该值。它必须与dtype和指定shape兼容。 注意点： tf.FixedLe

tf.FixedLenFeature 返回的是一个定长的tensortf.VarLenFeature 返回的是一个不定长的sparse tensor，用于处理可变长度的输入，在处理c t c 问题时，会用到tf.VallenFeature解析存储在tfrecord中的label。待补充...

背景 在使用dataset进行样本解析之前，我们需要先定义一个解析字典，告诉dataset如何去解析每个样本，这个字典就是用来指定对于每条输入样本的每一列应该用什么的feature去解析，dataset默认提供了FixedLenFeature，VarLenFeature，FixedLenSequenceFeature等。顾名思义，FixedLenFeature用于处理定长的特征，VarLenFeature用于处理变长的特征，FixedLenSequenceFeature用于处理定长的序特征。 案例 feat

目录 一、构成 1、模块 2、类 3、函数 二、重要函数和类 1、tf.io.parse_single_example 2、tf.io.FixedLenFeature Class FixedLenFeature __new__ Properties shape dtype default_value 3、tf.io.VarLenFeature 4、tf.io.deco...

TensorFlow作为主流深度学习框架，其核心价值不仅在于模型构建，更在于端到端生产级落地能力。理解tf.data数据流水线原理、Keras Functional API的拓扑约束、tf.function图编译机制、SavedModel序列化规范及TFLite量化部署流程，是实现可复现、可监控、可压测AI系统的技术基础。这些能力直接支撑AI工程化、MLOps实践与智能硬件边缘推理等高频应用场景。本文聚焦TensorFlow Certified Developer认证所覆盖的真实工程断层，深入解析数据预处理

生成对抗网络（GAN）是一种以对抗训练为核心思想的无监督生成模型，其本质是通过Generator与Discriminator的极小极大博弈优化两个网络的参数。理解GAN不能止步于Keras高级API封装，而需深入梯度计算机制、变量追踪逻辑与loss函数设计原理。本文围绕tf.GradientTape底层实现，解析Generator欺骗能力构建、Discriminator判别鲁棒性设计、stop_gradient关键作用、双输入判别架构等核心技术点，并延伸至训练稳定性诊断、混合精度加速、TFRecord数据管

TFRecord是TensorFlow生态中面向机器学习工作流的二进制数据序列化协议，其核心价值在于将随机IO升维为预编译式数据交付——通过字节对齐、类型契约（bytes_list/float_list/int64_list）与固定长度头结构，实现纳秒级字段解包与跨节点高效分发。该协议显著缓解GPU利用率低、分布式路径不一致、多模态数据关联错乱等典型训练瓶颈，广泛应用于COCO目标检测、推荐系统大规模样本加载等工业场景。本文深入解析TFRecord的设计哲学、分片策略、Feature类型选型逻辑及生产级容错

生成对抗网络（GAN）是深度学习中典型的计算密集型模型，其对抗训练机制对硬件算力、内存带宽和数据调度提出严苛要求。TPU作为专为张量计算设计的AI加速器，通过XLA编译、静态计算图和片上高带宽内存，在人脸图像生成等高分辨率任务中展现出远超GPU的吞吐效率。其核心价值在于将动态训练流程转化为硬件友好的确定性执行——要求模型结构对齐向量化单元（如5×5卷积、128通道）、数据流水线消除主机交互（TFRecord+双prefetch）、随机性绑定设备域（TPU RNG）。本文聚焦人脸GAN这一典型场景，深入解析T

一 简介 为解决数据来源的复杂性（各数据集的数据格式各不相同），Tensorflow使用TFRecord格式来统一输入数据的格式。 TFRecord是一种将图像数据和标签放在一起的二进制文件，能更好的利用内存，在tensorflow中快速的复制，移动，读取，存储 二 TFRecord文件中的数据格式是通过Proto Buffer定义的 Proto Buffer的...

Class FixedLenFeature Aliases: Class tf.FixedLenFeature Class tf.io.FixedLenFeature 复制代码 Defined in tensorflow/python/ops/parsing_ops.py. Configuration for parsing a fixed-length input feature. To tre...

TensorFlow提供了一种统一的格式来存储数据，这个格式就是TFRecord，TFRecord文件中的数据都是通过tf.train.Example Protocol Buffer的格式.proto来存储的。以下代码给出了tf.train.Example的定义。 message Example{ Features features = 1; } message Features{ ...

1、数据写入 带标签数据除了创建特征Feature之外，还要创建context标签特征 数据集 Feature Label 1 1 2,2 2 3,3,3 3 4,4,4,4 4 5,5,5,5,5 5 1 6 2,2 7 3,3,3 8 4,4,4,4 9 sequences = [[1], [2, 2], [3, 3, 3], [4, 4, 4, 4], [5, 5, 5, 5, 5],

一、数据 API 使用tf.data.Dataset.from_tensor_slices 创建一个数据集： dataset = tf.data.Dataset.from_tensor_slices(tf.range(10)) print(dataset, tf.range(10)) for item in dataset: print(item) 结果如下： from_tensor_slices 该函数创建一个给定张量的切片（沿第...

摘要： 本文对比了：原图、tobytes、gfile三种方式的图片数据的训练文件大小、训练时长、GPU利用率等指标，通过实际数据分析这3种训练方式的优缺点；明确指出gfile训练方式具有最佳的空间占用和GPU利用率；行文中强调了初学者容易犯错的tf.decode_raw 、 tf.image.decode_jpeg、tf.image.convert_image_dtype、tf.image.resize_images函数的使用方法；旨在减少大家在相关问题上为此付出的检索时间   目录 1、引入

摘要：本文主要对tf的一些常用概念与方法进行描述。为‘Tensorflow一些常用基本概念与函数’系列之二。

先来看TensorFlow中对identity的定义： #################################################################################################### def identity(input, name=None):  # pylint: disable=redefined-builtin ...

在使用TensorFlow训练神经网络时，首先面临的问题是：网络的输入 此篇文章，教大家将自己的数据集制作成TFRecord格式，feed进网络，除了TFRecord格式，TensorFlow也支持其他格 式的数据，此处就不再介绍了。建议大家使用TFRecord格式，在后面可以通过api进行多线程的读取文件队列。

一. 准备原始数据 首先，我们需要准备训练的原始数据，本次训练为图像分类识别，因而一开始，笔者从网上随机的下载了Dog的四种类别：husky，jiwawa，poodle，qiutian。每种类别30种，一共120张图片。在训练之前，需要做的就是进行图像的预处理，即将这些大小不一的原始图片转换成我们训练需要的shape。 下载的原始图片分别放到同一文件的不同文件夹下，如： 二. 编程实现

看了网上N多的教程，发现mnist的教程的数据都是官网已经制作好的，那么如果我们自己有数字图片，我们该怎么制作数据呢？ 现在我有6万张训练集，1万张测试集，下载地址在这mnist图片数据下载：http://pan.baidu.com/s/1pLMV4Kz 首先我们需要有图片数据的txt表，以及对应的标签，如下所示，制作txt表在caffe中已经提到，传送门 mnist/train/5