tensorflow2 中 tf.data.Dataset.map中利用tf.py_function() 问题

最新推荐文章于 2026-06-16 11:00:50 发布

原创最新推荐文章于 2026-06-16 11:00:50 发布 · 1k 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#python #tensorflow #深度学习

收录于

TensorFlow挖坑专栏收录该内容

1 篇文章

订阅专栏

TF中经常会遇到数据预处理时tf自带API无法满足要求只能利用numpy或者CV2去处理数据，这个时候tf.data.Dataset.map的function参数就要求用tf.py_function封装。

但是tf.py_function需要提供inp和Tout参数，测试发现如果输入是tf.string类型map一直报错，这个时候只需要加上lambda就搞定了就不需要你强制告诉tf.py_function数据输入类型是什么了。

tf.data.Dataset.from_tensor_slices(all_image_path).map(lambda x:tf.py_function(load_and_preprocess_image, inp=[x],Tout=tf.float32)）

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

One橙序猿

关注关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

一、TF2.x数据加载处理pipeline

Evonnehyf的博客

10-19

611

前言本文内容主要搬运自官方文档意在梳理相关内容，解决工作中遇到的问题：提升数据加载、处理效率本文主要围绕tf.record、tf.data、tf.keras展开梳理，会涉及一些个人demo 1. tf.record & tf.Example 对数据进行序列化并将其存储在一组可线性读取的文件（每个文件 100-200MB）中。这尤其适用于通过网络进行流式传输的数据。这种做法对缓冲任何数据预处理也十分有用。 tf.Example 消息（或 protobuf）是一种灵活的消息类型，表示 {“s

参与评论您还未登录，请先登录后发表或查看评论

Tensorflow 2.0 使用tf.data.dataset加载多个.npy文件，以及OOM问题解决

Crisholic的博客

06-10

2136

如何在tensorflow2中使用dataset加载文件废了太多脑细胞，实际训练过程中还有好多坑，用作记录做医学图像训练，图片大小为1024 x 1024并且保存为.npy文件，单个文件大小4M，生成的模拟图片有2000个，全部读取对之后的训练造成很大影响，基本一定会OOM。采用tensorflow推荐的tf.data接口。参考链接 Tensorflow官方文档 https://www.tensorflow.org/guide/data 加载图片 https://www.tensorflow.org/t

tf.data.Dataset.map()

Fwuyi的博客

07-25

2427

接受函数fun，Dataset中的每个数据都会被作为这个函数的参数进行计算输出，组成新的。tf.data.Dataset.map(fun)map的参数是一个函数fun。

tf.data.Dataset.map()函数的用法

weixin_44493841的博客

11-03

2853

文章目录tf.data.Dataset.map()函数的用法官方解释生成数据集用lambda来转换用函数 sum(a) 来转换 tf.data.Dataset.map()函数的用法官方解释此转换适用于此数据集的每个元素，并返回包含已转换元素的新数据集，其顺序与输入中显示的顺序相同 import tensorflow as tf 生成数据集 dataset = tf.data.Dataset.range(10).batch(6).shuffle(10) list(dataset.as_numpy_it

tensorflow2.x之由dataset.map引发出的关于tf.py_function以及tf.numpy_function问题

yxpandjay的博客

10-13

1145

前言：tensorflow是一个庞大的系统，里面的函数很多，实现了很多常规的一些操作，但是始终没有办法涵盖所有的操作，有时候我们需要定义一些自己的操作逻辑来实现制定的功能，发现没那么简单，本文是在编写tf.data.DataSet的时候出现的一个问题，做了一个集中化的总结，会涉及到以下概念： EagerTensor和Tensor，tf.py_function以及tf.numpy_function，dataset.map等等。一、问题描述需要解决的问题，现在有三个文本文件，分别存在files文件夹中

有关于tf.py_function的一些概述

qq_27273975的博客

04-14

1322

有关于tf.py_function的一些认识

【Tensorflow2】AttributeError: ‘Tensor‘ object has no attribute ‘numpy‘ 解决 (tf.py_function)

qq_27329407的博客

07-11

6789

AttributeError: 'Tensor' object has no attribute 'numpy' tf.numpy_function, tf.py_function Tensorflow

TensorFlow隐藏能力：tf.data、tf.function与SavedModel工程实践

tomfish

06-15

368

计算图是深度学习框架的核心抽象，它将模型逻辑转化为可复现、可部署、跨平台执行的确定性结构。TensorFlow并非仅提供高层API的训练工具，其本质是一个以图优先的计算系统，强调设备无关抽象、数据-模型协同优化与服务契约标准化。通过tf.data构建可版本化、可压测的数据流水线，利用tf.function实现Python逻辑到可序列化图的精准翻译，并依托SavedModel封装含SignatureDef的服务接口，TensorFlow支撑起从边缘端实时推理到联邦学习、大规模推荐系统的工业级落地。本文聚焦这三

TensorFlow 2 中 tf.function 替代 Session 的核心实践

最新发布

diegouyi3472的博客

06-16

331

tf.function 是 TensorFlow 2 实现函数式执行的核心机制，它将 Python 函数自动编译为高性能计算图，在保留 Eager Execution 调试便利性的同时，提供接近原生图模式的训练与推理性能。其原理基于 AutoGraph 控制流转换、tracing 机制与静态签名约束，技术价值在于统一开发、训练与部署的心智模型，消除 Session 带来的调试割裂、控制流限制和部署复杂性。典型应用场景包括自定义训练循环、数据预处理流水线加速、混合精度训练及多 GPU 分布式训练。本文聚焦于

tfrecord文件的map在使用的时候所踩的坑总结（map、py_function、numpy_function）

MIss-Y的博客

05-27

2493

前言：在使用tensorflow解析tfrecord文件的时候，踩过很多坑，其中一个便是关于tensor，eagertensor的坑，前面的一片文章已经有所说明，本文基于tensorflow2.1，在前面一篇文章的基础之上进行补充，前面的文章参考： tensorflow2.x之由dataset.map引发出的关于tf.py_function以及tf.numpy_function问题问题的原因分析，当输入X所对应的值是字符串的时候，比如前面文章中的文件路径，没有办法使用map直接解析，需要借助于tf.p

使用tf.data.Dataset.map（）报错The Conv2D op currently only supports the NHWC tensor format on the CPU，but

Cacacacake的博客

04-30

1805

最近在使用tf.data.Dataset.map（data_map），我想使用data_map对读取的图片进行模糊，并将模糊后的图片与清晰的图片在通道上连接从而得到一个新的数据集，但在运行时却报了以下的错误： tensorflow.python.framework.errors_impl.UnimplementedError: 2 root error(s) found. (0) Unimplemented: 2 root error(s) found. (0) Unimplemented: {

TensorFlow下数据加载——tf.data的使用

m_buddy的博客

04-14

5796

1. 概述在Pytorch中数据加载是通过torch.utils.data.dataset与torch.utils.data.dataloader完成的，而在TensorFlow中现在主推的是使用tf.data实现数据加载。此前，在TensorFlow中读取数据一般有两种方法： 1）使用placeholder读内存中的数据 2）使用queue读硬盘中的数据（参考：十图详解tensorflow数...

tensorflow2.0中dataset API 总结

weixin_44493841的博客

12-11

2490

tensorflow2.0中data API 总结 tf.data.Dataset.list_files(filename) 参数：filename：文件路径或者文件路径列表，如：’…/csvData/iris.csv’，[’…/csvData/iris.csv’,’…/csvData/boston_house_prices.csv’]。返回值：文件路径或者文件路径列表的Dataset形式代码...

经验干货：使用tf.py_func函数增加Tensorflow程序的灵活性

热门推荐

jiongnima的博客

06-03

2万+

不知不觉，笔者接触Tensorflow也满一年了。在这一年当中，笔者对Tensorflow的了解程度也逐渐加深。相比笔者接触的第一个深度学习框架Caffe而言，笔者认为Tensorflow更适合科研一些，网络搭建与算法设置的自由度也更大，使用Tensorflow实现自己的算法也更迅速。但是，笔者认为Tensorflow还是有不足的地方。第一体现在Tensorflow的数据机制，由于te...

Tensorflow2.0的tf.keras中batch()、map()、shuffle()、repeat()用法总结

silent1cat的博客

08-18

2052

概述 1.batch()：batch在阴影数据时按size大小输出迭代。 2.map()：map用法和在Python中基本相同，接受一个函数对象参数，使用Dataset读取的每个数据都会被作为这个函数对象的参数进行计算输出，组成新的数据集。 3.shuffle()：shuffle作用于打乱数据集中的元素。 4.repeat()：repeat将数据集重复多次用法 1.batch(size) import tensorflow as tf import numpy as np dataset = tf.da

Tensorflow.Dataset中map，shuffle，repeat，batch的总结

anshuai_aw1的博客

03-25

1万+

Dataset API是TensorFlow 1.3版本中引入的一个新的模块，主要服务于数据读取，构建输入数据的pipeline。 Google官方给出的Dataset API中的类图：我们本文只关注Dataset的一类特殊的操作：Transformation，即map，shuffle，repeat，batch等。在正式介绍之前，我们再回忆一下深度学习中的一些基本概念。 batch siz...

Tensorflow2.0入门教程10：tf.data.Dataset使用介绍

itluojie的博客

03-16

6088

很多时候，我们希望使用自己的数据集来训练模型。然而，面对一堆格式不一的原始数据文件，将其预处理并读入程序的过程往往十分繁琐，甚至比模型的设计还要耗费精力。比如，为了读入一批图像文件，我们可能需要纠结于 python 的各种图像处理包（比如 pillow ），自己设计 Batch 的生成方式，最后还可能在运行的效率上不尽如人意。为此，TensorFlow 提供了 tf.data 这一模块，包括了一套...