关于tensorflow框架下训练结果异常调试记录（一）

Tensorflow运行中遇到OOM when allocating tensor 在使用tensorflow训练程序的时候，遇到了如下错误： 原因是GPU OOM内存不够，因此可尝试改成批处理。即将训练的数据调小。 将batch_size调小。

在使用tensorflow训练程序的时候，遇到了如下错误： 这表明内存溢出，在查看发现有另外一个训练程序与之争抢资源，停掉，在重新给训练任务分配GPU，避免争抢，问题解决。

问题描述： 续接上篇博客所描述的问题，使用了tensorflow给出的mobilenetv1模型作为基础模型，后接自己的回归层，训练后的模型拿出来直接测试发现测试结果都是一样的，不管输入什么图像结果都是一样的，于是循着上篇博客解决问题的方式去找代码中存在的问题，在代码上发现没有存在类似的错误，代码本身似乎是没有bug的，就是找不到什么原因，在网上找了很多的参考，现记录解决该问题的过程和方式。 首先...

在用tensorflow构建神经网络的时候，有很多随机的因素，比如参数的随机初始化: 正态分布随机变量tf.random_normal([m,n])，均匀分布的随机变量tf.random_uniform([m,n])，还有在从tfrecord读取数据时，也会随机打乱数据。 那么由于这些随机的操作，即使是在输入数据完全一样的情况下，每次训练的结果也不一样，那么如果想要使得每次训练的结果一致，应该怎...

深入解析TensorFlow模型训练异常的定位与解决方法，涵盖Eager Execution、GradientTape梯度追踪、tf.debugging断言机制及TensorBoard可视化工具的实战应用。通过真实案例揭示损失NaN、梯度消失等常见问题的根因，并提供可落地的日志规范与工程优化建议，让模型训练从“黑盒”走向透明可控。

通过结合TensorFlow官方容器镜像与Markdown文档化实践，系统化记录模型调试过程。利用Docker实现环境一致性，以结构化方式在Jupyter中记录实验目标、参数变更和错误分析，使每一次调试可追溯、可复现。该方法提升个人效率的同时，也为团队构建了可共享的知识资产。

此外，我们定义的 TensorBoard 回调将生成可以使用 TensorBoard 进行可视化的日志，向您显示更详细的信息，例如损失曲线和激活直方图。在此示例中，我们加载 MNIST 数据集，构建一个简单的神经网络模型，对其进行编译，然后使用指定的日志目录定义 TensorBoard 回调。在 TensorBoard 中，您可以探索不同的仪表板，例如标量、图表、分布、直方图、图像等。TensorBoard 的分布和直方图仪表板允许您可视化权重、偏差和激活的分布，这可以揭示对收敛和潜在问题的见解。

1、ValueError: setting an array element with a sequence. 这个错误通常是由于train_x,train_y 和 mask（test_x,test_y,mask）出现了问题。这个时候可以尝试打印部分train_x,部分train_y或mask。尤其注意他们的长度信息是否对应。遇到过的出错有： X_train, X_test, y_train,...

之前在TensorFlow中实现不同的神经网络，作为新手，发现经常会出现计算的loss中，出现Nan值的情况，总的来说，TensorFlow中出现Nan值的情况有两种，一种是在loss中计算后得到了Nan值，另一种是在更新网络权重等等数据的时候出现了Nan值，本文接下来，首先解决计算loss中得到Nan值的问题，随后介绍更新网络时，出现Nan值的情况。 Loss计算中出现Nan值 在搜

点击上方关注，All in AI中国线性回归简介线性回归是监督学习的一个重要算法。在本文中，我将重新使用我从[1](参考文献部分)中引用的以下符号。xi表示“输入”变量，也称为输入特征yi表示我们试图预测的“输出”或目标变量一对(xi，yi)被称为训练示例m个训练样例列表{xi，yi; i = 1，...，m}称为训练集符号中的上标“i”是训练集的索引X表示输入值的空间，Y表示输出值的空间。在本文...

   在前两期专栏tensorflow2caffe(1)和tensorflow2caffe(2)中，笔者向大家介绍了caffemodel文件类型下的参数架构和如何取出tensorflow框架下训练参数。在本期中，笔者将向大家阐述，如何去将tensorflow框架下训练得到的参数转化为caffe框架下的规定格式的参数。首先，我们来捋一捋目前我们手里面已经有了哪些东西： 1. 我们有自己的tenso...

        Tensorflow是目前最流行的深度学习框架，我们可以用它来搭建自己的卷积神经网络并训练自己的分类器，本文介绍怎样使用Tensorflow构建自己的CNN，怎样训练用于简单的验证码识别的分类器。本文假设你已经安装好了Tensorflow，了解过CNN的一些知识。 下面将分步介绍怎样获得训练数据，怎样使用tensorflow构建卷积神经网络，怎样训练，以及怎样测试训练出来的分类器...

本文仅对一些常见的优化方法进行直观介绍和简单的比较，主要是一阶的梯度法，包括SGD, Momentum, Nesterov Momentum, AdaGrad, RMSProp, Adam。 其中SGD,Momentum,Nesterov Momentum是手动指定学习速率的,而后面的AdaGrad, RMSProp, Adam,就能够自动调节学习速率。

作者 | 石晓文转载自小小挖掘机（ID:wAIsjwj）本文旨在通过最通俗易懂的过程来详解Transformer的每个步骤！假设我们在做一个从中文翻译到英文的过程，我们的...