报错 AttributeError: ‘Tensor‘ object has no attribute ‘numpy‘的一种可能原因

该错误可能发生在尝试在 @tf.function 装饰的函数内部将一个 Tensor 转换为 NumPy 数组时。如下，假设你在训练步骤中计算了一个损失值，并希望立即将其值记录下来，你可能会想直接将Tensor转换为numpy：

@tf.function
def train_step(self, data):
    inputs, labels = data
    with tf.GradientTape() as tape:
        predictions = self(inputs, training=True)
        loss = self.compiled_loss(labels, predictions, regularization_losses=self.losses)

    gradients = tape.gradient(loss, self.trainable_variables)
    self.optimizer.apply_gradients(zip(gradients, self.trainable_variables))

    # 这里尝试将损失值转换为 NumPy 并记录到 W&B
    wandb.log({"loss": loss.numpy()})

但这段代码会报错：AttributeError: 'Tensor' object has no attribute 'numpy'

错误原因

这个错误的根本原因在于 @tf.function 的工作原理。@tf.function 会将 Python 代码转换为 TensorFlow 的计算图（Graph），而在计算图模式下，TensorFlow 的 Tensor 是符号化的对象，并不持有实际的数值。因此，Tensor 对象无法直接调用 .numpy() 方法。

解决方案

要解决这个问题，可以采取以下步骤：

1. 不要在 @tf.function 内部转换 Tensor：将所有需要转换为 NumPy 数组的操作移到 @tf.function 外部。

2. 返回 Tensor 并在函数外部进行转换和记录：在 @tf.function 内部返回计算得到的损失值，然后在函数外部执行 .numpy() 方法来获取数值并记录。

修改后的代码

@tf.function
def train_step(self, data):
    inputs, labels = data
    with tf.GradientTape() as tape:
        predictions = self(inputs, training=True)
        loss = self.compiled_loss(labels, predictions, regularization_losses=self.losses)

    gradients = tape.gradient(loss, self.trainable_variables)
    self.optimizer.apply_gradients(zip(gradients, self.trainable_variables))

    return loss

# 在函数外部进行记录
loss_value = model.train_step(data)
wandb.log({"loss": loss_value.numpy()})