PyTorch 实现 tf.keras.losses.categorical_crossentropy

最新推荐文章于 2026-07-13 10:07:57 发布

原创最新推荐文章于 2026-07-13 10:07:57 发布 · 3.4k 阅读

4 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

nlp

当前文章被收录于：

nlp

2 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

这篇博客展示了如何在 PyTorch 中复现 TensorFlow 中的 `tf.keras.losses.categorical_crossentropy` 损失函数。通过具体的代码示例，作者比较了 TensorFlow 和 PyTorch 两种实现方式的等价性，并定义了一个自定义的 PyTorch 函数 `pt_categorical_crossentropy` 来计算分类交叉熵损失。

使用 PyTorch 实现 tf 中的 tf.keras.losses.categorical_crossentropy，或者 K.categorical_crossentropy

import tensorflow as tf
y_true = [[[0.,0.9]]]
y_pred = [[[0.4,0.6]]]
loss = tf.keras.losses.categorical_crossentropy(y_true, y_pred)
loss.numpy()
print('tf.keras.losses.categorical_crossentropy', loss)

loss = -(0*tf.math.log(0.4) + 0.9*tf.math.log(0.6))
print('tf.math.log', loss)

import torch
loss = -(0*torch.log(torch.tensor(0.4)) + 0.9*torch.log(torch.tensor(0.6)))
print('torch.loss', loss)

def pt_categorical_crossentropy(pred, label):
    """
    使用pytorch 来实现 categorical_crossentropy
    """
    # print(-label * torch.log(pred))
    return torch.sum(-label * torch.log(pred))

loss = pt_categorical_crossentropy(torch.tensor(y_pred), torch.tensor(y_true))
print(loss)

标签

#pytorch #深度学习 #keras