tf.add_weight 和 tf.Variable使用例子

最新推荐文章于 2024-03-27 06:00:00 发布

原创最新推荐文章于 2024-03-27 06:00:00 发布 · 5.8k 阅读

9 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#tensorflow

tf 专栏收录该内容

40 篇文章

订阅专栏

这篇博客介绍了如何在Keras中自定义层，并通过两种不同的方法添加权重：传统方式和使用`add_weight()`方法。这两种方法都用于创建一个线性层，但后者简化了权重初始化和管理的过程。示例展示了如何定义和应用线性层，并输出其运算结果。

Python3.8

Conda

Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

class Linear(keras.layers.Layer):
    def __init__(self, units=32, input_dim=32):
        super(Linear, self).__init__()
        w_init = tf.random_normal_initializer()
        self.w = tf.Variable(
            initial_value=w_init(shape=(input_dim, units), dtype="float32"),
            trainable=True,
        )
        b_init = tf.zeros_initializer()
        self.b = tf.Variable(
            initial_value=b_init(shape=(units,), dtype="float32"), trainable=True
        )

    def call(self, inputs):
        return tf.matmul(inputs, self.w) + self.b
        
x = tf.ones((2, 2))
linear_layer = Linear(4, 2)
y = linear_layer(x)
print(y)

您还可以使用一种更加快捷的方式为层添加权重：add_weight() 方法：
区别在函数传参不同

class Linear(keras.layers.Layer):
    def __init__(self, units=32, input_dim=32):
        super(Linear, self).__init__()
        self.w = self.add_weight(
            shape=(input_dim, units), initializer="random_normal", trainable=True
        )
        self.b = self.add_weight(shape=(units,), initializer="zeros", trainable=True)

    def call(self, inputs):
        return tf.matmul(inputs, self.w) + self.b


x = tf.ones((2, 2))
linear_layer = Linear(4, 2)
y = linear_layer(x)
print(y)