[Keras] 错误之ValueError: Unknown activation function:******

最新推荐文章于 2023-02-16 00:05:49 发布

原创最新推荐文章于 2023-02-16 00:05:49 发布 · 7.4k 阅读

14 ·

本内容遵循CC 4.0 BY-SA版权协议

AI/ML/DL 专栏收录该内容

254 篇文章

订阅专栏

本文详细解析了在使用Keras加载模型时遇到的未知层或激活函数错误，如'Unknown activation function:swish_activation'。提供两种解决思路：通过代码构建模型或在加载模型时指定自定义结构对象。并附上具体代码示例，帮助读者解决类似问题。

在使用keras加载模型时，例如load_model, model_from_json等，如果模型存在keras未定义的激活函数、层等会导致未知错误，例如错误可能是：

ValueError: Unknown activation function:swish_activation

ValueError: Unknown layer:FixedDropout

解决思路有两种：

一是使用代码构建模型model = model_build(...)，而不是直接加载模型；

二是在加载模型时指定这些结构对象，并提前定义好。但是怎么定义呢？直接去构建模型的代码里找相应的对象即可，或者搜索。

1、定义结构对象：


from keras import backend as K
from keras.utils.generic_utils import get_custom_objects  # tensorflow.keras.generic_utils
from keras.layers import Activation

# 函数
def swish_activation(x):
        return (K.sigmoid(x) * x)

# 类
class FixedDropout(layers.Dropout):
    def _get_noise_shape(self, inputs):
        if self.noise_shape is None:
            return self.noise_shape

        symbolic_shape = backend.shape(inputs)
        noise_shape = [symbolic_shape[axis] if shape is None else shape
                       for axis, shape in enumerate(self.noise_shape)]
        return tuple(noise_shape)

2、加载模型时指定自定义的结构对象：

from keras_bert import get_custom_objects

# load_model
from keras.models import load_model
model = load_model(model_path, custom_objects=get_custom_objects(
    'swish_activation': swish_activation, 'FixedDropout': FixedDropout))

# model_from_json
from keras.models import model_from_json
model = model_from_json(model_string, custom_objects=get_custom_objects(
    'swish_activation': swish_activation, 'FixedDropout': FixedDropout))

参考：

1、Implementing Swish Activation Function in Keras

2、ValueError: Unknown activation function:swish_activation

3、Keras读取保存的模型时, 产生错误[ValueError: Unknown activation function:relu6]

4、Keras load_model raise ValueError: Unknown layer: TokenEmbedding问题