Keras读书笔记----激活层、规范层、噪音层、包装器

1. 高级激活层

1.1. LeakyReLU层

1.3. ELU层

1.5. ThresholdedReLU层

1.6. SReLU层

2. 规范化

2.1. BatchNormalization层

3. 噪声层Noise

3.2. GaussianDropout层

4. 包装器Wrapper

4.1. TimeDistributed包装器

# as the first layer in a model
model = Sequential()
model.add(TimeDistributed(Dense(8), input_shape=(10, 16)))
# now model.output_shape == (None, 10, 8)

model = Sequential()
model.add(Bidirectional(LSTM(10, return_sequences=True), input_shape=(5, 10)))
model.add(Bidirectional(LSTM(10)))
model.add(Dense(5))
model.add(Activation('softmax'))
model.compile(loss='categorical_crossentropy', optimizer='rmsprop')

• build(input_shape) ：这是定义权重的方法，可训练的权应该在这里被加入列表 `self.trainable_weights 中。其他的属性还包括 self.non_trainabe_weights （列表）和 self.updates （需要更新的形如（ tensor, new_tensor）的tuple的列表）。你可以参考 BatchNormalization 层的实现来学习如何使用上面两个属性。这个方法必须设置 self.built = True ，可通过调用 uper([layer],self).build() 实现
• call(x) ：这是定义层功能的方法，除非你希望你写的层支持masking，否则你只需要关心 call 的第一个参数：输入张量
• get_output_shape_for(input_shape) ：如果你的层修改了输入数据的shape，你应该在这里指定shape变化的方法，这个函数使得Keras可以做自动shape推断

from keras import backend as K
from keras.engine.topology import Layer
class MyLayer(Layer):
    def __init__(self, output_dim, **kwargs):
        self.output_dim = output_dim
        super(MyLayer, self).__init__(**kwargs)
    def build(self, input_shape):
        input_dim = input_shape[1]
        initial_weight_value = np.random.random((input_dim, output_dim))
        self.W = K.variable(initial_weight_value)
        self.trainable_weights = [self.W]
        super(MyLayer, self).build() # be sure you call this somewhere!
    def call(self, x, mask=None):
        return K.dot(x, self.W)
    def get_output_shape_for(self, input_shape):
        return (input_shape[0] + self.output_dim)