1. 所有层共有方法
- layer.get_weights() :返回层的权重( numpy array)
- layer.set_weights(weights) :从numpy array中将权重加载到该层中,要求numpy array的形状与get_weights的形状相同
- layer.get_config() :返回当前层配置信息的字典,层也可以借由配置信息重构
from keras.utils.layer_utils import layer_from_config
config = layer.get_config()
layer = layer_from_config(config)如果层仅有一个计算节点(即该层不是共享层),则可以通过下列方法获得输入张量、输出张量、输入数据的形状和输出数据的形状:- layer.input
- layer.output
- layer.input_shape
- layer.output_shape
- layer.get_input_at(node_index)
- layer.get_output_at(node_index)
- layer.get_input_shape_at(node_index)
- layer.get_output_shape_at(node_index)
2. 常用层
常用层对应于core模块, core内部定义了一系列常用的网络层,包括全连接、激活层等
2.1. Dense层
keras.layers.core.Dense(output_dim, init='glorot_uniform', activation='linear', weights=None, W_regularizer=None, b_regularizer=None, activity_regularizer=None, W_constraint=None, b_constraint=None, bias=True, input_dim=None)
- output_dim:大于0的整数,代表该层的输出维度。模型中非首层的全连接层其输入维度可以自动推断,因此非首层的全连接定义时不需要指定输入维度。
- init:初始化方法,为预定义初始化方法名的字符串,或用于初始化权重的Theano函数。该参数仅在不传递 weights 参数时才有意义。
- activation:激活函数,为预定义的激活函数名,或逐元素( element-wise)的Theano函数。如果不指定该参数,将不会使用任何激活函数(即使用线性激活函数: a(x)=x)
- weights:权值,为numpy array的list。该list应含有一个形如( input_dim,output_dim)的权重矩阵和一个形如(output_dim,)的偏置向量。
- W_regularizer:施加在权重上的正则项,为WeightRegularizer对象
- b_regularizer:施加在偏置向量上的正则项,为WeightRegularizer对象
- activity_regularizer:施加在输出上的正则项,为ActivityRegularizer对象
- W_constraints:施加在权重上的约束项,为Constraints对象
- b_constraints:施加在偏置上的约束项,为Constraints对象
- bias:布尔值,是否包含偏置向量(即层对输入做线性变换还是仿射变换)
- input_dim:整数,输入数据的维度。当Dense层作为网络的第一层时,必须指定该参数或 input_shape 参数。
输入:形如( nb_samples, input_dim)的2D张量
输出:形如 ( nb_samples, output_dim)的2D张量
输出:形如 ( nb_samples, output_dim)的2D张量
2.2. Activation层
激活层对一个层的输出施加激活函数
keras.layers.core.Activation(activation)
输出shape与输入shape相同
keras.layers.core.Activation(activation)
- activation:将要使用的激活函数,为预定义激活函数名或一个Tensorflow/Theano的函数。
输出shape与输入shape相同
2.3. Dropout层
为输入数据施加Dropout。 Dropout将在训练过程中每次更新参数时随机断开一定百分比( p)的输入神经元连接, Dropout层用于防止过拟合。
keras.layers.core.Dropout(p)
keras.layers.core.Dropout(p)
- p: 0~1的浮点数,控制需要断开的链接的比例
2.4. SpatialDropout1D层
SpatialDropout1D与Dropout的作用类似,但它断开的是整个1D特征图,而不是单个神经元。如果一张特征图的相邻像素之间有很强的相关性(通常发生在低层的卷积层中),那么普通的dropout无法正则化其输出,否则就会导致明显的学习率下降。这种情况下, SpatialDropout1D能够帮助提高特征图之间的独立性,应该用其取代普通的Dropout
keras.layers.core.SpatialDropout1D(p)
输出shape与输入相同
- p: 0~1的浮点数,控制需要断开的链接的比例
输出shape与输入相同
2.5. SpatialDropout2D层
SpatialDropout2D与Dropout的作用类似,但它断开的是整个2D特征图,而不是单个神经元。如果一张特征图的相邻像素之间有很强的相关性(通常发生在低层的卷积层中),那么普通的dropout无法正则化其输出,否则就会导致明显的学习率下降。这种情况下, SpatialDropout2D能够帮助提高特征图之间的独立性,应该用其取代普通的Dropout
keras.layers.core.SpatialDropout2D(p, dim_ordering='default')
输出shape与输入相同
- p: 0~1的浮点数,控制需要断开的链接的比例
- dim_ordering:'th'或'tf',默认为 ~/.keras/keras.json 配置的 image_dim_ordering 值
输出shape与输入相同
2.6. SpatialDropout3D层
keras.layers.core.SpatialDropout3D(p, dim_ordering='default')
与之上的类似
与之上的类似
2.7. Flatten层
Flatten层用来将输入“压平”,即把多维的输入一维化,常用在从卷积层到全连接层的过渡。 Flatten不影响batch的大小。
keras.layers.core.Flatten()
keras.layers.core.Flatten()
2.8. Reshape层
Reshape层用来将输入shape转换为特定的shapekeras.layers.core.Reshape(target_shape)
- target_shape:目标shape,为整数的tuple,不包含样本数目的维度( batch大小)
输出shape:(batch_size,)+target_shape
# as first layer in a Sequential model
model = Sequential()
model.add(Reshape((3, 4), input_shape=(12,)))
# now: model.output_shape == (None, 3, 4)
# note: `None` is the batch dimension
# as intermediate layer in a Sequential model
model.add(Reshape((6, 2)))
# now: model.output_shape == (None, 6, 2)2.9. Permute层
Permute层将输入的维度按照给定模式进行重排,例如,当需要将RNN和CNN网络连接时,可能会用到该层。
keras.layers.core.Permute(dims)
keras.layers.core.Permute(dims)
- dims:整数tuple,指定重排的模式,不包含样本数的维度。重拍模式的下标从1开始。例如( 2, 1)代表将输入的第二个维度重拍到输出的第一个维度,而将输入的第一个维度重排到第二个维度
输入shape任意,当使用激活层作为第一层时,要指定 input_shape
输出shape与输入相同,但是其维度按照指定的模式重新排列
输出shape与输入相同,但是其维度按照指定的模式重新排列
model = Sequential()
model.add(Permute((2, 1), input_shape=(10, 64)))
# now: model.output_shape == (None, 64, 10)
# note: `None` is the batch dimension2.10. RepeatVector层
RepeatVector层将输入重复n次
keras.layers.core.RepeatVector(n)
输出shape形如( nb_samples, n, features)的3D张量
keras.layers.core.RepeatVector(n)
- n:整数,重复的次数
输出shape形如( nb_samples, n, features)的3D张量
2.11. Merge层
Merge层根据给定的模式,将一个张量列表中的若干张量合并为一个单独的张量
keras.engine.topology.Merge(layers=None, mode='sum', concat_axis=-1, dot_axes=-1, output_shape=None, node_indices=None, tensor_indices=None, name=None)
keras.engine.topology.Merge(layers=None, mode='sum', concat_axis=-1, dot_axes=-1, output_shape=None, node_indices=None, tensor_indices=None, name=None)
- layers:该参数为Keras张量的列表,或Keras层对象的列表。该列表的元素数目必须大于1。
- mode:合并模式,为预定义合并模式名的字符串或lambda函数或普通函数,如果为lambda函数或普通函数,则该函数必须接受一个张量的list作为输入,并返回一个张量。如果为字符串,则必须是下列值之一:“sum”, “mul”, “concat”, “ave”, “cos”, “dot”
- concat_axis:整数,当 mode=concat 时指定需要串联的轴
- dot_axes:整数或整数tuple,当 mode=dot 时,指定要消去的轴
- output_shape:整数tuple或lambda函数/普通函数(当mode为函数时)。如果output_shape是函数时,该函数的输入值应为一一对应于输入shape的list,并返回输出张量的shape。
- node_indices:可选,为整数list,如果有些层具有多个输出节点( node)的话,该参数可以指定需要merge的那些节点的下标。如果没有提供,该参数的默认值为全0向量,即合并输入层0号节点的输出值。
- tensor_indices:可选,为整数list,如果有些层返回多个输出张量的话,该参数用以指定需要合并的那些张量。
model1 = Sequential()
model1.add(Dense(32))
model2 = Sequential()
model2.add(Dense(32))
merged_model = Sequential()
merged_model.add(Merge([model1, model2], mode='concat', concat_axis=1)2.12. Lambda层
本函数用以对上一层的输出施以任何Theano/TensorFlow表达式
keras.layers.core.Lambda(function, output_shape=None, arguments={})
keras.layers.core.Lambda(function, output_shape=None, arguments={})
- function:要实现的函数,该函数仅接受一个变量,即上一层的输出
- output_shape:函数应该返回的值的shape,可以是一个tuple,也可以是一个根据输入shape计算输出shape的函数
- arguments:可选,字典,用来记录向函数中传递的其他关键字参数
输入shape任意,当使用该层作为第一层时,要指定 input_shape
输出shape由 output_shape 参数指定的输出shape
输出shape由 output_shape 参数指定的输出shape
2.13. ActivityRegularizer层
经过本层的数据不会有任何变化,但会基于其激活值更新损失函数值
keras.layers.core.ActivityRegularization(l1=0.0, l2=0.0)
输出shape与输入shape相同
keras.layers.core.ActivityRegularization(l1=0.0, l2=0.0)
- l1: 1范数正则因子(正浮点数)
- l2: 2范数正则因子(正浮点数)
输出shape与输入shape相同
2.14. Masking层
使用给定的值对输入的序列信号进行“屏蔽”,用以定位需要跳过的时间步对于输入张量的时间步,即输入张量的第1维度(维度从0开始算,见例子),如果输入张量在该时间步上都等于 mask_value ,则该时间步将在模型接下来的所有层(只要支持masking)被跳过(屏蔽)。如果模型接下来的一些层不支持masking,却接受到masking过的数据,则抛出异常。
keras.layers.core.Masking(mask_value=0.0)
例子:
考虑输入数据 x 是一个形如(samples,timesteps,features)的张量,现将其送入LSTM层。因为你缺少时间步为3和5的信号,所以你希望将其掩盖。这时候应该:
赋值 x[:,3,:] = 0. , x[:,5,:] = 0.
在LSTM层之前插入 mask_value=0. 的 Masking 层
考虑输入数据 x 是一个形如(samples,timesteps,features)的张量,现将其送入LSTM层。因为你缺少时间步为3和5的信号,所以你希望将其掩盖。这时候应该:
赋值 x[:,3,:] = 0. , x[:,5,:] = 0.
在LSTM层之前插入 mask_value=0. 的 Masking 层
model = Sequential()
model.add(Masking(mask_value=0., input_shape=(timesteps, features)))
model.add(LSTM(32))2.15. Highway层
Highway层建立全连接的Highway网络,这是LSTM在前馈神经网络中的推广
keras.layers.core.Highway(init='glorot_uniform', transform_bias=-2, activation='linear', weights=None, W_regularizer=None, b_regularizer=None, activity_regularizer=None, W_constraint=None, b_constraint=None, bias=True, input_dim=None)
keras.layers.core.Highway(init='glorot_uniform', transform_bias=-2, activation='linear', weights=None, W_regularizer=None, b_regularizer=None, activity_regularizer=None, W_constraint=None, b_constraint=None, bias=True, input_dim=None)
参数与Dense层同名相同
2.16. MaxoutDense层
全连接的Maxout层,MaxoutDense 层以 nb_features 个 Dense(input_dim,output_dim) 线性层的输出的最大值为输出。 MaxoutDense 可对输入学习出一个凸的、分段线性的激活函数。
keras.layers.core.MaxoutDense(nb_features)
输出shape形如( nb_samples, output_dim)的2D张量
keras.layers.core.MaxoutDense(nb_features)
- nb_features:内部使用的全连接层的数目
输出shape形如( nb_samples, output_dim)的2D张量
本文是关于Keras网络层的读书笔记,详细介绍了包括Dense、Activation、Dropout、SpatialDropout及Flatten等在内的核心层的用法,涵盖各层的参数设置和功能作用。
&spm=1001.2101.3001.5002&articleId=79739472&d=1&t=3&u=ae9db83b64634f01bc4b69e24359c5a0)
1万+

被折叠的 条评论
为什么被折叠?



