从github上转来,实在是厉害的想法,什么时候自己也能写出这种精妙的代码就好了
原地址:
简易高效的LeakyReLu实现
代码如下: 我做了些改进,因为实在tensorflow中使用,就将原来的abs()函数替换成了tf.abs()
import tensorflow as tf
def LeakyRelu(x, leak=0.2, name="LeakyRelu"):
with tf.variable_scope(name):
f1 = 0.5 * (1 + leak)
f2 = 0.5 * (1 - leak)
return f1 * x + f2 * tf.abs(x) # 这里和原文有不一样的,我没试验过原文的代码,但tf.abs()肯定是对的
本文介绍了一种在TensorFlow中实现LeakyReLU激活函数的方法,通过巧妙地利用数学公式简化了计算过程,提高了运行效率。
&spm=1001.2101.3001.5002&articleId=73335858&d=1&t=3&u=5d866700cd3f4c33a6b83f66ba1efe65)
1万+

被折叠的 条评论
为什么被折叠?



