
可以看出最大的区别在于softmax的计算的是一个比重,而sigmoid只是对每一个输出值进行非线性化。二者在结果上很相似,区别就在于softmax是一个针对输出结果归一化的过程,所以很多文献里也称作softmax层;而sigmoid只是一个非线性激活过程,所以一般称为激活函数。二者公式上也并不是直接归一化的关系:
sigmoid:
softmax
可以看到softmax在求概率的时候,是会考虑其他数值的,而sigmoid值考虑了他自己这个数,这也是为什么上面的图softmax的图是有交叉的,而sigmoid没有交叉
为什么说softmax一般是多分类问题使用。sigmoid用于二分类问题。
1、 sigmoid本身是用来做激活函数的,并不是


5142

被折叠的 条评论
为什么被折叠?



