注意力机制和门控机制的区别
·
注意力机制的核心是softmax，指的是样本间（序列间）一定会通过对比来突出或者减弱某些权重。
门控机制的核心是sigmoid或者tanh，指的是单纯的对权重进行归一化，非常平滑，并且不同样本同一特征维度之间没有比较。一般只用来表示特征保留多少，不进行样本维度的比较。
感觉理解好注意力机制，还是得从mlp -> rnn -> gru -> seq2seq -> encoder-decoder -> attention ->mha ->transformer的顺序，以及序列的角度去理解。
两者有个相似点就是本质上都是给原始特征乘上一定的权重值进行特征变化，并且这个变换都是元素维度的变换（最后一步都是按位乘法做特征融合）。
不得不说，dl这个领域本质还是cv和nlp二者交叉融合发展的，其他领域的发展和这两个相比还是有一定的滞后性。
有“AI”的1024 = 2048，欢迎大家加入2048 AI社区
更多推荐
7
0- 0
已为社区贡献9条内容
所有评论(0)