Self Attention自注意力机制

原创 已于 2025-06-06 15:53:55 修改 · 412 阅读 · 3 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
标签
#机器学习
于 2025-06-06 15:51:35 首次发布

低功耗蓝牙项目，需要一块懂省电的板

思澈 SF32LB52 芯片，BLE 协议栈深度优化，上手即开发

点击查看

李宏毅: 《机器学习》 学习笔记

Vector Set as Input

一段文本

在这里插入图片描述

一段声音信号

x

图

社交图

在这里插入图片描述

分子图

在这里插入图片描述

Output

each vector has a label(sequence labeling)

在这里插入图片描述

the whole sequence has a label

在这里插入图片描述

model decides the num of labels itself(seq2seq)

在这里插入图片描述

self-attention

以sequence labeling 为例:
在这里插入图片描述

self-attention

在这里插入图片描述

Truncated self-attention

通常我们不需要self-attention 一整个句子,只关注其中一部分，这样可以加快运算的速度。
在这里插入图片描述

self-attention for Image

self-attention GAN
DEtection Transformer(DETR)

低功耗蓝牙项目，需要一块懂省电的板

思澈 SF32LB52 芯片，BLE 协议栈深度优化，上手即开发

点击查看
李宏毅机器学习：self-attention（自注意力机制）和transformer及其变形
iwill323的博客
10-20 6673
self-attention，transformer及变形
自注意力机制(Self-Attention)
Michale_L的博客
08-27 9万+
自注意力机制
神经网络学习小记录77——深入浅出Self-Attention自注意力机制与Transformer模块
Bubbliiiing的学习小课堂
01-13 1万+
Self-Attention自注意力机制是Transformer模块的重要组成部分，是截至到现在（2024年1月6日）大大小小网络的标配，无论是LLM还是StableDiffusion，内部都有Self-Attention与Transformer，因此，一起来学学哈哈。
一文搞定自注意力机制（Self-Attention）
热门推荐
markconca的博客
10-25 17万+
1 Self-Attention的概念2 Self-Attention的原理3 Self-Attention的作用4 Self-Attention的问题。
自注意力机制（self-attention）
m0_52118763的博客
09-11 1457
self-attention
什么是自注意力机制（Self-attention）
蓝鲸鱼的博客
05-05 1万+
RNN网络的的输入是一个定长的向量。例如，分类网络的输入图片大小是固定的。当网络的输入变为变长的向量时，RNN网络就不再适用了，自注意力机制（Self-attention）可以解决这一问题，通过“动态”地生成不同连接地权重。 如下图所示，自注意力机制的输入为长度为NNN（NNN可变化）的向量，输出同样为长度为NNN的向量。 1. 自注意力机制的计算 自注意力机制根据各个输入向量的关联输出，使得每个输出向量包含输入向量的上下文关系。首先需要计算两个输入向量的关联α\alphaα。 如下图所示为Dot-pr
Self-Attention(自注意力机制)
feifeikon的博客
07-01 452
在进行Self - Attention之前，我们首先定义3个1×4的input。x = [
self-Attention自注意力机制详解
qq_52071659的博客
01-03 493
这三个矩阵与输入的向量进行相乘，就可以得到对应的q1，k1，v1，后面的以此类推。注意力分数的计算就是q和k相乘，得到注意力分数，得到注意分数之后，再和相应的v1，v2，v3,v4计算出b1，b2， b3,b3也就是输出。看到这张图，我们就已经明了了整个self-Attention的计算过程了，他其实就是存在三个矩阵Q,K,V。self-attention是输入一组向量然后再输出一组向量。
【深度学习】图解自注意力机制(Self-Attention)
fengdu78的博客
04-25 2773
一、注意力机制和自注意力机制的区别Attention机制与Self-Attention机制的区别传统的Attention机制发生在Target的元素和Source中的所有元素之间。简单讲就是说Attention机制中的权重的计算需要Target来参与。即在Encoder-Decoder 模型中，Attention权值的计算不仅需要Encoder中的隐状态而且还需要Decoder中的隐状态。Self...
Transformer ：Self-Attention（自注意力机制）
Wei_sx的博客
07-15 1137
特性说明全局上下文每个词都能与所有其他词交互位置无关不依赖相对/绝对位置，可与位置编码组合使用并行计算所有 token 同时处理，速度快灵活建模根据不同输入动态学习注意力分布Self-Attention 是 Transformer 模型的核心灵魂，既实现了强大的表达能力，又兼顾了效率。掌握了它，就为理解整个 Transformer 奠定了基础。
图解自注意力机制(Self-Attention)
datayx的文章
04-10 1152
向AI转型的程序员都关注了这个号????????????一、注意力机制和自注意力机制的区别Attention机制与Self-Attention机制的区别传统的Attention机制发生在Target的元素和Source中的所有元素之间。简单讲就是说Attention机制中的权重的计算需要Target来参与。即在Encoder-Decoder 模型中，Attention权值的计算不仅需要Encoder中的隐状态而且还...
自注意力机制self-attention（李宏毅）
qq_62434791的博客
04-19 1058
Sophisticated Input之前的输入一个向量输出一个数值，如果输入很复杂，比如输入的是一个句子，每个文字是一个向量表示的，那么每一次输入的都是未知长度的向量组。（用一个很长的向量表示每一个中文的汉字，n个维度向量可以表示2的n次方个汉字），一段音频可以看成一组向量。
自注意力机制（Self-Attention）简介
峰爸的博客
09-23 1791
Transformer是一种基于自注意力机制的深度学习模型，由Google在2017年提出，成为BERT、GPT等大模型的基础架构。其核心包括Encoder-Decoder结构、多头自注意力机制、位置编码和前馈神经网络等组件。本文详细解析了Transformer的原理，包括自注意力计算、多头注意力机制、位置编码实现方式等关键技术。同时提供了一个简化版的PyTorch实现，展示了基本模型结构、位置编码以及因果掩码生成方法。该模型适用于序列到序列任务，如机器翻译，通过嵌入层、位置编码和Transformer层实
YOLO11改进-模块-引入稀疏自注意力机制Sparse Self - Attention
qq_64693987的博客
01-14 2412
Sparse Self - Attention 引入了 “稀疏率” 概念。对于输入的图像特征图，不再对整个特征图进行注意力计算，而是把它划分成一个个小的张量块。在计算注意力时，只在这些张量块内部进行，不同颜色标记的张量块之间不会进行注意力计算。通过这种方式，模型能够抑制对语义信息的关注，将更多的注意力放在提取非语义特征上。同时，由于只在张量块内计算，减少了大量不必要的计算，降低了模型的计算量，提高了运行效率。Sparse Self - Attention 是 SparseViT 模型编码器的重要部分。
self——attention自注意力机制与bert
最新发布
weixin_63719412的博客
02-23 851
图片——矩阵的形式声音文字——怎样让神经网路知道这个字是这个“字”呢？one-hot encoding：编码为向量——大概有两万多个字，在那个字的位置为1，其他位置为0——但是向量维度太多，空间浪费，而且难以体现字与字之间的关系。word-embedding，放在“语义空间”中，相同语义的字靠的越近。文字的输入：利用字在one-hot中的位置对应的编码作为输入，例如“我”对应21101这个位置是1，那么用21101表示“我”。我爱你，这个爱是动词这爱，爱的深吗——前面是名词，后面是动词。
【一文读懂】AI大模型Transformer Self-Attention-自注意力机制
Gaga246的博客
02-01 2466
在人工智能和深度学习领域，自注意力机制（Self-Attention）无疑是近年来最引人注目的技术之一。它彻底改变了我们处理序列数据的方式，为自然语言处理、计算机视觉等多个领域带来了突破性进展。它是一种创新性的技术，能够让模型更好地理解序列中的信息，并做出更准确的预测和决策。本篇我将用通俗易懂的方式为各位同学介绍一下Self-Attention。
小白学视觉 | 各种各样神奇的自注意力机制（Self-attention） 建议收藏！
csdn_xmj的博客
04-13 1272
这篇文章总结了关于李宏毅老师在 2022 年春季机器学习课程中关于各种注意力机制介绍的主要内容，也是相对于 2021 年课程的补充内容。
浅谈Self-attention自注意力机制
qq_43398777的博客
08-04 1195
先从Intuition说起 如何让序列自己“注意”到更有价值的信息？我们可以通过self-attention计算序列内部的关联性来实现。 对数字信号，语音信号，图形等输入，我们都可以用特定的编码形式生成对应的向量组，对每个向量通过乘以特定的矩阵可以生成其对应的q, k, v，假设q是该向量想要获取的特征，k是该向量自身特征，v则是该向量的价值。那么self-attention的第一步则是，利用该向量的q查询向量组中所有向量（包括它自身的k），查询过程即为点乘。标注点乘结果为w，则记w11=q1k1，w12=
自注意力机制 self-attention
m0_73945675的博客
01-24 1246
之前我们模型的输入一直都是基础的数值或者是图片，今天开始研究输入序列，我们可以尝试用之前的方法，用one-hot Encodeing来表示一个序列的每一个字但是就有一个问题，汉字一共有两万多，那岂不是非常浪费空间，并且无法体现出文字之间的关系，就比如（我）和（你）都是代词，那么（我）和（你）之间的关系，就要比（我）和（狗）之间的关系更近一点，同理，（狗）和（猫）之间的关系又要更近一点，因为他们都是动物。于是我们采用nn.Liner将高维向量，转换成低维向量，一般转换成768维，方便后续模型的输入。
SPEC-KIT简介+结合CODEX使用
dark
10-23 3048
以下是关键阶段，每个阶段有其目的、关键活动、产出。与claude-code不同，在codex中。命令，但是可以通过如下。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值