如何具体理解Self Attention中的Q、K、V以及计算过程

最新推荐文章于 2026-03-27 16:10:16 发布
原创 最新推荐文章于 2026-03-27 16:10:16 发布 · 5.3k 阅读 · 32
标签
#深度学习 #机器学习 #人工智能 #自然语言处理 #pytorch
#nlp
本文详细解释了SelfAttention机制中Q、K、V的作用，以及它们在BERT模型中的计算过程，包括线性变换、注意力权重的计算和Softmax的应用，强调了注意力机制的自注意力特性及其与位置无关的特点。

低功耗蓝牙项目，需要一块懂省电的板

思澈 SF32LB52 芯片，BLE 协议栈深度优化，上手即开发

点击查看

如何具体理解Self Attention中的Q、K、V以及计算过程

一、计算过程理解

1、我们直接用torch实现一个 S e l f A t t e n t i o n Self Attention SelfAttention：

首先定义三个线性变换矩阵， q u e r y , k e y , v a l u e query, key, value query,key,value：

class BertSelfAttention(nn.Module):
    self.query = nn.Linear(config.hidden_size, self.all_head_size) # 输入768， 输出768
    self.key = nn.Linear(config.hidden_size, self.all_head_size) # 输入768， 输出768
    self.value = nn.Linear(config.hidden_size, self.all_head_size) # 输入768， 输出768

注意，这里的 q u e r y , k e y , v a l u e query, key, value query,key,value只是一种操作(线性变换)的名称，实际的 Q / K / V Q/K/V Q/K/V是这三个线性操作的输出，三个变换的输入都是 768 768 768维，输出都是 768 768 768维，也就是三个线性变换矩阵的维度都为 ( 768 , 768 ) (768, 768) (768,768)。

2、假设三种操作的输入都是同一个矩阵，这里暂且定为长度为 6 6 6的句子，每个 t o k e n token token的特征维度是 768 768 768，那么输入就是 （ 6 , 768 ） （6, 768） （6,768），每一行就是一个字的词向量，像这样：

图1 输入词向量矩阵
图1 输入词向量矩阵

乘以上面代码中的三种线性变换操作就得到 了 Q / K / V 了Q/K/V 了Q/

低功耗蓝牙项目，需要一块懂省电的板

思澈 SF32LB52 芯片，BLE 协议栈深度优化，上手即开发

点击查看
最低0.47元/天 解锁文章
如何理解self attention中的QKV矩阵
weixin_38381682的博客
03-15 1万+
如何理解self attention中的QKV矩阵 疑问：三个矩阵的形状是一样的（embd_dim*embd_dim），作用也都是对输入句子的embedding做线性变换（tf.matmul(Q,input_value),tf.matmul(K,input_value)，tf.matmul(V,input_value)）。 那么，为什么需要三个矩阵QKV。 对于这个问题，在我第一次看了b站博主视频https://www.bilibili.com/video/BV1P4411F77q（强烈推荐）。就已经
理解self-attention的Q, K, V的含义
qq_43703185的博客
09-13 1万+
如果不设置 W_Q、W_k、W_v，我们计算的权重很大程度上依赖于我们如何确定原始输入向量 点乘的物理意义：两个向量的点乘表示两个向量的相似度。 就是Q如果自己跟自己(Q)相乘的话，那么根据向量点乘知识知道，俩个向量越相似，内积越大，当一个向量与自己做内积，再与其他不同词的向量做内积后(行成一个打分向量)，该向量经过softmax后，就会变成有一个位置的值特殊的大(自己与自己相乘)，其他位置的值非常非常小的状况出现，比如[0.98,0.01,0.05,0.05]那么,这样的得分再与V矩阵相乘后得出的加权向量
Transformer核心机制：QKVO的关系, 注意力
最新发布
学海无涯,我用JAVA
03-27 495
本文用通俗语言解释Transformer中的关键概念：Q(查询向量)是当前词的向量表示，K(键向量)是已向量化的历史词，V(值向量)对应原始词。多头注意力通过Q与多个K匹配得分，获取不同V结果。最终输出O将这些结果加权整合。整个过程就像用当前词(Q)在历史词库(K-V)中查找相关词并综合信息，而多头机制让模型能同时关注不同方面的关联。相比专业术语，这种生活化比喻降低了理解门槛。
Vision Transformer
Kuekua的专栏
05-31 1278
以上是self-attention的原理，但是还有一个问题是：现在的self-attention中没有位置的信息，一个单词向量的“近在咫尺”位置的单词向量和“远在天涯”位置的单词向量效果是一样的，没有表示位置的信息(No position information in self attention)。k,v来自Transformer Encoder的输出，所以可以看做句子(Sequence)/图片(image)的内容信息(content，比如句意是：“我有一只猫”，图片内容是：“有几辆车，几个人等等”)。
self-attention中的QKV机制
wrk226的博客
10-31 1万+
之前有写过attention和transformer的理解，但是对于self attention中的qkv一直理解的不够透彻，直到今天看了李宏毅的视频才理解，所以记录一下。 所谓QKV也就是Q(Query)，K(Key)，V(Value) 首先回顾一下self-attention做的是什么： 所谓自注意力，也就是说我们有一个序列X，然后我们想要算出X对X自己的注意力，也即X中的每个时间点与其余时...
最粗暴简单的理解self-attention QKV含义
我的博客
03-14 3143
现在有3个向量ABC，把向量看做人。 把每个向量映射为QKV，V是用来表征这个人的特征的，是一个人的灵魂，V可以表征这个人拥有善良、美丽、纯真的特性。可以把A变成QV两个人，Q是男，V是女，但是没有灵魂，灵魂在V里放着。它们一结合生出孩子，就可以表示人与人的关联性，因为孩子就是两个人的关联性，相似性。 self-attention做一件事，想让ABC一起生一个孩子，这个孩子将会与它们三个脱不了关系。 做法是，让A男-QAQ_AQA​与B女-KBK_BKB​生孩子，生出的孩子QA⋅KTQ_A\cdot{K^T
【深度学习】Self-Attention 原理与代码实现
Dong_ZH的博客
04-18 2万+
​Self-Attention 的输入用矩阵X进行表示，使用线性变阵矩阵，经过计算得到，计算如下图所示，注意 X, Q, K, V 的每一行都表示一个单词。
通俗易懂：Attention中的Q、K、V是什么？怎么得到Q、K、V？
weixin_44371912的博客
04-29 4万+
说一下Attention中的QKV是什么，再举点例子说明QKV怎么得到。还是结合例子明白的快。 Attention中Q、K、V是什么？ 首先Attention的任务是获取局部关注的信息。Attention的引入让我们知道输入数据中，哪些地方更值得关注。 对于Q(uery)、K(ey)、V(alue)的解释，知其然而知其所以然。 首先Q、K、V都源于输入特征本身，是根据输入特征产生的向量，但目前我们现在无需关注是如何产生这组向量的。 V可以看做表示单个输入特征的向量。当我们直接把一组V输入到网络中进行训练，那
attention中Q,K,V的理解
Angelina_Jolie的博客
11-29 2027
1.首先定义三个线性变换矩阵，query，key，value： 注意，这里的query, key, value只是一种操作(线性变换)的名称，实际的Q/K/V是它们三个的输出 2.假设三种操作的输入都是同一个矩阵，这里暂且定长度为L的句子，每个token的特征维度是768，那输入就是（L，768），每一行就是一个字，像这样：乘以上面三种操作就得到了Q、K、V，（L，768）*（768，768）=（L，768），维度其实没变，即此刻的Q、K、V分别为：代码为： 3.然后实现这个操作：① 首先是Q和K矩
Self-Attention机制的计算详解
qq_41915623的博客
06-07 3万+
​ 个人理解，就是对参数进行“加权求和”。​ 其中，XXX表示输入的数据，Q,K,VQ,K,VQ,K,V对应内容如图，其值都是通过XXX和超参（先初始化，后通过训练优化）进行矩阵运算得来的。​ 结合代码进行理解：Step1： 初始化WQ,WK,WVW^Q , W^K,W^VWQ,WK,WV矩阵 ​ 假设三种操作的输入都是同等维度的矩阵，这里每个特征维度都是768.即三者的维度： WQ.shape=[768,768]WK.shape=[768,768]WV.shape=[768,768] W^Q.sh
Transformer的Q、K、V和Mutil-Head Self-Attention（超详细解读）
weixin_45303602的博客
11-02 3万+
举个例子我们在某宝上搜索东西，输入的搜索关键词就是Q，商品对应的描述就是K，Q与K匹配成功后搜索出来的商品就是V。Q、K、V经过Linear然后经过h个Self-Attention，得到h个输出，其中h指的是注意力的头数。更多的头数意味着更强大的模型能力，比如LLM大模型Baichuan-13B中的head数目是40，而Baichuan-7B中的head数目是32。是三个可训练的参数矩阵，输入矩阵X分别与三个矩阵参数进行相乘，相当于进行一次线性变换，得到了Q、K、V。，那Q、K、V是怎么来的呢？
[李宏毅] self attention 个人笔记
YuQiao0303的博客
08-07 1052
但self attention可以并行计算，而且离得很远的东西也可以很好的用到（RNN容易遗忘）。因此现在基本self attention可以代替RNN。相当于self attention加上一些限制，就是CNN。所以在样本少的时候cnn更好，样本多时相反。就是使用多组qkv，得到多组b，这些b拼接起来乘W得到最终的b.CNN 类似于，只对领域求α的self attentin。只需算有边的点的alpha，没边的直接置0。传统神经网络的输入是一个向量。主要是NLP，如bert。......
自注意力self-attention理解(qkv计算、代码)
m0_59959542的博客
01-07 2704
self-attention中的核心便是qkv的计算，首先是将输入向量分别乘上三个可学习的的矩阵得到Query(查询)、Key(键)、Value(值)；再将q和k点乘达到全局建模的作用，将qk结果进行softmax得到Attention分数；最后将Attention和v相乘这个操作我的理解是：可以把Value这个矩阵理解成一个”筛子“(可以讨论讨论)
【VI Transformer】Self-attention中QKV的含义-学习记录
weixin_47776643的博客
03-19 802
【VI Transformer】Self-attention中QKV的含义-学习记录
Attention机制中 Q、K、V分别从哪里来？
人机与认知实验室
05-24 3409
在深度学习中，尤其是自然语言处理领域，Attention 机制已经成为一种非常重要的方法。它的核心思想是根据输入序列中的每个元素与当前元素的相关性来分配不同的权重，从而实现对输入序列的动态聚焦。在 Attention 机制中，Q、K 和 V 分别代表 Query（查询），Key（键）和 Value（值）。在自注意力（self-attention）机制中，Q、K 和 V 是通过对输入序列（如单词的词...
如何理解attention中的Q、K、V
m0_51474171的博客
10-28 1万+
Q:QueryK:KeyV:Value其实是三个矩阵，矩阵如果表示为LxD，L是句子中词的个数，D是嵌入维度，在自注意力机制里，QKV是表示同一个句子的矩阵，否则KV一般是来自一个句子，而Q来自其他句子可以通过这三个线性变换query，key，value得到我们想要的QKV，其中三个变换的输入都是768维，输出都是768维将该矩阵输入上面的三个线性转换，就可以得到三个矩阵KQV，，维度其实没有改变。
通俗易懂理解注意力（Attention）机制中的Q/K/V
qq_41652784的博客
03-14 2625
AttentionQKVSoftmaxdk​​QK⊤​V这其中的QKV分别代表Query、Key和Value。
详解Transformer中Self-Attention以及Multi-Head Attention
热门推荐
霹雳吧啦Wz
06-11 18万+
原文名称：Attention Is All You Need 原文链接：https://arxiv.org/abs/1706.03762 最近Transformer在CV领域很火，Transformer是2017年Google在Computation and Language上发表的，当时主要是针对自然语言处理领域提出的（之前的RNN模型记忆长度有限且无法并行化，只有计算完tit_iti​时刻后的数据才能计算ti+1t_{i+1}ti+1​时刻的数据，但Transformer可以）。在这篇文章中作者提出了S
关于Attention、Self-Attention机制的理解
gailj
01-17 3199
结合李宏毅老师机器学习2021——Self-Attention课程和网上查阅的资料，总结一下对Attention机制的理解 Attention机制就是权重分布 Attention机制的核心就是，决定整段输入的哪个部分需要更加关注。 Attention机制翻译中文就是注意力机制，这就和我们人类看图片、看自然语言是一样的，我们人读一句话是有自己的关注点，重点词汇的。比如我输入一张图，我让你判断这是一只鸟，那么鸟嘴、鸟爪等等patten是很重要的，而Attention机制就是给这些patten一个权重。再比如我
如何理解Q、K、V，Self-attention + Multi-head Self-attention
Drug discovery
07-05 1万+
Q、K、V生动的例子： 举个简单例子说明： 假设世界上所有小吃都可以被标签化，例如微辣、特辣、变态辣、微甜、有嚼劲....，总共有1000个标签，现在我想要吃的小吃是[微辣、微甜、有嚼劲]，这三个单词就是我的Query 来到东门老街一共100家小吃店，每个店铺卖的东西不一样，但是肯定可以被标签化，例如第一家小吃被标签化后是[微辣、微咸],第二家小吃被标签化后是[特辣、微臭、特咸]，第三家小吃被标签化后是[特辣、微甜、特咸、有嚼劲]，其余店铺都可以被标签化，每个店铺的标签就是Keys,但是每家店铺由于卖
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值