nn.Embedding理解

最新推荐文章于 2026-04-24 18:50:28 发布
原创 最新推荐文章于 2026-04-24 18:50:28 发布 · 2.1k 阅读 · 7 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#pytorch
本文介绍PyTorch中Embedding层的基本用法，包括声明、初始化及输入输出等关键步骤。通过实例演示了如何使用Embedding层将索引转化为固定长度的向量。

 embedding = nn.Embedding(10, 3)声明一个Embedding层，最大的embeddings个数是10，维数为3。Embedding.weight会从标准正态分布中初始化成大小为（num_embeddings, embedding_dim）的矩阵，input中的标号表示从矩阵对应行获取权重来表示单词。所有的input变量都小于10，若大于10，则会报错。

# an Embedding module containing 10 tensors of size 3
embedding = nn.Embedding(10, 3)
# a batch of 2 samples of 4 indices each
input = torch.LongTensor([[1,2,4,5],[4,3,2,9]])
print(embedding(input))

tensor([[[-0.0251, -1.6902,  0.7172],
         [-0.6431,  0.0748,  0.6969],
         [ 1.4970,  1.3448, -0.9685],
         [-0.3677, -2.7265, -0.1685]],

        [[ 1.4970,  1.3448, -0.9685],
         [ 0.4362, -0.4004,  0.9400],
         [-0.6431,  0.0748,  0.6969],
         [ 0.9124, -2.3616,  1.1151]]])

 

PyTorch中的词嵌入层(nn.Embedding)详解与实践指南
wyy202206174248的博客
07-23 1919
词嵌入是自然语言处理(NLP)中的一项核心技术，它将离散的词语映射到连续的向量空间中。通过词嵌入，语义相似的词语在向量空间中的位置也会相近。PyTorch中的为NLP任务提供了灵活高效的词嵌入实现。的基本原理和使用方法各种参数的详细解释和配置技巧在实际模型中的应用示例高级技巧如冻结参数、处理OOV等词嵌入是NLP的基础组件，合理使用可以显著提升模型性能。建议在实践中多尝试不同的配置和预训练词向量，找到最适合你任务的组合。
【Pytorch：nn.Embedding】简介以及使用方法：用于生成固定数量的具有指定维度的嵌入向量embedding vector
m0_48086806的博客
08-11 2836
【Pytorch：nn.Embedding】简介以及使用方法：用于生成固定数量的具有指定维度的嵌入向量embedding vector
Transformer 嵌入层 nn.Embedding 到底是什么？
最新发布
二分掌柜的
04-24 729
flyfish
torch.nn.embedding的介绍和用法
xw555666的博客
02-24 3465
nn.Embedding是 PyTorch 中的一个神经网络层，它主要用于将离散的、高维的数据（如词索引）转换为连续的、低维的空间中的稠密向量表示。在自然语言处理（NLP）中，这个层通常用于实现词嵌入（Word Embeddings），即将每个单词映射到一个固定长度的向量上，使得具有相似语义的单词在向量空间中距离相近。
深度学习：pytorch nn.Embedding详解
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
09-18 3万+
nn.Embedding是PyTorch中的一个常用模块，其主要作用是将输入的整数序列转换为密集向量表示。在自然语言处理（NLP）任务中，可以将每个单词表示成一个向量，从而方便进行下一步的计算和处理。
pytorch nn.Embedding的用法和理解
热门推荐
qq_39540454的博客
03-25 6万+
首先来看official docs对nn.Embedding的定义： 是一个lookup table，存储了固定大小的dictionary（的word embeddings）。输入是indices，来获取指定indices的word embedding向量。 官方文档的示例： >>> # an Embedding module containing 10 tensors of size 3 >>> embedding = nn.Embedding(10, 3) &gt
nn.Embedding()参数的理解
weixin_38257276的博客
02-27 6929
nn.Embedding() 最近在学习transformers框架，在阅读代码的时候对nn.Embedding()不是很理解，于是做了点实验来帮助自己理解加深记忆。应该很浅显移易懂了。 原来的代码是这样的： self.src_word_emb = nn.Embedding(n_src_vocab, d_word_vec, padding_idx=pad_idx) nn.Embedding()官网的定义可以参考： https://pytorch.org/docs/1.5.1/_modules/torch/
关于nn.embedding的理解
且视他人之疑目如盏盏鬼火,大胆地去走你的夜路
07-31 2976
import torch.nn as nn nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2, scale_grad_by_freq=False, sparse=False) 参数解释 num_embeddings (python:int) – 词典的大小尺寸，比如总共出现5000个词，那就输入5000。此时index为（0-4999） embedding_dim (python
关于nn.embedding的维度的定义，函数的理解，一些需要注意的点
漫浸天空的雨色的备忘录~
03-09 4万+
关于nn.embedding的维度的定义，函数的理解，一些需要注意的点 定义 首先简单介绍一下nn.embedding，函数调用形式如下 torch.nn.Embedding(num_embeddings,embedding_dim,padding_idx=None,max_norm=None,norm_type=2.0,scale_grad_by_freq=False,spar...
Pytorch的nn.embedding的一些理解
个人博客
04-22 686
检验动机同class内的embedding不同class的embedding 动机 在做Bundle Recommendation的时候涉及到Bundle和Item的embedding，于是想到因为他们的索引都是从1开始编的，经过embedding之后的特征是否会有重叠，因此分几种情况做了如下实验。 同class内的embedding 不同class的embedding import torch import torch.nn as nn loss_func = nn.CrossEntropyLoss()
nn.embedding函数详解(pytorch)
weixin_38252409的博客
11-06 8641
最近发现prompt工程(如sam模型)，也有transform的detr模型等都使用了nn.Embedding函数，对points、boxes或learn query进行编码或解码。因此，我想写一篇文章作为记录，本想简单对其 介绍，但写着写着就想把所有与它相关东西作为记录。本文章探讨了nn.Embedding参数、使用方法、模型训练与预测的变化，并附有列子源码作为支撑 ，呈现一个较为完善的理解内容。
关于nn.Embedding的解释，以及它是如何将一句话变成vector的
家里没矿
03-10 2万+
首先我们来看Embedding的参数。 nn.Embedding((num_embeddings,embedding_dim) 其中，num_embeddings代表词典大小尺寸，比如训练时所可能出现的词语一共5000个词，那么就有num_embedding=5000，而embedding_dim表示嵌入向量的维度，即用多少来表示一个符号。提到embedding_dim，就不得先从one_hot向量说起。 最初的时候，人们将word转换位vector是利用one_hot向量来实现的。简单来讲，现在词典里一
pytorch小记（十四）：pytorch中 nn.Embedding 详解
xzs1210652636的博客
03-18 3368
pytorch小记（十四）：pytorch中 nn.Embedding 详解
【pytorch】有关nn.EMBEDDING的简单介绍
安安爸Chris的专栏
09-29 4566
假设有一本字典，就一共只有10单词，每个单词有5个字母组成。每一页上只写一个单词，所以这10页纸上分别写了这10个单词。内如如下，我们假定这本字典叫, 这里的10和5即上面介绍的含义，10个单词，每个单词5个字母；现在我要查看第2页和第3页（从0开始），那么我会得到 [s,m,a,l,l]， [w,a,t,c,h] 内容。假定我们约定一个暗号，你告诉我页数，我就返回对应页数的单词。如，你发给我暗号 [ [2,3], [1,0], [8,6] ] (
通俗讲解pytorch中nn.Embedding原理及使用
taoqick的专栏
10-01 3617
每个mini-batch的训练，都要从词向量表找到mini-batch对应的单词的词向量作为RNN的输入放进网络。上面batch有3个样例，RNN的每一步要输入每个样例的一个单词，一次输入batch_size个样例，所以batch要按list外层是时间步数(即序列长度)，list内层是batch_size排列。其为一个简单的存储固定大小的词典的嵌入向量的查找表，意思就是说，给一个编号，嵌入层就能返回这个编号对应的嵌入向量，嵌入向量反映了各个编号代表的符号之间的语义关系。维度的前两维和前面讲的是一致的。
nn.Embedding
weixin_44012667的博客
07-23 953
它在自然语言处理（NLP）、推荐系统等任务中广泛应用，特别是在处理分类数据或文本词汇时。模块的一个核心类，用于将离散的整数索引映射为连续的稠密向量（称为。是 PyTorch 中。[我, 爱, 学习]
[Pytorch函数]nn.Embedding.weight
qq_41568188的博客
07-11 8896
一、nn.Embedding.weight初始化分布 nn.Embedding.weight随机初始化方式是标准正态分布 [公式] ，即均值μ=0\mu=0μ=0，方差σ=1\sigma=1σ=1的正态分布。 import torch.nn as nn # dim越大，均值、方差越接近0和1 dim = 800000 # 定义了一个(5, dim)的二维embdding # 对于NLP来说，相当于是5个词，每个词的词向量维数是dim # 每个词向量初始化为正态分布 N(0,1)（待验证） embd = n
模型的第一层：详解torch.nn.Embedding和torch.nn.Linear
qq_43391414的博客
10-15 2万+
文章目录1.概述2.Embedding2.1 全连接层2.2 Embedding层结尾 1.概述 torch.nn.Embedding是用来将一个数字变成一个指定维度的向量的，比如数字1变成一个128维的向量，数字2变成另外一个128维的向量。不过，这128维的向量并不是永恒不变的，这些128维的向量是模型真正的输入（也就是模型的第1层）（数字1和2并不是，可以算作模型第0层），然后这128维的向量会参与模型训练并且得到更新，从而数字1会有一个更好的128维向量的表示。 显然，这非常像全连接层，所以很多人说
【Torch】nn.Embedding算法详解
zkw54334的博客
06-27 1909
是 PyTorch 中的查表式嵌入层（lookup‐table），用于将离散的整数索引（如词 ID、实体 ID、离散特征类别等）映射到一个连续的、可训练的低维向量空间。它通过维护一个形状为的权重矩阵，实现高效的“索引 → 向量”转换。
PyTorch中的nn.Embedding应用详解
二爷的博客
05-13 1173
PyTorch中的nn.Embedding模块是一种用于实现词嵌入的工具，能够将离散的词汇或符号映射到连续的向量空间，从而捕捉词汇之间的语义关系。nn.Embedding本质上是一个参数化的查找表，通过训练更新嵌入向量以优化模型性能。它在自然语言处理任务中广泛应用，如文本分类，通过将单词转换为嵌入向量，提升模型的泛化能力和计算效率。此外，虽然nn.Embedding主要用于文本处理，但在某些图像处理任务中也可用于映射像素值到高维空间。通过示例代码展示了如何在PyTorch中使用nn.Embedding进行文
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值