【NLP】第十三章：Transformer原理、计算流程以及代码实现-3

原创 已于 2026-06-08 14:01:11 修改 · 1.4k 阅读 · 18
标签
#自然语言处理 #transformer #人工智能 #深度学习
于 2025-01-15 23:40:18 首次发布
NLP 专栏收录该内容
15 篇文章 ¥9.90 ¥99.00
订阅专栏

说明：由于内容太多，所以进行了拆分。本部分承接前文：【NLP】第十二章：Transformer原理、计算流程以及代码实现-2-CSDN博客

五、手动计算Transformer，展示各个环节的数据流
学习神经网络模型的核心就是清晰各个环节的数据流，也就是各个环节的数据的形式和维度，和每个环节的原理互相佐证，清晰了解pytorch的实现流程，你才能在pytorch框架下对模型进行魔改，以及轻松debug一些意外情况。所以本部分将展示一个完整的、清晰的、极简的Transformer模型的数据流。让原理、pytorch实现、手动计算三者互相印证，相互补充。

1、整理输入编码器和解码器的数据
根据上个篇章（三）的分步操作，这里我再展示一下整个处理过程：

所以，编码器输入是f1_enc、解码器的输入是f1_dec：

了解本专栏 订阅专栏 解锁全文
【NLP】分步图解transformer 数学示例
gongdiwudu的专栏
07-06 5936
我知道transformer架构可能看起来很可怕，你可能在网上或博客上遇到了各种解释。但是，在我的博客中，我将通过提供一个全面的数值示例来努力澄清它。通过这样做，我希望简化对变压器架构的理解。
Transformer的算法原理和计算流程
m0_60901124的博客
02-03 1416
《Attention Is All You Need》论文解读，Attention机制（大白话系列），3分钟通俗讲解注意力机制到底怎么乘的，Transformer模型简介，发明Transformer的人真是个天才https://www.bilibili.com/video/BV14m421u7EM/?然后outputs probabilities输出的便是翻译预测的结果（注意：这里的outputs probabilities是错误的代表模型实际的输出可能会和中文翻译标注数据有出入）。“也会被转化为向量。
【Transformer模型解析】原理+实践，图解与代码
2401_84204413的博客
01-20 2002
Transformer通过其捕捉上下文和理解语言的能力，彻底改变了自然语言处理（NLP）领域。通过注意力机制、编码器-解码器架构和多头注意力，它们使得诸如机器翻译和情感分析等任务得以在前所未有的规模上实现。随着我们继续探索诸如BERT和GPT等模型，很明显，Transformer处于语言理解和生成的前沿。它们对NLP的影响深远，而与Transformer一起的发现之旅将揭示出该领域更多令人瞩目的进展。
示例的transformer模型搭建及分析（代码可跑通版）
fancyxiaoxiao的博客
01-16 1401
简单的transformer和GPT模型的实现。
透彻理解大模型框架：Transformer模型原理详解与机器翻译
zql1009的博客
05-15 1万+
已知神经网络权重：W_q, W_k, W_v。
【自然语言处理（NLP）】深度学习架构：Transformer 原理及代码实现
专注上位机开发、机器视觉、机器学习、嵌入式软硬件开发
02-01 1万+
核心组件 - **[多头注意力机制（Multi-Head Attention）](https://blog.csdn.net/u014608435/article/details/145363310)** - **原理**：将输入的向量表示通过多个头（head）的注意力机制，并行地计算不同位置之间的依赖关系，从而捕捉到更丰富的语义信息。每个头都可以关注输入序列的不同部分，然后将这些头的结果进行拼接和线性变换，得到最终的输出。 - **公式**：$MultiHead(Q,K,V)=Concat
自然语言处理中的Transformer和BERT
热门推荐
Zhangbei_的博客
12-23 1万+
2018年马上就要过去，回顾深度学习在今年的进展，让人印象最深刻的就是谷歌提出的应用于自然语言处理领域的BERT解决方案，BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding（https://arxiv.org/abs/1810.04805）。BERT解决方案刷新了各大NLP任务的榜单，在各...
【自然语言处理（NLP）】基于Transformer架构的预训练语言模型：BERT 原理及代码实现
专注上位机开发、机器视觉、机器学习、嵌入式软硬件开发
02-01 1万+
模型架构 - **基于Transformer编码器**：BERT仅使用Transformer的编码器部分，其多层双向Transformer编码器允许模型在处理每个单词时，同时考虑该单词的左右上下文信息，从而生成深度的双向语言表征。 - **多层结构**：基础版本的BERT有12层Transformer编码器层，而BERT - Large有24层，层数越多，模型的表达能力越强，但计算量也越大。
【自然语言处理（NLP）】多头注意力（Multi - Head Attention）原理及代码实现
专注上位机开发、机器视觉、机器学习、嵌入式软硬件开发
01-31 1万+
多头注意力机制首先将查询（Query）、键（Key）、值（Value）分别通过多个全连接层进行线性变换，得到多个不同的表示。然后，对这些不同的表示分别进行注意力计算。最后，将各个注意力的结果进行连结（Concatenate），再通过一个全连接层得到最终输出。 这种机制允许模型在不同的表示子空间中并行地关注输入序列的不同部分，能够捕捉到更丰富的语义信息，广泛应用于Transformer等模型架构中，在自然语言处理、计算机视觉等领域有重要应用。
简单的Transformer模型手算示例
星宇_大佬养成时的博客
05-21 1533
通过这个手算示例，我们展示了Transformer模型使用三头注意力机制、每个注意力头的维数为4，隐藏层维度为5的前向传播、计算损失和反向传播的基本过程。为了简化计算，我们对注意力计算和softmax进行了近似处理。实际应用中，Transformer模型的计算会复杂得多，但基本原理是相同的。这个例子有助于理解Transformer模型的基本工作机制和训练过程。
什么是Attention机制以及Pytorch如何使用
qq_43391414的博客
10-09 6346
文章目录前言注意力概况标准注意力变种注意力QKV 前言 看了网上大部分人做的，都是说一个比较长的项目（特别是机器翻译的多）。其实没有必要，很多人并不是想看一个大项目，只是想看看怎么用，并把Attention机制用到自己的任意一个项目中。下面来介绍之。 注意力概况 首先告诉大家，注意力这个词本身是一个非常高屋建瓴的词，其作用于两个东西，然后计算他们的注意力。 两个东西是什么?随便你，比如可以是向量，可以是矩阵，可以是你想要的一切，不过，计算机中也只有向量和矩阵，因为计算机只能表示数字。一般是向量。 有了两个
基于全球经济类多源新闻的NLP情感分析与数据可视化（夜间-次晨）2026年6月15日
lingyanzhineng的博客
06-16 271
【Python数据分析实践】2026年06月16日，使用Python爬虫采集20+公开新闻源数据，通过jieba分词、SnowNLP情感分析、TF-IDF关键词提取、LDA主题模型等NLP技术进行文本挖掘，并使用Matplotlib/Plotly进行数据可视化。本文为自动化脚本输出的技术学习笔记。
Evo-Multi-SLM：资源约束下小语言模型的 进化式多智能体逻辑对齐框架
最新发布
m0_55297736的博客
06-21 186
本文提出了一种名为 Evo-Multi-SLM 的无梯度进化算法框架，用于解决小语言模型（SLM）在资源受限情况下的对齐问题。该方法通过 LoRA 参数降维、差分进化和语义效率惩罚，实现了无需梯度计算的高效参数优化。实验表明，该方法在数学推理任务上显著提升了模型性能，同时减少了生成内容的冗余度。核心创新点包括：多智能体协同进化框架、针对"啰嗦病"的语义效率惩罚机制，以及衡量模型效率的逻辑密度指标。相比传统梯度方法，该方案显存占用更低，更适合资源受限场景。
大语言模型+物联网：LLM理解物理世界
谁念西风独自凉
06-16 240
# 大语言模型+物联网：LLM如何理解物理世界 > 当LLM学会了"看"传感器数据、"听"设备告警、"说"控制指令，物联网就从"自动化"进化到了"智能化"。这不是科幻，而是正在发生的技术融合。 ## LLM+IoT的三种融合模式 ``` 模式1: LLM作为接口层 用户: "把客厅温度调到26度" │ ▼ ┌─────┐ ┌─────
基于机器学习的中文文本抑郁症风险检测系统，包括NLP与传统机器学习的抑郁症识别，准确率92%
weixin_49081159的博客
06-15 453
抑郁症作为一种常见的精神障碍，严重影响着全球数亿人的身心健康和社会功能。传统的抑郁症诊断主要依赖临床访谈和量表评估，存在主观性强、效率低等问题。本文设计并实现了一个基于机器学习的中文文本抑郁症风险检测系统，该系统通过对心理咨询文本的多维特征提取与融合，结合多种机器学习算法，实现对正常、疑似、明确三种风险等级的自动分类。系统采用Flask框架构建Web应用，集成了用户管理、单条预测、批量分析、数据可视化及管理员后台等完整功能。在特征工程方面，系统实现了包括情感词频、LIWC心理语言学特征、词性分布、句子结构等
大模型快速入门-02大语言模型的架构演进
weixin_46425661的博客
06-19 338
本文主要梳理了NLP技术的演进历程，从特征工程到表示学习，详细分析了RNN、LSTM、GRU、Seq2Seq、Seq2Seq+Attention到Transformer的架构演进及其优缺点。重点阐述了Transformer成为大模型基石的三大优势：并行计算、全局依赖建模和工程可扩展性。最后解释了现代大语言模型普遍采用Decoder-Only架构的原因，包括其更适合自由生成、参数利用率高和普适性好等特点。全文通过技术对比和架构分析，揭示了从传统序列模型到现代Transformer大模型的技术发展脉络。
Word Embedding ：从分布式假设到神经网络语言模型
Frost_Descent的博客
06-20 3416
Word Embedding（词嵌入）是一种将离散的词汇符号映射到连续的低维稠密向量空间的技术。在这个向量空间中，语义相似的词在几何距离上彼此接近，从而实现了从"符号匹配"到"语义计算"的跨越。核心定义词嵌入是将单词（或多词短语）表示为固定维度的实值向量，这些向量之间的距离（例如余弦相似度）反映了单词之间的相关性，这种相关性基于单词通常出现的上下文。分布式假设（1954）↓统计共现分析（LSA/SVD）↓。
BERT vs GPT——编码器 vs 解码器
dragontt的专栏
06-17 303
第一，BERT等于编码器，双向理解，阅读理解能力极强，它猜填空。GPT等于解码器，单向生成，写作生成能力极强，它猜下一词。第二，BERT看全文理解每个词，GPT按顺序生成下一个词。架构不同，能力方向就不同。第三，BERT适合理解型任务——分类、问答、实体识别；GPT适合生成型任务——文本生成、对话、创作。第四，GPT的进化告诉我们一个规律：规模越大，能力越超预期。从1.1亿到1750亿参数，每一次跃迁都带来新能力。而且当规模够大时，生成的能力也会反哺理解。
拆解大语言模型：从词向量到注意力机制的内部运行原理
小工匠
06-15 488
摘要： 本文深入浅出地解析了大语言模型（如ChatGPT）的工作原理，围绕词向量、Transformer架构与训练机制展开。词向量将单词编码为高维数字，通过向量运算捕捉语义关系（如“国王-男+女≈女王”）。Transformer模型由多层网络构成，每层通过注意力机制动态关联上下文（如解决代词指代），前馈网络则基于上下文预测下一个词。训练过程通过反向传播调整海量参数，使模型从数据中自主学习语言规律。尽管模型内部机制复杂且难以完全解释，研究者已通过实验揭示了部分运作逻辑，例如注意力头协作解决语义歧义。大模型的“
基于全球经济类多源新闻的NLP情感分析与数据可视化（夜间-次晨）2026年6月16日
lingyanzhineng的博客
06-17 541
【Python数据分析实践】2026年06月17日，使用Python爬虫采集20+公开新闻源数据，通过jieba分词、SnowNLP情感分析、TF-IDF关键词提取、LDA主题模型等NLP技术进行文本挖掘，并使用Matplotlib/Plotly进行数据可视化。本文为自动化脚本输出的技术学习笔记。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

宝贝儿好

6元以上者可私信获PDF原文档

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值