LLM (大模型) 从模型结构到推理到训练的底层原理到应用落地的全栈剖析

🚀 大语言模型（LLM）全栈技术学习路线与博客汇总

大家好！近段时间我系统性地梳理了大语言模型（LLM）的全栈技术栈，从最基础的常用术语扫盲、Transformer底层网络结构（细化到公式），到上层应用的 RAG、Agent 智能体开发，再到后训练算法（SFT、PEFT、强化学习）与推理部署加速策略，累计输出了 37 篇 学习笔记与技术解析。

为了方便大家查阅和系统性学习，我将这些文章整理成了这份学习路线与导航指南。无论是刚刚入局的初学者，还是希望深入研究微调和Agent架构的开发者，都可以按图索骥，找到你需要的内容。

建议大家收藏本页，我会随着技术的迭代持续更新这篇导航！

🧱 模块一：夯实根基 —— LLM 基础理论与核心原理

万丈高楼平地起。这一模块带你从最基本的术语概念入手，深入理解 PyTorch、Transformer 底层原理以及大模型的推理机制。

• 1. 零基础入门：LLM 相关的常见术语及其含义
• 2. 框架基础：PyTorch 学习指南
• 3. 核心架构：Transformer 底层原理深度解析
• 3.1 LLM的神经网络之谜: 神经网络是简单的线性计算加非线形激活的堆叠
• 4. 进阶结构：大模型前沿注意力机制优化笔记 (以 Qwen3.5-MoE 为例)
• 5. 源码剖析：大模型主流框架系列 (先看Transformer篇)
• 6. 提示词工程：Prompt & Context Engineering 技巧
• 7. 推理奥秘：LLM 推理时的温度值、top_p、top_k 等采样算法原理

🔍 模块二：知识外挂 —— 检索增强生成 (RAG) 进阶体系

解决大模型“幻觉”与知识时效性问题的杀手锏。本模块从 RAG 发展史讲起，全面覆盖检索算法、向量数据库及前沿的 GraphRAG 和评估框架。

• 1. 架构演进：RAG 的发展历史与核心逻辑
• 2. 数据处理：文本切片 (Chunking) 算法与策略
• 3. 核心检索：稠密向量检索算法解析
• 4. 传统互补：稀疏向量检索算法解析
• 5. 模型对比：Embedding 与 Rerank 重排模型结构
• 6. 双剑合璧：混合检索算法实践 (BM25 + Embedding)
• 7. 基建选型：常见的向量数据库盘点与对比
• 8. 智能融合：Agentic RAG 架构探讨
• 9. 自我反思：Self-RAG 原理与应用
• 10. 知识图谱：火热的 GraphRAG 技术揭秘
• 11. 效果度量：RAGAS 评估框架使用指南

🤖 模块三：智能体之魂 —— Agent 核心技术与前沿范式

让大模型拥有“手”和“脑”。本模块详细拆解了当下主流的单智能体与多智能体架构，教你如何让 LLM 具备规划、反思与工具调用能力。

• 1. 宏观视角：Agent 范式发展历程图鉴
• 2. 经典必学：ReAct Agent 基础介绍
• 3. 踩坑实战：ReAct Agent 进阶 —— 如何解决幻觉输出与工具调用难题
• 4. 效率提升：ReWOO Agent 介绍
• 5. 拆解任务：Plan & Execute Agent 介绍
• 6. 并发调度：LLM Compiler Agent 介绍
• 7. 基础反思：Basic Reflection Agent 介绍
• 8. 深度反思：Reflexion Agent 介绍
• 9. 自我探索：Self-Discover Agent 介绍
• 10. 树搜索：LATS (Language Agent Tree Search) 介绍
• 11. 长期记忆：MemGPT 介绍
• 12. 团队协作：多智能体 (AutoGen, MetaGPT, ChatDev) 介绍
• 13. 概念辨析：Function Call vs MCP vs Skills 深度对比

⚒️ 模块四：炼丹实战 —— 后训练、微调与推理部署

走向底层硬核技术。这一模块专为想要自己“炼丹”和部署开源模型的同学准备，涵盖微调理论、强化学习对齐策略及工程化部署加速。

• 1. 底层解析：大语言模型全参数微调：从前向推理到反向传播
• 2. 监督微调：常见的全参数微调 SFT 方法盘点
• 3. 高效微调：PEFT 训练指南 (以 LoRA 等技术为主)
• 4. 人类对齐：偏好对齐强化学习训练方法 (DPO, PPO, GRPO, GKD等)
  • 4.1. PPO的loss公式推导
  • 4.2. DPO的loss公式推导
  • 4.3. GRPO的loss公式推导
• 5. 分布式训练：LLM 训练框架选型与并行策略解析
• 6. 工程落地：LLM 量化部署与推理加速算法策略

💬 写在最后：
大模型技术仍在飞速迭代，学习它是一个持续输入与打破认知的过程。初接触时我们或许容易陷入“达克效应”，觉得调通几个 API，开发了几个skill， 搭建了几个 agent 就窥见了全貌；
但随着逐步深入应用落地，发现不得不了解更多底层架构与算法，反而越学越会生出一种“如履薄冰”的敬畏感。

希望这套系列文章能帮大家建立起最基础的体系化的基本认知框架，扎实地向深水区迈进。如果在阅读中有任何问题或灵感，欢迎在评论区留言探讨！