NLP和大模型技术路线

transformers快速入门

NLP和大模型技术路线

在自然语言处理（NLP）和大模型领域，技术路线的学习应该从基础开始，逐步深入到更高阶的应用和优化技术。本文将详细介绍相关技术点的学习顺序，以及每个技术点的关键学习内容。

1. NLP 基础

NLP 的基础是理解如何处理和表示语言数据。以下是必须掌握的核心概念：

1. 文本预处理：包括分词、去停用词、词形还原等。
2. 词向量（Word Embeddings）：如 Word2Vec 和 GloVe，通过向量化技术将单词转换为可计算的向量表示。
3. 语言模型(Language Model ,LM)：包括 N-gram 模型和RNN( LSTM 和 GRU），理解文本的统计模式。

文本预处理

1. NLTK进行文本分类和词性标注
2. spaCy基础入门

词向量（Word Embeddings）

1. 【通俗到爆】什么是语义嵌入和向量
2. 从词袋法到词嵌入，词向量是如何演进的

语言模型(Language Model ,LM)

利用LM能实现：词预测,语音识别，语句生成等。

1. N-gram语言模型原理与实战教程
2. RNN/LTSM/GRU语言模型入门

others

1. 卷积神经网络（CNN）入门学习笔记

2. Transformer

Transformer 是当前 NLP 模型的基础，理解其核心机制对后续学习至关重要。
关键学习点：

• 自注意力机制（Self-Attention）：允许模型在处理序列时关注每个位置的所有其他位置。
  • Self Attention自注意力机制
• 多头注意力：通过多个注意力头并行处理不同的子空间信息，提高模型表现。
• 位置编码：为序列中的每个位置添加唯一的表示，帮助模型理解词语的顺序信息。

3. Self-supervised Learning(BERT/GPT/T5)

这些模型代表了当前最先进的 NLP 技术，它们的训练和使用大大提升了各种任务的效果。

关键学习点：

• BERT：使用掩蔽语言模型（MLM）进行双向训练，提升上下文理解能力。
• GPT：生成式预训练模型，基于自回归结构，擅长文本生成和对话生成任务。
• T5：通过统一的文本到文本框架，简化了多种 NLP 任务，如问答、翻译等。

4. Retrieval-Augmented Generation (RAG)

RAG 模型结合了信息检索和生成，尤其适合那些需要外部知识的任务。

RAG入门-科普
RAG入门-学习笔记

关键学习点：

• 检索增强生成：首先通过检索获取相关信息，然后生成更精确的答案或文本。
• 检索模块：利用外部数据库或文档，提升模型在生成任务中的准确性和信息丰富性。

5. LangChain框架

LangChain 是一个开源框架，帮助构建与大语言模型（如 GPT-3、GPT-4）交互的应用。

LangChain全面入门

关键学习点：

• 链式操作：将多个任务步骤结合在一起进行处理，适用于复杂任务。
• 多步骤推理：支持跨多个步骤的推理，提升处理复杂问题的能力。
• API 集成：与外部系统进行集成，支持多种数据源交互。

6. 大模型微调与领域适应

大模型微调使得预训练模型能够更好地适应特定任务和领域。

关键学习点：

• 微调：在预训练模型的基础上，使用具体任务的数据进行训练，从而优化模型表现。
• 领域适应：针对特定领域（如医疗、金融、法律等）进行微调，使模型更加精确地理解领域特定的语言和概念。

7. AI智能体系统

搞懂Tool/Function Calling/Agent/MCP

关键学习点：

• Agent（智能体）：能自主感知环境、决策、调用工具的大模型应用
• Function Call： 大语言模型调用外部函数/API/工具的机制（Azure OpenAI / LangChain / OpenAI GPT 都有）
• Tool（工具）： 智能体可动态调用的功能模块，如 Web 搜索、数据库查库、天气查询、RAG 检索器等
• MCP（Multi-Call Planning）： 多步骤任务拆解与多函数调用规划能力，LangChain / AutoGPT / Agent 类库里常用
• Memory：保存 Agent 历史对话、任务状态、上下文的机制
• Prompt Engineering
• RAG