大模型学习入门项目推荐

目录

前言

一、多模态大模型——以VisualGLM实现图文转换（入门级）

1. 安装相关依赖包

2. 导入依赖库、导入model & processor

3. 导入图片链接

4. 图生文

5. 图片内容推理

二、LLM——基于文心大模型的金融知识库问答（进阶级）

0. 环境配置

1. 载入本地非结构化文档

2. 文档split为若干chunk文本块

3. 文本Embedding–>Vectors

4. 存入向量数据库（以FAISS为例，常见向量数据库还有Milvus）

5. Query查询（用户提问）

6. Prompt合成

7. 调用LLM模型，实现答案生成任务（以文心大模型为例）

8. RAG流程封装（将提示词Prompt输入给文心大模型，获得输出结果）

三、推荐项目（综合级）

---

前言

    依托 aistudio 平台内容，章节一呈现了一个入门级demo（小白友好），
    以VisualGLM（多模型大模型）为例实现了图生文；
    章节二呈现了一个进阶版demo（适合有一定LLM基础的人群食用），
    以文心大模型（LLM+RAG）为例实现了金融知识库问答（参考aistudio上精品项目）；
    章节三推荐了数个综合级、系统化的项目（适合从事/预从事 LLM/AIGC 岗的人群食用），
    把每个项目深挖吃透后，基本可以从事相关岗。

前排提示，文末有大模型AGI-CSDN独家资料包哦！

一、多模态大模型——以VisualGLM实现图文转换（入门级）

1. 安装相关依赖包

用git命令从github上下载visualglm-6b模型到本地，git PaddleMIX安装包、pip其它相关依赖包。

!git clone http://git.aistudio.baidu.com/aistudio/visualglm-6b.git
!git clone https://github.com/PaddlePaddle/PaddleMIX
!pip install soundfile librosa

2. 导入依赖库、导入model & processor

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "0"
os.environ["FLAGS_use_cuda_managed_memory"] = "true"

import requests
from PIL import Image
from PaddleMIX.paddlemix import VisualGLMForConditionalGeneration, VisualGLMProcessor
import warnings
warnings.filterwarnings('ignore')


# 设置visualglm-6b预训练模型的本地路径（PS：本地导入比直接云端下载速度会快很多）
pretrained_name_or_path = "aistudio/visualglm-6b"
model = VisualGLMForConditionalGeneration.from_pretrained(pretrained_name_or_path, from_aistudio=True,dtype="float32")
model.eval()
processor = VisualGLMProcessor.from_pretrained(pretrained_name_or_path,from_aistudio=True)

3. 导入图片链接

# 图片链接
# url = "https://paddlenlp.bj.bcebos.com/data/images/mugs.png"
url = 'https://i02piccdn.sogoucdn.com/5dd40dedd7107cc5'
image = Image.open(requests.get(url, stream=True).raw)

# 配置模型参数
generate_kwargs = {
        "max_length": 1024,
        "min_length": 10,