最基础的大模型入门教程，手撸RAG基本原理代码，适合JAVA等传统项目开发人员。

少喝冰美式

关注

最新推荐文章于 2025-11-06 19:47:50 发布 · 1.4k 阅读

原创 ·

本内容遵循 CC 4.0 BY-SA 版权协议

· GEO检测

Ollama 可以在 Windows 上运行了阅读详情

一、大模型选择

各大开发平台申请模型

例如：智谱开放平台，目前旗下模型glm-4-flash可以免费使用。
在模型网站下载开源模型，如Hugging Face（需要科学上网），国内可以在ModelScope下载，具体操作步骤以及硬件要求见官网。

二、模型对话

以智谱开放平台glm-4-flash模型为例

初体验

安装openai

pip install openai

编码

from openai import OpenAI

client = OpenAI(
    api_key="You Key",
    base_url="https://open.bigmodel.cn/api/paas/v4/"
)
completion = client.chat.completions.create(
    model="glm-4-flash",  
    messages=[    
        {"role": "user", "content": "你是谁？"} 
    ],
    top_p=0.7,
    temperature=0.9
 )

print(completion.choices[0].message)

ChatCompletionMessage(content=‘我是一个名为 ChatGLM 的人工智能助手，是基于清华大学 KEG 实验室和智谱 AI 公司于 2024 年共同训练的语言模型开发的。我的任务是针对用户的问题和要求提供适当的答复和支持。’, refusal=None, role=‘assistant’, audio=None, function_call=None, tool_calls=None)

流式输出

from openai import OpenAI

client = OpenAI(
    api_key="You Key",
    base_url="https://open.bigmodel.cn/api/paas/v4/"
)
response = client.chat.completions.create(
    model="glm-4-flash",
    messages=[
        {"role": "user", "content": "你是谁？"}
    ],
    top_p=0.7,
    temperature=0.9,
    stream=True
)

for chuck in response:
    print(chuck.choices[0].delta.content, "|", end="")

我是一个 |名为 | Chat |GL |M | |的人工 |智能 |助手 |， |是基于 |清华大学 | K |EG | 实 |验 |室 |和 |智 |谱 | AI | 公司 |于 | |202 |4 | 年 |共同 |训练 |的语言 |模型 |开发的 |。 |我的 |任务是 |针对 |用户 |的问题 |和要求 |提供 |适当的 |答复 |和支持 |。 | |

三、应用案例之RAG

RAG （Retrieval-Augmented Generation），中文一般译为检索增强生成（听着挺奇怪的），最早由Facebook AI Research（现Meta AI）的研究人员在2020发表论文《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》。通过检索本地文档与大预言模型的文本生成能力结合，使得RAG成为目前大语言模型成熟应用之一。

先讲代码再讲理论。

from langchain_community.document_loaders import PyPDFLoader

# 1. 读取文本
file = "./浦发银行2023年第一季度报告.pdf"
loader = PyPDFLoader(file)
pages = loader.load()
print(pages[0].page_content)

# 2. 文本切割
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=500,
    chunk_overlap=20,
    length_function=len,
    is_separator_regex=False,
)

texts = text_splitter.split_documents([pages[0],pages[1],pages[2]]) # 这里先简单的拆分3段
text_contents: list[str] = [t.page_content for t in texts]

print(texts[0])
# 查看里面的内容
for t in texts:
    print("page_content:", t.page_content)
    print("page:", t.metadata.get('page') or 0)
    print("file_name:", t.metadata.get('source'))
    

# 3. 对切割的文本进行ebmedding
from langchain_huggingface import HuggingFaceEmbeddings# 这里采用的ebmeding模型是m3e-base，请填写自己的实际路径
embedding_path = "D:\python\project\clj_glm\models\m3e-base"
model_kwargs = {'device': "cuda" if torch.cuda.is_available() else "cpu"}
encode_kwargs = {'normalize_embeddings': False}
embedding_model = HuggingFaceEmbeddings(model_name=embedding_path,
                                        model_kwargs=model_kwargs,
                                        encode_kwargs=encode_kwargs)

# embeddings = embedding_model.encode([t.page_content for t in texts]) 向量化

# 4.存储向量数据
from langchain_community.vectorstores import FAISS
faiss: FAISS = FAISS.from_texts(text_contents, embedding_model)

file_faiss = "./faiss_file/"
index_name = "pfbank"
faiss.save_local(file_faiss, index_name=index_name)

# 5.检索向量数据
# 本地加载向量数据
# faiss: FAISS = FAISS.load_local(file_faiss, embedding_model, allow_dangerous_deserialization=True)
question = "浦发银行的股东都有谁?"
retrieval_texts = faiss.similarity_search(question, 2)
print(retrieval_texts)
retrieval_content = "\n".join([t.page_content for t in retrieval_texts])


# 6.与大模型对话
# 定义提示词
prompt = """
<指令>
根据已知信息，简洁和专业的来回答问题,不允许在答案中添加编造成分，答案请使用中文。
如果无法从中得到答案，请说 "根据已知信息无法回答该问题"。
</指令>
<已知信息>{context}</已知信息>
<问题>{question}</问题>
"""

from openai import OpenAI

client = OpenAI(
    api_key="You Key",
    base_url="https://open.bigmodel.cn/api/paas/v4/"
)
completion = client.chat.completions.create(
    model="glm-4-flash",
    messages=[
        {"role": "user", "content": prompt.format(context=retrieval_content, question=question)}
    ],
    top_p=0.7,
    temperature=0.9
)

print(completion.choices[0].message.content)

以上代码所需依赖

在这里插入图片描述