deepseek快速体验(推理，微调，训练)

源码

• 源码：https://gitee.com/agricultureiot/agi/tree/master/deepseek
• 微调：https://gitee.com/agricultureiot/agi/tree/master/deepseek

ollama ， vllm，llama.cpp
等方式也可快速部署，但是无法微调和训练，只能推理使用(线上正式使用)，下面使用另一种简单的方式部署，可训练，微调，推理

环境

以下配置是最小配置，仅仅能运行起来，测试体验使用，无法并发

• GPU显存 >= 24G
• CUDA>=11.8，建议 12.1
• python==3.10
• nvcc -V 命令正确输出，并且版本匹配
• CPU >= 16核
• 运行内存 >= 64G

创建 python 3.10 环境

conda create -n py310 python=3.10

下载框架

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 transformers==4.43.2 vllm==0.6.1 openai==1.61.0

设置环境变量，将 HuggingFace设置为ModelScope

export USE_OPENMIND_HUB=1 // 1=ModelScope，0=HuggingFace

下载模型到本地(下载小模型测试比较快)

最大模型需要800G运行内存，这里使用小模型

pip