没有 GPU 也能跑 350 亿参数模型？Windows 本地部署 Qwen3.6-35B MoE 保姆级教程（附实测）

没有 GPU 也能跑 350 亿参数模型？Windows 本地部署 Qwen3.6-35B MoE 保姆级教程（附实测）

编写日期：2026-06-17 | 纯 CPU 推理，普通 PC 即可部署 | 本机实测 ~7.3 tok/s

一、硬件要求

无需 GPU。IQ2_M 量化将 34.7B 模型压缩到纯 CPU 可运行的级别。

二、为什么选择本地部署？

把模型跑在自己电脑上，不仅仅是"省钱"。

💡 本机实测：i5-13400F + 32 GB 内存，生成速度 ~7.3 tok/s，仅占 ~9 GB RAM。一台普通笔记本就够。

三、部署前提

3.1 获取 llama-server

从 llama.cpp 官方 Releases 下载预编译包：

https://github.com/ggerganov/llama.cpp/releases

下载 Windows 版（如 llama-b<版本号>-win-x64.zip），解压到本地目录即可，无需编译。解压后在目录中找到 llama-server.exe。

3.2 获取模型文件

从 Hugging Face 等平台下载 GGUF 格式的量化模型文件（搜索 Qwen3.6-35B-A3B IQ2_M GGUF），放入模型目录：

mkdir <你的模型目录>    # 例如 D:\models 或 F:\freeAI\models
# 将 .gguf 文件放入该目录

请替换为你实际的存放路径。

本机使用的具体文件：

四、部署步骤

Step 1：启动服务

可直接使用附带的启动脚本 code/start-llama-server.bat，修改其中的 MODEL_PATH 后双击运行。

或手动执行：

llama-server.exe ^
  --model <你的模型目录>\Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ2_M.gguf ^
  --port 8080 ^
  --ctx-size 4096 ^
  --gpu-layers 0 ^
  --host 0.0.0.0

Step 2：验证服务

可直接使用 code/health_check.bat 一键检查。

或手动执行：

curl http://localhost:8080/health
# 返回: {"status":"ok"}

curl http://localhost:8080/v1/models
# 返回模型列表

Step 3：测试推理

curl http://localhost:8080/v1/chat/completions ^
  -H "Content-Type: application/json" ^
  -d "{\"model\":\"Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ2_M.gguf\",\"messages\":[{\"role\":\"user\",\"content\":\"你好\"}],\"max_tokens\":50}"

五、API 使用

llama-server 提供兼容 OpenAI API 的接口：

Python 调用

完整代码见 code/demo_openai_sdk.py（OpenAI SDK）和 code/demo_requests.py（无需额外依赖）。

六、实测性能

测试环境：i5-13400F / 32 GB DDR4 / Windows 11。实际速度受 CPU 型号和上下文长度影响。

七、常见问题

Q：启动报错 “out of memory”？

确保系统剩余可用内存 ≥ 10 GB。可减小 --ctx-size 降低内存占用（如 --ctx-size 2048）。

Q：如何关闭服务？

前台运行时按 Ctrl+C，或任务管理器中结束 llama-server.exe。

Q：如何开机自启？

创建 .bat 脚本，加入 Windows 任务计划程序：

@echo off
llama-server.exe ^
  --model <你的模型目录>\Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ2_M.gguf ^
  --port 8080 --ctx-size 4096 --gpu-layers 0 --host 0.0.0.0

八、代码仓库

local-llm-stack — 本文所有脚本和示例代码均已开源：

git clone git@gitcode.com:gcw_A202cbBm/local-llm-stack.git

包含：启动脚本 · 健康检查 · Python 调用示例（OpenAI SDK / requests）。

如果您觉得有用，欢迎 点赞、转发、评论、关注。