目录
上一篇讲ollama的本地部署:点我跳转,这次讲LM Stduio,确实ollama的速度会慢一点,但是ollama的学习价值极高,全开源的,有研究底层算法的,可以去了解一下。
好,这篇讲LM Stduio的环境部署。
在这之前,有人说,想退坑龙虾,那么就要卸载龙虾,这里先附上卸载龙虾的方法。
龙虾卸载
查看有哪些包:

卸载龙虾:

不可逆删除所有记录:

下载 LM Stduio并安装
点我:下载LM Stduio
安装:





完成后,直接运行吧



LM Stduio 配置
先改一下语言吧,我们都喜欢中文:

没事下载个模型,这里模型大小,你们按照你们自己的显卡条件,以及喜好:


我这里下载了两个,因为我笔记本有32G,所以,GLM 4.7的量化版本也可以运行一下,另一个是qwen 7B的模型。
当然,也可以加载本地模型的,把你的本地模型路径选好:

把你下载的模型(必须是gguf格式)放到对应的路径,即可看到对应的本地模型。

那么,聊几句,在对应的聊天框里,输入问题,选好模型,即可聊天了,和ollama一样简单:

配置好局域网,可以通过url访问对应的api接口:

配置好了大,打开Status Stopped按钮,即可看起,可以通过网页访问,测试是否正常。


关闭模型的思考:

关闭think的开关。
openclaw安装
window版本的已经在上一篇ollama的版本中讲过,这次讲一下ubuntu 24版本的安装。
乌班图下安装openclaw:
# 1. 更新系统包列表
sudo apt update && sudo apt upgrade -y
# 2. 安装编译工具和基础依赖(Node 编译必需)
sudo apt install -y gcc g++ make cmake python3 git curl
安装ssh
#使用以下命令安装OpenSSH服务器:
sudo apt install openssh-server
#确认ssh服务状态:
sudo systemctl status ssh
#启动ssh服务:
sudo systemctl start ssh
#设置SHH服务开机自启动过
sudo systemctl enable ssh
Mac、linux、WSL2使用如下链接:
curl -fsSL https://clawdbot.org.cn/install.sh | bash
curl -fsSL https://openclaw.ai/install.sh | bash
Windows(PowerShell,管理员运行)
iwr -useb https://openclaw.ai/install.ps1 | iex
安装 Node.js 22+(OpenClaw 要求版本)
# 1. 添加 NodeSource 22 源(自动适配 Ubuntu 版本)
curl -o- https://gitee.com/RubyMetric/nvm-cn/raw/main/install.sh | bash
source ~/.bashrc
# 2. 安装 Node.js 22(自动包含 npm)
nvm install 22
# 3. 验证版本(需显示 v22.x.x,否则安装失败)
node -v
npm -v
若安装openclaw出现如下问题:

那么,尝试运行如下命令:
如果你使用的是 Ubuntu/Debian(VMware 虚拟机常见),请运行:
sudo apt update
sudo apt install -y build-essential python3 pkg-config libvips-dev
# 清理缓存(可选)
npm cache clean --force
# 手动安装(带日志)
env SHARP_IGNORE_GLOBAL_LIBVIPS=1 npm install -g openclaw@latest --verbose
更新到最新版本:
# 1. 安装 OpenClaw 最新版(加 sudo 避免权限问题)
sudo npm install -g openclaw@latest
# 2. 验证安装(显示版本号即成功)
openclaw -v
关于openclaw的配置
安装好了,就可以配置了。
老规矩,配置方法:
openclaw onboard --install-daemon


这里的模型,经过调整,这里写的是:qwen2.5-coder-7b-instruct。

切换到window页面运行
在乌班图下,操作的一些命令行:
# 关闭防火墙拦截,允许局域网访问:(有时候window局域网内无法访问乌班图,那么不要忘了把防火墙的端口打开)
sudo ufw allow 18789
# 绑定局域网
openclaw config get gateway.bind
openclaw config set gateway.bind lan
# 设置访问令牌
openclaw config get gateway.auth.token
openclaw config set gateway.auth.token '输入你的令牌'
# 列出设备
openclaw devices list
打开power shell,输入:
ssh -L 18789:127.0.0.1:18789 user@192.168.xxx.xxx
user:就是你虚拟机的账户,192.168.xxx.xxx就是虚拟机ip addr的ip地址。
那么,当你乌班图下运行了龙虾,在window下,打开浏览器,输入http://localhost:18789 或者http://127.0.0.1:18789即可登陆。
一些错误
token开的太小
如果网页端聊天,出现如下提示:
The number of tokens to keep from the initial prompt is greater than
the context length (n_keep: 12422>= n_ctx: 4096). Try to load the
model with a larger context length, or provide a shorter input.
那么,需要在LM中设置一下上下文:


一些说明
评估批处理大小(Evaluation Batch Size)
在 LM Studio 中,评估批处理大小(Evaluation Batch Size)是指模型在进行推理(如生成回答、评估任务)时,每次处理的样本数量(即 batch size)。
核心含义:
作用:控制一次前向传播(inference)中并行处理的输入样本数。
影响:
增大批处理大小:可提升吞吐量,加快处理速度,但会显著增加显存/内存占用。
减小批处理大小:节省资源,避免显存溢出,但处理速度较慢。
实际配置建议(基于当前主流显卡)
| 显卡型号 | 推荐评估批处理大小 | 适用场景 |
|---|---|---|
| GTX 1060 | 256–512 | 简单问答 |
| RTX 2060 | 512–1024 | 文案生成 |
| RTX 3060 | 1024–2048 | 代码辅助 |
| RTX 4090 | 4096+ | 长文创作 |
若显存不足(如 ≤4GB),建议从 128 或 256 开始尝试,并配合降低上下文长度、减少 GPU 卸载层数 57。
好了,完结撒花。

5630

被折叠的 条评论
为什么被折叠?



