书生大模型训练营6期L1 Intern-S1-mini 本地部署实践

前言

继 7 月 26 日开源『书生』科学多模态大模型 Intern-S1 之后，上海人工智能实验室（上海AI实验室）今天推出了轻量化版本 Intern-S1-mini。

凭借领先的通用与专业科学能力，Intern-S1 上线后连续多日霸榜 HuggingFace 多模态 Trending 全球第一，并在开源社区引发了广泛关注。作为 8B 参数的“迷你模型”，Intern-S1-mini 同样兼具通用能力与专业科学能力，且更加适合快速部署和二次开发。Intern-S1-mini 性能速览：

通用能力稳居同量级第一梯队：在 MMLU-Pro、AIME2025、MMMU 等多项权威基准上表现卓越，展现出兼具稳定性与竞争力的综合实力；
科学专业能力优异：在化学、材料等任务表现尤为突出，在 SmolInstruct、ChemBench、MatBench 等基准测试中显著领先；在物理、地球、生物等学科任务中也保持第一梯队水平，体现出扎实的科学理解与跨领域泛化能力；
减身材不减实力，助力科研、开发、教育多种场景。

Intern-S1-mini 可通过体验页面、GitHub、HuggingFace 和 ModelScope 获取与体验,欢迎大家点赞、下载来玩👏

1.vLLM 部署 Intern-S1-mini

1.1开发机的选择

在创建开发机界面选择镜像为 Cuda11.7-conda，并选择 GPU 为 30% A100。

1.2 环境配置

1.创建 conda 环境

建议单独为 vLLM 建立环境，例如 Python 3.12：

conda create -n vllm python=3.12 -y
conda activate vllm
pip install vllm

2.启动模型服务

安装完成后就可以跑Intern-S1-mini模型了：

vllm serve  /root/share/new_models/Intern-S1-mini\
  --trust-remote-code \
  --port 54257 \
  --max-model-len 8000 \
  --gpu-memory-utilization 0.90 \
  --max-num-seqs 8 \
  --swap-space 8 \
  --enforce-eager

1.3调用示例

1.3.1文本

注意：需要打开新窗口

我们可以在终端输入下面命令：

curl http://localhost:54257/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
        "model": "/root/share/new_models/Intern-S1-mini",
        "messages": [
          {"role": "system", "content": "You are a helpful assistant."},
          {"role": "user", "content": "你好，能帮我写一个关于春天哆啦A梦和五言绝句的故事吗？"}
        ]
      }'

1.3.2 图像

网络照片调用

curl http://localhost:54257/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "/root/share/new_models/Intern-S1-mini",
    "messages": [
      {
        "role": "user",
        "content": [
          { "type": "text", "text": "Please describe the image explicitly." },
          { "type": "image_url", "image_url": { "url": "https://pic1.imgdb.cn/item/694547bc2ce92a4f93126933.jpg" } }
        ]
      }
    ]
  }'

本地照片调用

curl http://localhost:54257/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d "$(jq -n --arg img "data:image/jpeg;base64,$(base64 -w 0 /root/share/intern.jpg)" '{
    model: "/root/share/new_models/Intern-S1-mini",
    messages: [
      {
        role: "user",
        content: [
          {type: "text", text: "请描述这张图片的内容"},
          {type: "image_url", image_url: {url: $img}}
        ]
      }
    ]
  }')"

1.4 端口转发

我们不可以直接访问书生开发机的ip ，但可通过一行命令将书生的开发机网络资源进行调用。这行神奇的命令就是如下：

ssh -CNg -L23333:127.0.0.1:23333 root@ssh.intern-ai.org.cn -p 你的ssh端口号

参数含义

ssh 使用 ssh 连接远程服务器。
-CNg
- -C：压缩数据传输，加快速度。
- -N：不执行远程命令，只做端口转发。
- -g：允许远程主机连接到本地转发的端口（通常为了共享，单机用不用加都行）。
-L [本地端口]:[远程地址]:[远程端口] 这才是端口转发核心：
- 本地端口 → 你本地机器用来访问的端口
- 远程地址 → 在远程开发机上服务监听的地址（通常是 127.0.0.1）
- 远程端口 → 远程开发机服务的端口（比如 vLLM 是 54257）
root@ssh.intern-ai.org.cn 这里 root 是登录用户名，ssh.intern-ai.org.cn 是跳板机域名。
-p 你的ssh端口号 指定 ssh 登录端口号（不是 vLLM 服务端口，是书生开发机给你的 ssh 登录端口）。

这样后，你在本地就能去调用 vLLM，就像它跑在你本机一样：

ssh -CNg -L23333:127.0.0.1:23333 root@ssh.intern-ai.org.cn -p 你的ssh端口号

curl -X POST http://127.0.0.1:23333/v1/chat/completions -H "Content-Type: application/json" -d "{\"model\": \"/root/share/new_models/Intern-S1-mini\",\"messages\":[{\"role\":\"system\",\"content\":\"You are a helpful assistant.\"},{\"role\":\"user\",\"content\":\"你好，能帮我写一个关于春天的五言绝句吗？\"}]}"