DeepSeek Harness 使用 Ollama 本地部署的 AI 大模型（以Qwen3.8-27B为例）

原创 于 2026-08-18 17:34:11 发布 · 185 阅读 · 4 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
收录于
人工智能应用

当前文章被收录于：

人工智能应用
64 篇文章 2 人学习

以实战为线索，学习、应用、部署主流人工智能相关算法。

订阅专栏 查看详情
AI大模型应用开发

当前文章被收录于：

AI大模型应用开发
10 篇文章 0 人学习

AI大模型应用开发

订阅专栏 查看详情

AI 时代程序员必备技能

Codex、Claude Code、Cursor、Hermes Agent、OpenClaw等工程化实战专栏 ，讲透 AI 如何接管脏活累活

一键订阅

DeepSeek Harness 使用 Ollama 本地部署的 AI 大模型（以Qwen3.8-27B为例）

在这里插入图片描述

  • 由于本人水平有限，难免出现错漏，敬请批评改正。
  • 更多精彩内容，可点击进入我的个人主页查看

引言

DeepSeek Harness 是 DeepSeek AI 推出的开源 Agent 框架，而 Ollama 是最流行的本地大模型运行工具。将两者结合，可以构建一套完全本地化、无需联网、数据不出电脑的 AI Agent 系统。

本文将介绍一种最直接、无需安装任何插件的方法，通过 DeepSeek Harness 内置的“自定义提供方”功能，手动配置 Ollama 本地模型。

准备工作

安装 Ollama

访问 Ollama 官网 下载并安装。详细安装教程可查阅Ubuntu 20.04 下使用 Ollama 本地部署 AI 大模型。

安装完成后，拉取所需模型，例如（Qwen3.8-27B）：

ollama pull qwen3.8:27b

安装 Node.js（DeepSeek Harness 运行环境）

详细安装教程可查阅Win10 下安装使用 DeepSeek Harness中的“安装 Node.js”部分。

  1. 访问 Node.js 官网，下载 LTS 版本安装包并安装。
  2. 验证安装：
node --version
npm --version
  1. （可选）配置国内镜像源加速：
npm config set registry https://registry.npmmirror.com/

安装 DeepSeek Harness

详细安装教程可查阅Win10 下安装使用 DeepSeek Harness中的“安装 DeepSeek Harness”部分。

快速启动（无需安装）：

npx @deepseek-ai/dsh web

启动成功后，在浏览器中打开 http://127.0.0.1:3080 即可访问 Web 界面。
在这里插入图片描述

配置步骤：手动添加 Ollama 自定义提供方

这是最直接、最可靠的方法，无需安装任何插件。

进入模型设置

在 DeepSeek Harness Web 界面中，点击左下角的 “设置” 图标，然后选择 “模型” 选项卡。

在模型页面中，点击 “+ 添加自定义提供方” 按钮。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

填写 Provider 配置信息

在弹出的配置面板中，按以下内容填写：

配置项填写内容说明
API 密钥任意占位符，如 ollama⚠️ 必填！Ollama 不需要 Key，但系统强制要求非空
显示名称ollama-remote（可自定义）在模型中显示的名称
API 地址http://<Ollama服务IP>:11434/v1本地用 http://127.0.0.1:11434/v1
API 协议openai-completions与 OpenAI API 兼容
模型目录点击 “获取可用模型”自动拉取 Ollama 中的模型列表

关键点：API 密钥必须填写任意占位符（如 ollama），否则会报 No API key for provider 错误。Ollama 服务端不会验证这个值，仅用于通过 Harness 的架构校验。

在这里插入图片描述

获取并确认模型列表

点击 “获取可用模型” 按钮，系统会自动从 Ollama 服务端拉取已安装的模型列表。拉取成功后，你会看到类似以下的模型列表：

qwen3.8:27b
...

每个模型都可以单独设置显示名称（可以为空），方便在对话界面中识别。
在这里插入图片描述
在这里插入图片描述

保存配置

在这里插入图片描述
在这里插入图片描述

验证使用

在这里插入图片描述

单机与局域网场景

场景一：Ollama 与 Harness 在同一台电脑

API 地址填写：http://127.0.0.1:11434/v1

无需额外网络配置，直接使用即可。

场景二：Ollama 与 Harness 在不同电脑（同一局域网）

第一步：配置 Ollama 服务端

在运行 Ollama 的电脑上，添加以下系统环境变量：

变量名变量值
OLLAMA_HOST0.0.0.0
OLLAMA_ORIGINS*

设置完成后重启 Ollama 服务，并确保防火墙允许 11434 端口入站。

第二步：配置 Harness 客户端

在 Harness 的自定义 Provider 中，将 API 地址 填写为：

http://<Ollama电脑的IP地址>:11434/v1

配置完成后即可正常调用远程 Ollama 模型。

常见问题

Q1：报错 No API key for provider: xxx

原因：DeepSeek Harness 架构要求每个 Provider 都必须绑定 API Key 字段，即使 Ollama 本身不需要。

解决方法：在“API 密钥”栏中随便填任意占位符（如 ollama、dummy、not-needed），保存即可。

Q2：点击“获取可用模型”无响应或报错

检查项：

  1. 确认 Ollama 服务是否正常运行
  2. 确认 API 地址是否正确（注意结尾的 /v1）
  3. 如果是远程访问，确认 OLLAMA_HOST=0.0.0.0 已设置并重启
  4. 确认防火墙是否放行了 11434 端口
  5. 在浏览器中直接访问 http://<IP>:11434，看是否能返回 JSON 响应

Q3：模型调用超时或卡住

  • 检查本地电脑性能是否满足模型运行要求
  • 大模型首次加载可能需要较长时间，请耐心等待
  • 可尝试在 Ollama 中先用命令行测试模型是否正常工作：
ollama run qwen3.8:27b "你好"

安全提醒

将 Ollama 暴露在局域网中时：

  • 无身份验证：同一网络内的任何设备都能访问，请仅在家庭或公司等可信内网使用
  • 建议通过路由器或防火墙设置，限制只有特定 IP 才能访问 11434 端口
  • 如需从外网访问，请使用 Tailscale 或 WireGuard 等 VPN 技术

结语

通过 DeepSeek Harness 内置的“添加自定义提供方”功能，无需安装任何插件，仅需几步配置即可完成 Ollama 本地模型的接入。整个配置过程的核心要点只有两个：

  1. API 地址要填写正确（带 /v1 后缀）
  2. API 密钥随便填个占位符（绕过系统校验）

这套组合方案让你可以完全本地化地运行 AI Agent，数据无需上传云端，既保护隐私又节省成本。无论你是开发者用于日常编程辅助，还是团队内部构建私有 AI 工具链，DeepSeek Harness + Ollama 都是一个值得尝试的选择。

参考

[1] https://github.com/deepseek-ai/deepseek-harness.git
[2] https://docs.ollama.com

AI 时代程序员必备技能

Codex、Claude Code、Cursor、Hermes Agent、OpenClaw等工程化实战专栏 ，讲透 AI 如何接管脏活累活

一键订阅
标签
#人工智能 #深度学习 #pytorch #deepseek #ollama
从零开始做一个 AI Agent（附录三）配置ollama本地大模型/deepseek线上大模型
echo的博客
06-21 204
本文介绍了如何从零开始搭建高校课程资料RAG Agent问答系统的配置流程。主要内容包括：1）配置本机Ollama模型（qwen2.5:14b-instruct-q4_K_M），通过修改.env文件实现真实模型调用；2）详细说明后端启动方法，包括终端和PyCharm两种方式；3）演示课程资料上传和问答接口调用流程；4）对比系统升级前后的处理流程差异，指出当前阶段已实现真实大模型生成能力；5）阐明与完整Agent系统的差距，为后续开发工具注册、任务规划等功能奠定基础。该方案特别适合计算机专业学生用于毕设开发、
本地AI助手部署指南：DeepSeek Harness与Ollama集成实践
dengjuanshou7445的博客
08-16 330
AI Agent作为当前人工智能领域的热门技术，通过模拟人类决策过程，能够自主规划、调用工具并执行复杂任务。其核心原理在于将大语言模型的推理能力与外部工具API相结合，形成可闭环的工作流。这种技术架构的价值在于显著提升了AI系统的实用性和自动化水平，使其从单纯的对话工具转变为能够解决实际问题的智能助手。在应用场景上，AI Agent广泛应用于代码生成、数据分析、自动化办公等领域。本文聚焦于如何通过DeepSeek Harness平台与Ollama本地模型的集成，实现隐私安全、离线可用的AI助手部署方案，特别
Qwen3.6 27B蒸馏模型：以更低成本获取35B级大模型能力的实践指南
08-04 357
知识蒸馏是一种将大型、高性能的教师模型的知识迁移到更小、更高效的学生模型中的技术。其核心原理在于让学生模型学习教师模型的软标签概率分布，而不仅仅是最终答案，从而在保持较高性能的同时大幅降低模型参数量和计算开销。这项技术的核心价值在于解决了AI模型部署中性能、成本与易用性之间的经典三元悖论，使得在消费级GPU上运行接近顶尖模型的能力成为可能。其典型应用场景包括需要复杂推理、代码生成和高质量内容创作的AI应用开发，尤其适合算力预算有限的个人开发者和中小企业团队。本文聚焦的Qwen3.6 27B蒸馏模型，正是这一
AI人工智能学习笔记
u012053107的博客
04-19 638
人工智能知识点包含以下几大类：AI历史与现状、AI基本方法、基础数学、语言与编程、硬件知识。本文汇总网络上公开的各部分优质资料，梳理出一条人工智能自学路径，作为课程学习引导。
Qwen3.5-Flash：35B模型实现235B级推理性能的工程实践
weixin_33704234的博客
06-21 554
大语言模型推理优化是当前AI工程落地的核心瓶颈，其本质在于计算效率、显存带宽与调度策略的协同突破。基于Transformer架构的模型普遍存在GPU利用率低、KV Cache开销大、算子调用碎片化等问题，导致高参数量模型难以在边缘或低成本云环境部署。Qwen3.5-Flash通过结构重排、算子融合、内存压缩和动态分块调度四大关键技术，在保持35B参数量不变的前提下，显著提升吞吐量、降低首token延迟并压缩42%显存占用——这正是‘推理加速范式’与‘Flash Attention’深度结合的典型实践。该方案
7B-8B大模型对固态硬盘的真实IO要求：不止是容量，更是4K随机读与低延迟
weixin_34295316的博客
06-20 438
大模型推理并非简单加载权重文件，其本质是高频、小包、高并发的存储访问过程。从KV缓存动态分配、量化权重实时解压，到上下文滑动窗口的反复读写，核心压力落在4K随机读IOPS、低延迟抖动和稳定写入寿命三大指标上。尤其在qwen2.5:7b、mistral-7b-instruct等7B–8B量级模型场景中，传统SSD常因元数据风暴、FTL失效或PCIe链路降级而性能断崖式下跌。本文基于vLLM、Ollama等主流框架实测数据，揭示PCIe4.0协议陷阱、固件兼容性风险及Linux内核级调优路径，为AI开发者提供可
Harness Engineering：构建可控AI应用系统的工程范式与实战
weixin_34090562的博客
07-07 369
这次我们来看一个在AI大模型应用开发领域越来越重要的概念：Harness Engineering。它不是一个具体的软件包，而是一种工程范式，一种构建可靠、可控、可扩展的AI应用系统的设计哲学。简单来说，它解决的核心问题是：如何让强大的大模型（如GPT、Qwen、GLM等）不只是“写几行代码”，而是能稳定、安全、高效地融入你的业务流程，完成复杂的、多步骤的、需要外部工具协作的任务。 如果你正在开发基于大模型的智能客服、数据分析助手、代码生成工具，或者任何需要AI自主决策和执行的Agent（智能体），那么理解并
DeepSeek Harness与Ollama本地AI Agent开发实战指南
weixin_34406086的博客
08-16 362
AI Agent作为大语言模型的高级应用形态，通过自主规划、工具调用与多步推理能力，将传统对话式AI升级为可执行复杂任务的智能助手。其核心原理基于ReAct（推理-行动）框架，结合思维链提示工程，使模型能够理解用户意图并调用外部工具完成任务。这一技术显著提升了AI在编程辅助、数据分析、自动化流程等场景的实用价值。本文聚焦于DeepSeek Harness与Ollama的集成方案，通过开源模型本地化部署，实现隐私保护与成本优化的AI Agent开发。该组合降低了Agent开发门槛，使开发者能够基于本地环境构建
从RAG到智能体：基于Harness Engineering构建可控AI应用实战
weixin_33965305的博客
07-01 362
在AI应用开发领域，检索增强生成（RAG）技术通过将大语言模型与外部知识库结合，有效解决了模型幻觉和知识陈旧问题。其核心原理是通过向量化检索匹配相关文档片段，为模型生成提供准确上下文，从而提升回答的准确性和可信度。这一技术价值在于将大模型的通用能力与领域专业知识相结合，实现了知识密集型任务的可靠自动化。在金融、法律、医疗等对准确性要求极高的场景中，RAG已成为构建专业问答系统的标准架构。本文以金融问答机器人为例，深入探讨如何基于Harness Engineering理念，将RAG与Agent智能体框架结合，
DeepSeek代码模型本地化部署与智能开发工作流构建指南
weixin_30321449的博客
06-22 342
代码大模型正从云端API走向本地可编程的工程基础设施。DeepSeek-Coder系列作为开源代码模型代表，依托AST结构化训练、Q4_K_M量化适配与LSP协议集成，显著提升C++/Python混编场景下的补全准确率与响应实时性。其技术价值在于将概率生成转化为可验证的程序语义理解，支撑VS Code、Continue.dev及Agent Harness等工具链实现低延迟、高可控的智能增强。典型应用场景涵盖工业级代码审查、自动化单元测试生成与领域专用模型微调。本文聚焦DeepSeek-Coder-V2与R1
DeepSeek Harness与Ollama本地AI编程Agent搭建全攻略
weixin_30319153的博客
08-16 433
AI Agent作为能够感知环境、自主规划并执行任务的智能体，正从概念走向工程实践。其核心原理在于结合大语言模型的推理能力与工具调用框架，实现任务分解与链式执行。这一技术价值在于将AI从被动问答升级为主动协作，显著提升复杂问题解决效率。在编程领域，AI Agent能够理解需求、规划步骤、调用开发工具并执行代码，成为开发者的智能伙伴。通过DeepSeek Harness这一AI Agent开发平台，配合Ollama提供的本地化模型部署方案，开发者可以构建完全运行在本地的编程助手。这种组合不仅解决了对云服务的依
从零构建企业级AI Agent：基于Hermes与Harness Engineering的实战指南
weixin_29038303的博客
06-29 332
AI Agent作为连接大模型能力与具体业务场景的智能体，其核心在于将复杂的任务分解、规划并调用特定工具（Skill）来执行。这一过程涉及环境配置、技能集成、流程编排与系统部署等多个工程环节。Harness Engineering（驾驭工程）正是为此而生，它是一套确保AI应用具备可观测性、可测试性、可维护性的工程实践方法论，旨在将前沿的Agent理念固化为稳定、可复用的生产级资产。本文以Hermes Agent框架为例，深入探讨如何通过Harness Engineering的方法，从环境准备、自定义Skil
本地跑一个 Qwen 3.8，你将拥有一个 Opus 4.6
最新发布
程序员cxuan的个人主页
08-17 352
就在上周 DeepSeek-V4-pro 、Grok 4.6 、DeepSeek Harness、GLM 5.3 相继炸场的时候，Qwen 3.8 迎来了开放权重的时刻。就在大家相继追捧 DeepSeek 、GLM 的时候，Qwen 也迎来了属于它的时刻。。已经在 Hugging Face 上，可以看到 Qwen-3.8-2.4T 和 Qwen-3.8-27B 了。然后 unsloth 又给大家提供了一下本地部署的方法。这次还真不是理论上可以本地跑，而是真的能跑。
从零构建AI Agent工程化实践：基于Hermes Agent与Harness Engineering的完整指南
weixin_34302798的博客
07-07 367
如果你是一名开发者，最近可能频繁听到“AI Agent”、“Harness Engineering”、“Claude Code”这些词在技术社区刷屏。但当你真正想上手体验时，却发现：教程要么是零散的代码片段，要么是晦涩的概念解析，要么就是需要复杂的环境配置，让新手望而却步。你需要的不是一个炫酷的概念演示，而是一个能 真正跑起来、解决实际问题 的完整工作流。 这正是本文要解决的问题。我们将聚焦于 Hermes Agent 这个具体的工具，它并非一个遥不可及的“未来框架”，而是一个旨在将 Harness Eng
Harness Engineering与Hermes Agent：工程化驾驭AI智能体的实战指南
agtvo48266的专栏
07-08 380
如果你是一名开发者，最近一定被各种“AI智能体”和“大模型应用”刷屏了。从GitHub上雨后春笋般的Agent项目，到各种宣称能“自动编程”、“自主完成任务”的工具，似乎一夜之间，AI已经从“聊天机器人”进化成了能理解复杂指令、调用工具、甚至规划工作流的“数字员工”。 但兴奋过后，一个现实问题摆在面前： 这些听起来很酷的AI智能体，到底怎么才能为我所用？ 是去研究那些动辄上千行的开源框架源码，还是等待某个大厂发布一个“开箱即用”的成熟产品？对于大多数希望快速将AI能力集成到现有工作流中的开发者来说，前者门槛
Harness Engineering：大模型Agent的可控性工程方法论
banshen0201的博客
06-21 475
大模型Agent系统面临幻觉、不可观测、难干预等核心工程挑战，其本质是缺乏对模型行为的可控性与可观测性保障。Harness Engineering并非新框架，而是面向生产环境的系统化驾驭方法论，聚焦Control（调用/上下文/输出约束）、Observe（全链路Trace+Metrics+结构化日志）、Intervene（静默接管/显式确认/专家接管）与Evolve（反馈驱动自动演进）四大支柱。它深度适配LangChain和LangGraph生态，在不改动底层模型的前提下，通过Tool封装、Guardrai
AI赋能远程控制：2026年8款智能工具解析与实战指南
weixin_33871366的博客
07-07 434
远程办公、远程运维、远程协助……这些场景早已成为开发者和IT从业者的日常。但你是否遇到过这样的困扰：面对一堆需要维护的服务器或同事的求助电脑，每次都要手动输入复杂的命令、重复点击相同的配置项，或者因为网络延迟导致操作卡顿，效率大打折扣？传统的远程控制工具解决了“连接”的问题，但“操作”的智能化、自动化程度依然有限。 随着大模型技术的爆发式发展，AI正在重塑每一个软件交互界面。想象一下，你的远程控制工具不仅能帮你“连上去”，还能理解你的自然语言指令，自动完成一系列复杂操作：比如“帮我检查一下服务器A的Ngin
从零开始做一个AI Agent（一）项目总览
echo的博客
06-20 482
本文介绍了一个面向Java Web课程的RAG问答系统开发教程。该系统采用Python技术栈(FastAPI+SQLite)，支持教师上传课程资料(PPT/PDF/代码等)，通过RAG(检索增强生成)技术实现学生问答功能。系统先检索课程资料相关内容，再基于资料生成回答并返回出处，避免大模型幻觉。目前已完成后端MVP开发，具备文件上传、资料解析、本地检索和问答接口等功能，为后续实现更智能的Agent系统奠定基础。文章详细解释了RAG原理、技术选型和项目结构，适合初学者学习如何将大模型能力接入教育场景。
从零构建AI智能体：Harness Engineering与Hermes Agent工程化实践
weixin_34121282的博客
07-08 325
最近在折腾几个大模型应用项目时，我遇到了一个典型的“最后一公里”问题：模型能力很强，API调用也通了，但一到实际业务场景，就发现从“能跑通”到“能稳定、高效、可维护地运行”之间，隔着一道巨大的鸿沟。比如，一个简单的文档问答流程，需要考虑文件上传、格式解析、分块策略、向量化、检索、上下文组装、调用大模型、结果后处理、日志记录、异常重试……任何一个环节出问题，整个流程就断了。 这时候，你需要的可能不是一个更强大的模型，而是一套能把所有环节“串”起来，并且管好它们的工程化框架。这让我想起了软件工程从“写脚本”到“
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FriendshipT

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值