Dify中使用插件LocalAI配置模型供应商报错

CoPaw

CoPaw

AI应用
Qwen
Qwen3

内置vllm部署的Qwen3-4B-Instruct-2507模型,agentscope开源的类似openclaw个人助手。

Dify经过从旧服务器迁移到新的服务器之后。服务器使用vllm运行大模型,今天在Dify中使用插件LocalAI配置模型供应商后,使用工作流的时候,报错:“Run failed: PluginInvokeError: {"args":{},"error_type":"ValueError","message":"User message content must be str"}”

场景:上传文件后,然后再次提问机会出现错误如下:

刚开始怀疑是模型参数之类的问题,但是用ollama配置的模型就不会报错。原因不明。于是改成使用Vllm插件重新添加模型供应商。

然后又可以开心的玩耍了。

过了几天,谁曾想又遇到了一个问题,在使用迁移过来的对话应用时。发现大模型次回答完毕之后都报错:

看了日志记录,感觉是旧数据的问题, 重新创建应用就好了。并且改成了使用

OpenAI-API-compatible 插件,

而且它可以可以设置是否开启思考模式,这对于使用Qwen3的模型很有帮助:

您可能感兴趣的与本文相关的镜像

CoPaw

CoPaw

AI应用
Qwen
Qwen3

内置vllm部署的Qwen3-4B-Instruct-2507模型,agentscope开源的类似openclaw个人助手。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值