Ubuntu 22.04完整安装Xinference及解决依赖报错

最新推荐文章于 2026-07-24 16:21:53 发布
原创 最新推荐文章于 2026-07-24 16:21:53 发布 · 2.8k 阅读 · 12

Ubuntu 22.04完整安装Xinference及解决依赖报错

注：文中使用的环境为Ubuntu 22.04 LTS + CUDA 12.4.1

1、创建conda环境

conda create -n xinference python==3.11 -y
conda activate xinference

2、安装Xinference

pip install "xinference[all]"

3、解决报错

Pytorch报错

根据Pytorch安装指引进行安装，重新执行命令即可。注意，一定要在Pytorch网站上按照你的系统和CUDA版本等选择。使用pip即可。例：

pip3
标签
#ubuntu #linux #运维 #ai #AI编程
最低0.47元/天 解锁文章
flymyd
关注
windows wsl2（ubuntu）使用xinference快速部署ai模型
m0_61069946的博客
03-26 3531
Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能。
Xinference安装、使用详细笔记
guoqingru0311的博客
03-24 4243
Xinference安装、使用详细笔记
ubuntu24安装xinference
weixin_42884802的博客
03-10 1971
三、如果报错could not select device driver ““ with capabilities: [[gpu]]NVIDIA容器工具包不能直接通过apt install命令安装，因此需要先执行如下命令添加英伟达的apt软件源。既然通过–gpus参数调用宿主机GPU失败，那就重新安装一个英伟达的容器工具包。一、单机部署 Xinference。二、 启动容器（根据硬件选择命令）重启docker服务。
Ubuntu 22.04下Xinference安装全攻略：从CUDA配置到依赖报错修复
weixin_30952535的博客
03-29 499
本文详细介绍了在Ubuntu 22.04系统上安装Xinference的完整流程，包括CUDA配置、conda环境隔离以及常见依赖报错的解决方案。通过系统化的步骤和实用技巧，帮助开发者高效完成AI模型的本地化部署，特别针对Xinference安装过程中的依赖报错问题提供了专业修复方案。
Linux(ubuntu) 部署xinference
qq_43521113的博客
11-06 4664
注:在此前提我已经准备好了环境 - 文章中大部分命令我都会有说明 进阶命令就需要友友们在研究了注：此文章不叙述docker版安装(docker安装很简单 配置一个好的docker镜像源 然后执行已下命令即可)
Maxkb +Ollama + Xinference打造自己的deepseek知识库 （一）
weixin_49346343的博客
03-10 1269
在这个系类文章中将和大家分享打造自己的deepseek知识库，感兴趣的朋友们可以一直看下去。以上就是关于安装ollama+maxkb+xinference的内容了。
Ubuntu 22.04高效部署Xinference：从环境配置到依赖问题全解析
weixin_42546508的博客
04-15 360
本文详细解析了在Ubuntu 22.04上高效部署Xinference的全过程，包括环境配置、依赖问题解决及优化技巧。针对常见的依赖报错问题，提供了实用的解决方案，帮助开发者快速搭建稳定的AI推理环境，提升部署效率。
手把手教你解决Xinference在Ubuntu 22.04中的llama-cpp-python报错问题
weixin_28831341的博客
02-20 398
本文详细解析了在Ubuntu 22.04系统中部署Xinference时，安装llama-cpp-python包遇到的经典依赖报错问题。文章从根源分析了构建失败的原因，并提供了从更新系统编译工具链、配置CUDA环境变量到升级Python构建工具的一整套解决方案，手把手指导开发者彻底解决此依赖报错，顺利完成AI推理环境的搭建。
保姆级教程：用Xinference在Ubuntu 22.04上本地部署通义千问Qwen2-7B（含CUDA 12.2配置）
weixin_33701251的博客
04-03 390
本文提供了一份详细的Ubuntu 22.04下使用Xinference部署通义千问Qwen2-7B模型的保姆级教程，涵盖CUDA 12.2配置、Python虚拟环境搭建、Xinference安装及模型部署全流程，并包含性能优化、常见问题排错等实用技巧，适合AI开发者和爱好者快速上手本地大模型部署。
Windows子系统Ubuntu本地部署xinference以及接入dify详解
提笔不为风雅
12-14 2163
dify xinference
手把手教你用conda在Ubuntu 22.04上搭建Xinference开发环境（含llama-cpp-python报错解决方案）
weixin_33686714的博客
04-06 38
本文详细指导如何在Ubuntu 22.04系统上使用Conda搭建Xinference开发环境，特别针对llama-cpp-python依赖报错提供解决方案。从基础配置到环境创建、Xinference安装及常见问题排查，帮助开发者高效部署稳定的AI推理环境。
PyCharm 调试 Xinference 遇到问题及解决方案
NLP工程化
09-19 2363
本文使用的 PyCharm 2024.2.1 版本，如果使用低版本 PyCharm，那么在调试 Xinference v0.15.1 源码时可能会报错 Connection to Python debugger failed Socket closed。
Xinference-v1.17.1 Ubuntu系统适配指南：从安装到模型部署
weixin_35826166的博客
02-23 378
本文介绍了如何在星图GPU平台上自动化部署Xinference-v1.17.1镜像，快速搭建AI模型推理环境。该镜像支持大语言模型部署与对话生成，用户可通过简单的配置实现模型的高效调用，适用于智能客服、内容创作等文本生成场景，显著提升开发效率。
Xinference 完整部署及踩坑指南
最新发布
ding_zk的博客
07-24 369
摘要：本文为Xinference私有化大模型推理服务的完整部署指南，针对8卡NVIDIA L20 GPU环境（驱动支持CUDA 12.5），详细介绍了从环境准备到模型加载的全流程。关键步骤包括：CUDA版本对齐（需使用PyTorch cu124）、虚拟环境隔离、依赖冲突解决（如numpy降级）、vLLM高性能后端安装，以及transformers备选方案。特别强调通过pip check验证环境纯净性，并提供后台服务启动命令和模型加载验证方法。文档还包含常见错误处理（如libcudart.so.13缺失）和两
手把手教学：Xinference-v1.17.1在Ubuntu上的安装、配置与模型测试
weixin_29092787的博客
03-09 288
本文介绍了如何在星图GPU平台上自动化部署Xinference-v1.17.1镜像，快速搭建开源大模型推理服务。通过该平台，用户可轻松配置环境并启动服务，进而部署如Qwen2-7B-Instruct等模型，实现智能对话、代码生成等核心应用，显著降低本地AI部署门槛。
WSL2 Ubuntu22.04 + Miniconda + CUDA13.0本地Toolkit + Xinference + ModelScope(vLLM/GGUF) + Dify 部署方案
weixin_43869605的博客
06-28 261
Docker Desktop 手动配置 D 盘存储，无需迁移 Docker；Windows NVIDIA 驱动支持 CUDA13.0，WSL 内部完整安装 CUDA13 Toolkit 提供 nvcc；模型硬性规范：所有长期使用模型统一存放（Xinference 自动扫描，跳过 cache 拷贝无报错）；引擎区分：完整权重文件夹 = vLLM；单.gguf量化文件 = llama.cpp；Model 使用规范：全程手动指定 models 目录，不配置自动缓存环境变量。
Xinference-v1.17.1部署指南：解决常见安装问题
weixin_35748962的博客
02-12 335
本文介绍了如何在星图GPU平台上自动化部署xinference-v1.17.1镜像，快速构建本地大语言模型推理服务。通过平台化部署，用户可免于处理CUDA兼容、依赖冲突及WebUI加载等常见问题，典型应用于中文问答、RAG知识检索和本地AI助手开发，显著提升LLM落地效率。
Xinference-v1.17.1快速体验：Ubuntu环境下从零到一的模型推理服务
weixin_42513209的博客
03-19 215
本文介绍了如何在星图GPU平台上自动化部署Xinference-v1.17.1镜像，快速搭建AI模型推理服务。该镜像支持大语言模型、语音识别及多模态模型的统一API调用，适用于智能客服、内容生成等场景，显著降低AI应用开发门槛。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值