老显卡也能跑！Ubuntu+P104显卡部署whisper-large-v3实战记录

最新推荐文章于 2026-06-21 15:04:26 发布

原创

最新推荐文章于 2026-06-21 15:04:26 发布 · 314 阅读

标签

#Whisper-large-v3 #部署 #GPU #语音识别

让沉睡的算力苏醒：在Ubuntu与老旧P104显卡上部署Whisper-Large-V3的实战手记

手头有一张被时代“淘汰”的P104矿卡，8GB显存，CUDA计算能力6.1，官方驱动最高只支持到CUDA 12.4。看着社区里大家用着RTX 4090畅跑各种大模型，我却在想，这些被束之高阁的硬件，难道真的只能沦为电子垃圾吗？恰好最近需要处理一批粤语访谈录音的转录工作，Whisper-large-v3的多语言识别能力，尤其是对粤语的支持，让我动了心思。于是，一场围绕“老旧显卡能否跑通最新语音模型”的探索就此展开。这篇文章，就是为那些和我一样，硬件预算有限，但探索欲望无限的开发者准备的。我们不追求极致的速度，只求证实的可能性，并在这个过程中，把每一分硬件潜力都榨取出来。

1. 环境基石：为老显卡量身定制的系统与驱动

在开始安装任何Python包之前，为老显卡打好地基是成功的一半。我的实验平台是一台搭载了Intel Xeon D-1581处理器的服务器，通过Hyper-V的GPU直通（DDA）技术，将一张NVIDIA P104-100显卡分配给了Ubuntu Server 22.04 LTS虚拟机。这张卡基于GP104核心，与GTX 1070同宗，但缺少显示输出，是一张纯粹的计算卡。

1.1 驱动安装与CUDA兼容性确认

对于P104这类老卡，驱动选择至关重要。最新版的NVIDIA驱动往往不再支持老架构，强行安装可能导致内核模块编译失败。经过多次尝试，我锁定了nvidia-driver-535这个长期支持版本。

# 首先，确保系统是最新的
sudo apt update && sudo apt upgrade -y

# 添加官方的NVIDIA驱动PPA（对于Ubuntu 22.04）
sudo add-apt-repository ppa:graphics-drivers/ppa -y
sudo apt update

# 安装驱动和头文件
sudo apt install nvidia-driver-535 nvidia-headless-535 nvidia-utils-535 -y

# 安装完成后，重启系统
sudo reboot

重启后，使用 nvidia-smi 命令验证驱动是否安装成功，并确认CUDA版本。对于P104，nvidia-smi 顶部显示的CUDA Version通常是12.4，但这只是驱动支持的最高CUDA运行时版本。显卡本身的计算能力（Compute Capability）才是决定它能跑哪些PyTorch版本的关键。可以通过以下命令查看：

nvidia-smi --query-gpu=compute_cap --format=csv

对于P104，输出会是 6.1。这意味着它支持大部分现代深度学习框架，但需要对应版本的CUDA Toolkit。

注意：PyTorch的CUDA版本（如cu124）指的是其编译时所依赖的CUDA Toolkit版本，必须不高于你的NVIDIA驱动所支持的CUDA运行时版本。驱动535支持CUDA 12.4，因此我们可以安装torch的cu124版本。

1.2 Conda环境：隔离与依赖管理的救星

我强烈推荐使用Miniconda来管理Python环境。对于Whisper这类依赖复杂的项目，Conda不仅能管理Python包，还能优雅地解决一些底层库（如FFmpeg、CUDA）的依赖冲突，这是venv难以比拟的。

# 下载并安装Miniconda（以Linux x86_64为例）
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh
# 按照提示完成安装，通常需要重新打开终端或执行 source ~/.bashrc

# 创建一个新的环境，指定Python 3.11
conda create -n whisper-p104 python=3.11 -y
conda activate whisper-p104

选择Python 3.11是因为它在性能和对新库的支持上取得了很好的平衡，并且是许多机器学习库（如PyTorch 2.x）稳定支持的主流版本。