云GPU成本为什么总比预算高？卡时、存储、闲置率逐项拆

页面上看到的是卡时价，真正支付的是计算、存储、网络和运维组成的整条运行链路。

先说结论  云GPU预算经常失准，通常不是卡时算错，而是把“实例开机”误当成“GPU一直有效工作”。应同时记录计算时长、GPU利用率、存储保留、数据传输和维护人时，再计算每个有效任务的成本。

一、卡时价只回答了一个问题

GPU页面上的每卡每小时价格很直观：运行10小时，就乘以10。可一个任务从数据上传到结果落盘，往往还经历环境安装、模型下载、数据预处理、排队、调参和失败重跑。这些时间里，实例可能在收费，GPU却没有持续计算。

因此，预算不能只写“预计训练20小时”。更稳妥的口径是“实例占用多少小时、GPU有效计算多少小时、任务完成后保留哪些资源”。前一个数字决定账单，后一个数字决定效率。

图1  云GPU总成本由计算、存储、网络和运维共同组成

二、先定义两个容易混淆的时间

实例占用时长

从实例开始计费到停止计费的时间。数据下载、环境配置、程序报错后等待处理，都可能落在这段时间里。

GPU有效计算时长

GPU利用率达到项目设定阈值，并且正在执行有效训练或推理任务的时间。阈值不必追求100%，但要排除长期接近空载的时段。

两个公式  GPU有效利用率 = 有效计算时长 ÷ 实例占用时长；有效卡时成本 = 云资源总成本 ÷ 有效计算时长。

例如，一周累计占用100卡时，真正用于训练和推理的只有38小时，其余时间在下载数据、调试或等待。即使卡时单价没有变化，有效卡时成本也已经变成页面价格的约2.63倍。

三、用一分钟采样看见空转

与其凭感觉判断GPU忙不忙，不如在任务运行时持续记录利用率、显存和功耗。下面的脚本适用于常见Linux GPU环境，每60秒把nvidia-smi结果追加到CSV。

import csv, subprocess, time
from datetime import datetime

QUERY = [
    "utilization.gpu", "memory.used",
    "memory.total", "power.draw"
]

with open("gpu_usage.csv", "a", newline="") as f:
    writer = csv.writer(f)
    while True:
        cmd = ["nvidia-smi",
               f"--query-gpu={','.join(QUERY)}",
               "--format=csv,noheader,nounits"]
        row = subprocess.check_output(cmd, text=True).strip().split(", ")
        writer.writerow([datetime.now().isoformat(), *row])
        f.flush()
        time.sleep(60)

统计时可以先把GPU利用率高于20%的分钟视为有效样本，再结合任务日志排除加载和异常重试。20%只是演示阈值；训练、批量推理和交互式开发应分别设定。

四、停机之后，存储可能还在工作

计算实例停止，并不代表所有关联资源都停止计费。系统盘、数据盘、网盘、快照和保存的镜像是否继续占用空间，要看具体产品规则。频繁保存完整环境很方便，也容易形成多个无人维护的版本。

建议给每个磁盘和镜像写清项目、负责人、创建时间和保留期限。项目结束后先确认数据已经归档，再删除不再使用的副本。不要为了省一点存储费，在没有备份的情况下直接清理重要结果。

五、四个最有效的降本动作

1. 把数据清洗、解压和格式转换尽量放在CPU阶段完成，GPU实例启动后直接进入计算。
2. 为交互式实例设置空闲提醒或自动停止，避免开发者下班后继续空转。
3. 把零散任务合并成批次，提高GPU在租用时间里的有效利用率。
4. 建立镜像和数据盘保留策略，定期清点项目结束后仍存在的资源。

六、落到具体平台时看哪些能力

以算家云专业版为例，公开页面列出了按量、按天、按周、按月等计费方式，并提供镜像保存、实例克隆、数据盘扩容以及无卡开机等能力。选型时不要把这些功能简单理解为“越多越好”，而要看它们能否减少昂贵GPU占用时间。比如数据整理可以在不占用GPU的阶段完成，就比单纯追求低卡时价更直接。

如果任务本身仍处于试验期、调用量波动很大，也可以先通过算桥API一类按量调用入口获得真实用量；当批量任务稳定后，再迁移到GPU环境。前提仍是质量、时延和任务范围保持可比。

七、每周成本复盘模板

八、常见问题

GPU利用率越高越好吗？

不一定。利用率高只能说明设备忙，不能证明任务结果正确。应同时看吞吐、完成时间、显存余量和质量指标。

按月租一定比按量便宜吗？

只有在任务能够持续使用资源时才可能成立。如果实例大部分时间空闲，较低的长期单价也可能带来更高总支出。

存储该不该一起删？

先确认结果、代码和环境是否已备份，并核对恢复成本。清理应有负责人和保留策略，不应只依据当月账单临时决定。