模型上线第一年：账算清楚了，领导又来问了一遍

成本这本账，为什么越算越厚

上周五，我把大模型上线第一年的真实账单发给了领导。表格做得很工整：硬件折旧多少、电费多少、运维人力摊多少、软件授权多少，一行一行列得清清楚楚。

领导看完，发来一条微信："收到，我看完找你。"

然后就没有然后了。

我知道他在等什么——等他看完，他就会来找我，然后问那个我听了整整一年的问题："能不能再便宜点？"

其实这已经是我第三次给他算这笔账了。第一次是立项论证，第二次是年中复盘，这次是年末预算。我每次都把Excel做得工工整整，把数字摆得清清楚楚。但领导每次听完，都会问同一个问题。GPU的价格，这一年过得真刺激。

GPU 的价格，跑得比需求还快

年初一块H100的月租还不到5万块，到年中已经涨到了6万出头，现在8×H100集群的月租已经在48万到72万之间了。这涨势比我司股价还稳。

其实采购也好不到哪去。H100裸卡的价格从年初的22万涨到了30万，还不一定有货，得排到2026年下半年。供应商现在学精了，不叫涨价，叫"年度市场调整"。

更让人心塞的是A100这边。以前2.5万/月能拿下的卡，现在要3.5万，价签上还写着"参考价，实际以供应为准"。有价无货这事，我们这行终于也体验到了。

电费，才是最老实的一笔账

很多人以为买完卡就完事了，电费这种事回头再算。一块H100的功耗是700瓦，按61%的利用率算，一年要烧3740度电。如果按工业电价0.6到1元/度来算，单这一块卡一年电费就要2244到3740元。

八卡集群年电费1.8万到3万，看起来不多。但加上机房制冷、温控、UPS备用电源，电力成本要乘以2到2.5倍。更别说IDC托管费——高密度机柜一年1.2万到2.4万，这些钱都是实打实要掏的。

有些老板觉得运维可以"顺带做"。但GPU运维和普通服务器运维完全不是一回事，显存溢出、驱动升级、批量大小调整，这些都是踩过坑才能快速解决的问题。

那些从来没进过 Excel 的钱

故障停机是第一笔最直接的损失。GPU服务器不像家用游戏主机，拔了电重启就行。生产环境一出故障，业务团队的投诉电话比告警邮件来得还快。而且故障的损失不只是维修费——业务中断的损失往往比硬件本身贵得多。

然后是那些失败的项目。立项的时候大家信心满满，上线之后准确率七上八下，业务部门用了一个月就放弃，说"还是人审靠谱"。这种沉默成本，从来不会出现在任何一张成本表格里，但它是真实消耗掉的。

还有一件说出来有点没面子的事：备件库存。GPU服务器的风扇、NVLink线缆这些都是耗材。一块H100的年维修概率5%到8%，单次维修5000到20000元。要是不备着，等故障来了，从报修到恢复至少一两周，这期间整个业务就停着看着。

最后是软件升级。谁也没想到，大模型厂商的更新频率已经快到每季度一个大版本。有些是安全补丁不得不升级，有些是"建议升级"但你知道新版本效果更好。每次升级都要重新测试，都要占用工程师的时间，这些都是成本。

每次汇报都会来的那三个问题

问题一：能砍多少？

这个问题最常见，也最让人哭笑不得。砍掉一张卡确实能省6到9万，但推理速度会下降，并发会受影响，你以为省的是钱，实际上埋下的是下一次故障的雷。所以每次被问到"能砍多少"，我都得先问清楚："你愿意砍的是性能、还是功能，还是服务时间？"这个问题问回去之后，通常会换来一阵沉默。

问题二：能不能上云？

上云这个建议，这两年听得太多了。确实灵活，确实不用一次性掏出几百万。但坑也是真的多——公有云的GPU按小时计费，跑一个大模型任务几小时就烧掉几千块，高峰期还要排队等资源。等你按量计费跑满一个月，往往发现总账单比私有化还贵。所以我的态度是：云适合做PoC，不适合做生产。

问题三：竞品怎么做的？

这个问题最难回答。竞品用更小的模型，可能是因为他们的场景确实简单；竞品上了云，可能是因为他们的数据不需要私有化；竞品说"成本控制得挺好"，可能是因为他们没有把人力成本算进去。成本比较只有在需求完全一样的时候才有意义，而现实是，没有两家的需求是完全一样的。

怎么让成本讨论顺畅一点

说一个我后来学会的办法：汇报成本的时候，带两套数字一起报。A方案是严格按照业务需求来配置，够用就好；B方案是砍掉非核心功能的降配版，留出20%的预算空间。下次领导问"能不能便宜"，我直接说"可以，B方案便宜20万，但你要接受响应时间翻倍"——把选择权交回去，比自己硬扛要舒服得多。

还有一个感受：TCO这个词，在领导面前最好少说。不是因为它不对，是因为它听起来像在教人做事。你说"三年TCO"，领导可能觉得你在秀肌肉；你换句话说"三年下来总共要花多少"，他立刻就明白了。措辞不一样，气氛就不一样。

最后一点：这行干久了，我发现大模型成本这事，最讽刺的地方在于——你跟领导汇报，他问你能不能便宜；你跟供应商聊，他说你要不要再等等；你跟团队讲，他们说这个需求能不能砍。最后你发现，成本不是技术问题，是权衡问题。

但话说回来，只要业务还在跑，只要模型还在产出价值，这笔账就算没白算。唯一的问题是——下一次汇报的时候，领导的问题还是那一句。

想到这里，我默默把今天的日报写完了。

本文基于公开技术资料与行业实践整理，不构成具体产品选型或部署方案建议。