【大模型推理】工作负载的弹性伸缩

基于Knative的LLM推理场景弹性伸缩方案

1.QPS 不是一个好的 pod autoscaling indicator 在LLM推理中， 为什么
2. concurrency适用于单次请求资源消耗大且处理时间长的业务，而rps则适合较短处理时间的业务。
3.“反向弹性伸缩”的概念
4。 区分两种不同的弹性伸缩模式：一种是传统的计算节点伸缩（Cluster Autoscaler），另一种是创新性的工作负载伸缩（在固定节点上优化资源利用率）

"反向弹性伸缩"概念——在低流量时段利用空闲GPU做训练任务。

在 Kubernetes 集群资源管理中，“传统弹性伸缩”与“工作负载弹性伸缩 + 资源抢占”是两种不同的资源优化策略，其核心区别在于资源调整的维度和目标。以下从多维度进行对比分析：

🔧 一、核心区别对比
维度 传统弹性伸缩 工作负载弹性伸缩 + 资源抢占

资源调整对象 节点（Node）或 Pod 副本数量 同一节点内的工作负载资源分配
核心目标 应对流量波动，保障服务可用性 最大化固定节点的资源利用率
资源释放逻辑 缩容时释放节点或 Pod 低峰期抢占空闲资源运行训练/离线任务
适用场景 流量波动明显的在线服务 GPU 资源昂贵、利用率要求高的场景（如 LLM 推理）

⚙️ 二、传统弹性伸缩的局限性
资源浪费问题

传统伸缩（如 Cluster Autoscaler）在低负载时缩减节点，但 GPU 等异构资源无法被其他服务复用，导致资源闲置[citation:3][citation:6]。

例如：LLM 推理服务在夜间低峰期 GPU 利用率仅 10%，但节点仍需保留基础 Pod 副本。
冷启动延迟

节点扩容需重新调度 Pod、加载模型（如 50GB 的大模型），耗时长达 30~60 秒，无法应对突发流量[citation:3][citation:8]。

🚀 三、工作负载弹性伸缩 + 资源抢占的核心机制

✅ 1. 动态资源分配（反向弹性伸缩）
低峰期抢占 GPU：当在线推理服务资源利用率低于阈值时，自动调度训练任务或离线推理任务，占用空闲 GPU[citation:5]。

高峰期让出资源：在线流量突增时，通过 优先级调度 抢占离线任务资源，确保服务质量[citation:3]。

✅ 2. 关键技术实现
技术组件 作用 案例配置

PriorityClass 定义任务优先级（如 high-priority 用于在线服务，low-priority 用于离线任务） yaml
apiVersion: scheduling.k8s.io/v1
kind: Pri