【深度学习新浪潮】什么是缓存命中/未命中？

在大模型推理场景中，“缓存命中/未命中”是决定系统性能的核心指标之一。无论是千亿参数模型的实时对话，还是批量文本生成，缓存机制的设计直接影响推理延迟、显存占用和吞吐量。本文将从底层原理出发，拆解大模型缓存的核心逻辑，分析命中/未命中的关键影响因素，并通过PyTorch实战代码让大家直观理解其工作机制。

一、核心概念：大模型中的缓存是什么？

传统缓存（如CPU缓存、数据库缓存）的核心是“空间局部性”和“时间局部性”——频繁访问的数据暂存于高速存储介质，避免重复读取低速存储。而大模型中的缓存，本质是中间计算结果的复用，最典型的就是Transformer架构中的K/V缓存（Key-Value Cache）。

1.1 为什么需要K/V缓存？

Transformer的自注意力机制是大模型的核心，其计算过程可简化为：
Attention(Q,K,V)=Softmax(QKTdk)VAttention(Q, K, V) = Softmax\left(\frac{QK^T}{\sqrt{d_k}}\right)V