单机处理大数据

博客文章尚未完成，如果您想阅读关于 EXO 如何分割模型的博客文章（与此相关），请查看 第1天，我们解释 EXO 如何将模型分割成分片[1]。对于 LLama 70B 模型，它是密集型的，这意味着我们需要计算 70B 个参数才能生成每个标记。从系统的角度看，专家混合模型本质上是一个大语言模型，每次推理时只使用参数的子集。因此，我们仍需保持所有参数“热“状态，随时可以发送到GPU，但实际计算时只会发送少量参数。对于batch_size=N，每秒计算的参数下降到1/N，但每秒传输到计算设备的参数不会改变。