
满血:指官方原始、未经压缩裁剪、完整参数、全精度、完整上下文、完整对齐能力的模型版本,对应“残血/阉割/蒸馏/量化版”。
简单一句话:训练完出厂的原版,没有做任何瘦身降配,能力上限最高,但吃算力显存。
满血要同时满足4个条件
- 参数量完整
没有做知识蒸馏、没有直接砍掉部分层。
例:DeepSeek‑R1‑671B是满血;R1‑Distill‑32B是蒸馏后的残血版,是小模型学大模型输出,不是原生完整参数。
MoE模型注意:满血指完整总专家集合,不是只看激活参数。
-
精度为原生训练精度 BF16 / FP16 / FP8
不做INT8、INT4、AWQ/GPTQ量化。
量化是把权重位数压小,显存减半再减半,但复杂推理、数学、长文本会掉能力;哪怕参数量一样,4bit量化也不算满血。 -
上下文窗口完整
原厂标称最大上下文全部开放,不是AP
订阅专栏 解锁全文

334

被折叠的 条评论
为什么被折叠?



