大模型适配国产化服务器昇腾（300I DUO）

大家好，我是奇文王语，NLP爱好者，长期分享大模型实战技巧，欢迎关注交流。

随着生成式AI技术的迅速发展，像 DeepSeek-R1、Qwen这样强大且开源的大语言模型（LLMs）正成为创新的重要推动力，在理解语言、写代码、做推理等方面都有很出色的表现。不过，就像使用其他模型一样，在真正上线到实际业务场景之前，仍需谨慎对待数据隐私问题，注意模型生成内容的偏差，并建立好监控和管理机制，以确保模型的使用安全可靠，这个时候就需要进行大模型私有化部署。

一、模型性能

现在国产化大模型发展越来越快，性能越来越好，就在2025年4月底，通义千问发布了qwen3系列大模型。通过评测Qwen3-235B-A22B 在代码、数学、通用能力等基准测试中，与 DeepSeek-R1、o1、o3-mini、Grok-3 和 Gemini-2.5-Pro 等顶级模型相比，表现出极具竞争力的结果。另外此外，小型 MoE 模型 Qwen3-30B-A3B 的激活参数数量是 QwQ-32B 的 10%，表现更胜一筹，甚至像 Qwen3-4B 这样的小模型也能匹敌 Qwen2.5-72B-Instruct 的性能。评测结果如下图所示：

发布的Qwen3系列大模型的核心亮点是具有多种思考模式：
（1）思考模式：在这种模式下，模型会逐步推理，经过深思熟虑后给出最终答案。这种方法非常适合需要深入思考的复杂问题。
（2）非思考模式：在此模式中，模型提供快速、近乎即时的响应，适用于那些对速度要求高于深度的简单问题。
这种灵活性使用户能够根据具体任务控制模型进行“思考”的程度。例如，复杂的问题可以通过扩展推理步骤来解决，而简单的问题则可以直接快速作答，无需延迟。至关重要的是，这两种模式的结合大大增强了模型实现稳定且高效的“思考预算”控制能力。如上文所述，Qwen3 展现出可扩展且平滑的性能提升，这与分配的计算推理预算直接相关。这样的设计让用户能够更轻松地为不同任务