vime 强化学习训练框架使用指南 vime 是专为大规模语言模型(LLM)和视觉语言模型(VLM)强化学习训练设计的开源框架，由GLM团队开发。该框架基于Megatron和vLLM构建，支持多种RL算法和训练场景。 核心功能： 支持GRPO、GSPO、Reinforce++、PPO等多种RL算法 提供异步训练架构，优化GPU利用率 支持MoE模型训练和专家并行 集成vLLM推理引擎实现高吞吐量数据生成 支持多轮交互、工具调用等Agent场景 典型应用场景： 数学推理能力强化（使用规则奖励） 代码生成与编程

本文介绍了使用EvalScope框架评测Claude模型Agent能力的指南，主要包含三种评测方案： General FC函数调用评测：适用于自定义Agent工具评测，支持JSONL格式数据集，可灵活定义工具和测试用例。 Tau2-Bench多轮对话评测：模拟真实用户交互，评估客服类Agent的任务完成能力，支持航空、零售、电信等场景。 BFCL函数调用评测：标准化函数调用评测基准，包含简单调用、多轮交互、编程语言调用等子集。 文档详细说明了各方案的实现步骤，包括环境配置、数据集格式、API调用方法和评测指

本文介绍了使用mini-swe-agent工具评测大模型在SWE-bench Verified数据集上的操作指南。主要内容包括：1) 安装步骤，通过pip安装开发模式获取两个CLI命令；2) 核心命令mini-extra swebench的参数说明及使用方法；3) 单条实例调试和批量运行模式；4) 输出结果结构说明和官方评测方法；5) 完整实操流程总结；6) 常见问题解决方法；7) 离线使用方案。该指南详细说明了从安装、测试到全量运行的完整流程，支持多种大模型评测，并提供结果验证和问题排查方法。

摘要：当评测分数低于模型发布精度时，可通过调整以下参数优化：1）提示词（影响最大），可使用不同风格配置（如详细工作流指引的backticks版本或XML格式）；2）资源限制（step_limit、cost_limit、命令超时时间）；3）输出格式截断阈值；4）temperature参数。排查步骤包括分析失败原因、匹配模型输出格式偏好、逐步调高资源限制。提示词调整需注意评测标准不变，但要适配模型特性，建议从小规模测试开始迭代。

摘要：本文介绍了vLLM推理服务监控看板的搭建过程，使用Prometheus+Grafana+vLLM-metrics组件。主要内容包括：1)环境准备，详细说明了Prometheus和Grafana的安装配置步骤；2)看板配置，包含数据源添加和仪表盘导入；3)最终效果展示。通过配置Prometheus采集vLLM服务指标，结合Grafana可视化展示，实现了对vLLM推理服务的实时监控。文章提供了完整的配置文件示例和操作流程，便于快速搭建监控系统。

vLLM-Omni框架扩展了多模态支持，实现文本、图像、视频和音频的并行生成。环境配置使用vLLM-Ascend镜像和GitHub代码库，成功安装所需依赖。通过启动vLLM模型推理服务和图形界面，测试了图像生成功能。此外，采用TeaCache和Cache-DiT两种加速方法优化性能，对比显示TeaCache将端到端延迟降低至基准的93.3%，Cache-DiT达到96.6%。该框架显著提升了多模态模型的推理效率。

基于最新vllm版本成功部署qwen3-rerank模型服务

本文介绍了OpenCompass大语言模型评测平台的本地部署方法及使用方案。主要内容包括：1）环境搭建，通过conda创建Python 3.10环境并安装PyTorch；2）安装OpenCompass的三种方式（pip基本/完整安装、源码安装）；3）数据集准备，支持Hugging Face、ModelScope及自定义数据集；4）本地模型评测配置，包括Hugging Face模型配置文件和评测任务设置（命令行或Python脚本方式）。OpenCompass支持多种主流大模型评测，提供灵活的数据集加载和任务配

摘要：本文介绍了在Ascend NPU上部署Qwen3-Coder-30B-A3B-Instruct大模型的实践过程。通过vLLM-Ascend框架，详细说明了环境准备（CANN 8.1、PyTorch-NPU 2.5.1等）、模型下载、容器启动及服务部署步骤，包括vLLM服务的启动参数配置和接口测试方法。测试结果显示在当前2卡910B3配置下性能表现仅为8token/s（1并发），并指出流式调用时存在无法输出usage信息的问题。该方案为Ascend平台私有化部署大模型推理服务提供了参考实现。

本文解决了vllm-ascend官方镜像环境不匹配问题，详细记录了mooncake配置vllm-ascend的完整过程。首先完成mooncake环境搭建，包括安装依赖、编译和启动服务；随后解决vllm和torch版本冲突问题，统一降级到兼容版本；最后通过lmcache benchmark测试验证效果。测试结果表明：1)不使用mooncake时，TTFT增加拐点与NPU内存容量匹配；2)使用mooncake时，TTFT增加拐点与配置的存储空间匹配；3)随着样本量增大，KV缓存需求增加，TTFT平均值趋于收敛，

本文对Qwen2.5-72B-Instruct模型进行了量化效果评测，主要考察精度损失和推理性能。使用msit/msmodelslim工具进行w8a8和w4a16两种量化，并在evalscope工具上进行测试。结果显示：w8a8量化最大精度损失仅0.012，w4a16为0.0261；在性能方面，w8a8在8卡部署时吞吐提升1.46倍，而w4a16性能提升有限，适合并发需求低的场景。测试数据表明，w8a8量化在精度和性能间取得了较好平衡，是更优选择。

摘要：vLLM-Ascend部署Qwen3-Coder-30B-A3B-Instruct模型时，流式调用接口不返回usage信息。测试发现设置stream_options={"include_usage": True}无效，需参考vLLM官方代码，同时设置include_usage和continuous_usage_stats参数才能获取token统计信息。该问题涉及vLLM 0.9.2版本在Ascend环境下的特殊配置需求。

昇腾部署qwen2.5大模型，以及相关适配验证。

大模型量化

昇腾硬件大模型训练迁移。