Finding Answers in Thought Matters: Revisiting Evaluation on Large Language Models with Reasoning

一、文章主要内容总结

本文聚焦大型语言模型（LLMs）推理任务的评估问题，核心围绕答案提取方法对模型性能评估的关键影响展开研究，并提出解决方案。

1. 核心问题：传统LLM评估中，推理模型需输出思维链（CoT），但现有基于规则的答案提取方法（如字符串匹配、正则表达式）无法覆盖所有答案格式（如括号标注、自由文本、LaTeX格式等），导致模型性能评估结果受提取规则高度影响，出现性能波动、模型排名失真、可重复性差等问题。
2. 解决方案：提出Answer Regeneration（答案再生）框架——在模型完成推理输出后，增加一次额外推理调用，向模型输入原始prompt、推理过程及前缀“Answer:”，促使模型生成简洁明确的最终答案，从而摆脱对复杂提取规则的依赖。
3. 实验验证：在MMLU、MMLU-Pro（复杂多选题）、GSM8K（数学推理）、TriviaQA（开放式问答）等多个基准测试中验证框架有效性，涉及Qwen3系列、DeepSeek-R1等开源模型。
4. 关键发现：
   • 规则提取方法会导致模型性能波动达10%以上，甚至反转模型排名；
   • 答案再生框架在所有任务中均优于规则提取方法，且使模型排名与“模型规模越大性能越好”的直觉一致；
   • 框架对不完整推理、答案格式不一致、“找错误选项”等场景具有更强鲁棒性；
   • 框架对再生器模型依赖度低，小型模型即可实现接近原模型