大语言模型幻觉检测新工具与数据集

新工具与数据集助力大语言模型幻觉检测

大语言模型（LLMs）虽能力卓越，却存在“幻觉”问题——生成看似合理但事实错误的断言。某些幻觉极为细微，例如日期误差仅一两年。

为检测此类细微幻觉，某机构推出RefChecker，包含新型幻觉检测框架和基准数据集。与以往基于句子或短语的检测方法不同，RefChecker采用知识三元组（<主体, 谓词, 客体>结构，类似知识图谱）表征事实，可对LLM输出进行更精细的评估。

基准数据集特点

• 三种场景：
  1. 零上下文：LLM无参考文本直接生成答案（100例）；
  2. 噪声上下文：提供可能含错误信息的检索文档（RAG场景，100例）；
  3. 精确上下文：提供单一准确文档（100例）。

检测方法创新

1. 参考来源：支持三种任务设置（开放问答、检索增强生成、摘要生成），数据源自NaturalQuestions、MS MARCO等公开集。
2. 评估粒度：将响应分解为知识三元组，例如句子“Richard Mulligan在《The Partridge Family》中饰演Mr. Kincaid”可拆解为：
   • <Richard Mulligan, 饰演角色, Mr. Kincaid>
   • <Mr. Kincaid, 所属作品, The Partridge Family>
3. 声明分类：
   • 蕴含（绿色√）：参考支持；
   • 矛盾（红色×）：参考反驳；
   • 中性（橙色？）：证据不足需进一步验证。

技术流程

RefChecker包含两个可配置模块：

• 声明三元组提取器（E）：当前版本使用GPT-4和Claude 2，后续将开源Mixtral-8x7B提取器；
• 幻觉检查器（C）：支持GPT-4、Claude 2和RoBERTa-NLI自动检查，未来将增加AlignScore等开源方案。多数投票结果与人工标注一致性最佳。

使用方式

该研究认为，精准识别细粒度幻觉是制定缓解策略的第一步。反馈可通过GitHub提交，欢迎贡献改进。

致谢：Lin Qiu, Zheng Zhang
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）
公众号二维码