Distance Is All You Need: Radial Dispersion for Uncertainty Estimation in Large Language Models

文章总结与翻译

一、主要内容

本文聚焦大型语言模型（LLMs）的不确定性估计问题，针对现有方法复杂、模型依赖强、鲁棒性不足等缺陷，提出了一种简单、无参数、完全模型无关的不确定性度量指标——径向离散度分数（RDS）及其概率加权变体（RDSₙ）。

核心思路是利用模型生成样本在嵌入空间中的几何特性：对给定提示生成N个样本，通过外部句子编码器将样本映射到单位超球面，RDS通过计算所有样本嵌入到其质心的ℓ₁范数总和来量化离散度，离散度越高则模型不确定性越大；RDSₙ进一步融合样本的生成概率，突出高概率样本的离散度权重，降低低概率噪声样本的影响。

实验验证方面，在GPQA、SciQ等4个复杂自由形式问答数据集上，基于Falcon3、Gemma2等4种不同LLM进行测试，结果显示RDS和RDSₙ在幻觉检测、答案选择等任务中持续超越9种主流基线方法（如语义熵、EigenScore等），达到当前最优性能。同时，该指标支持样本级不确定性评分，可直接应用于最佳N选（best-of-N）和基于置信度的过滤等实际场景，且在采样数量、嵌入模型选择上表现出强鲁棒性。

二、创新点

1. 提出了RDS及其加权变体RDSₙ，基于径向离散几何构建，无需模型内部状态、无需校准、无额外参数，兼具几何解释性与模型无关性，且与微分熵存在形式化关联。
2. 天然支持样本级不确定性评分，解决了多数现有方法（如语义熵）仅能提供聚合级评分的局限，为最佳N选、置信度过滤等应用提供直接支持。
3. 在多数据集、多模型的聚合级和样本级评估中均实现最优性能，且对采样数量（N=5至40）和嵌入模型类型