SIGIR‘25 「快手」校准排序模型的预测值

Unconstrained Monotonic Calibration of Predictions in Deep Ranking Systems

• https://arxiv.org/pdf/2504.14243
• https://github.com/baiyimeng/UMC

============================== 两个问题速通这篇论文 ==============================

1. 排序中的校准是什么？

排序是搜广推中最核心的任务，对物品打分作为排序的依据。现在各式各样的方法、模型本质都是在做这事，学习一个排序效果好的分数。

如果只用于排序，分数的绝对值大小是可以忽略的。但实际的业务中，模型预测的分数不仅要用于排序，可能还对下游任务有影响，所以也会期望打分的值具备一定的物理含义，例如相关性等级。一般会增加一个模块对打分进行校准，校准的基本要求是保序，即校准后排序不能变。

现在常用校准方法是分段映射，作者认为分段函数不够灵活，限制了校准模型的表达能力。

2. 方法？

论文中的校准方法UMC（Unconstrained Monotonic Calibration）分成两个部分：Monotonic Calibrator Architecture 和 Calibration-aware Learning Strategy。

前者的作用是输出校准后的值，核心是UMNN（Unconstrained Monotonic Neural Network），这个是引用的其他论文的一个工作；后者就是优化前者的损失函数，SCLoss（Smooth Calibration Loss）。论文的核心也就是SCLoss。

为了拟合标签的值，显然一般是MAE或者MSE。论文中SCLoss就是MSE的变体，可以看作是加权的MSE。