14、多阶段重排序架构：应对长文本排名的策略

多阶段重排序架构：应对长文本排名的策略

1. 引言

在信息检索领域，对长文本进行有效排名是一个具有挑战性的任务。传统的排名模型在处理长文本时往往存在局限性，因此需要新的架构和策略来提高排名的准确性和效率。本文将介绍几种处理长文本排名的方法，包括CEDR、PARADE以及其他替代策略。

2. CEDR：首个端到端可微的BERT基全文本排名模型

CEDR是首个端到端可微的基于BERT的全文本排名模型。虽然Birch和BERT - MaxP本可以被修改为端到端可微的，但之前的研究并未实现这一重要突破。CEDR通过聚合上下文词嵌入来处理长文档，这种策略后来被其他研究者采用。

CEDR设计有两个重要优势：一是为BERT的长度限制提供了原则性的解决方案；二是允许统一处理训练和推理（重排序）过程。不过，在完整的CEDR架构中，[CLS]标记的作用还不太明确。

3. PARADE：基于段落表示聚合的文档重排序模型

3.1 PARADE概述

PARADE（Passage Representation Aggregation for Document Reranking）是CEDR的直接衍生模型，它结合了Birch和BERT - MaxP的经验教训。与Birch和BERT - MaxP聚合单个段落的分数不同，PARADE基于CEDR的思想，聚合长文本中段落的表示。这种设计产生了一个端到端可微的模型，能够统一考虑多个段落，统一训练和推理过程。同时，PARADE摒弃了CEDR与预BERT神经排名模型的联系，去除了显式的词交互相似度矩阵，从而得到一个比CEDR更简单且通常更有效的排名模型。

3