Revisiting Large Language Models as Zero-shot Relation Extractors

本文是LLM系列文章，针对《Revisiting Large Language Models as Zero-shot Relation Extractors》的翻译。

摘要

即使在零样本设置下，关系提取（RE）也始终涉及一定程度的标记或未标记数据。最近的研究表明，只要给出自然语言提示，大型语言模型（LLM）就可以很好地转换到开箱即用的新任务中，这提供了在没有任何数据和参数调整的情况下从文本中提取关系的可能性。这项工作的重点是探索LLM，如ChatGPT，作为零样本关系提取器。一方面，我们分析了现有RE提示的缺点，并试图结合最近的提示技术，如思想链（CoT）来改进零样本RE。我们提出了总结和询问（SUMASK）提示，这是一种简单的提示，使用LLM递归地将RE输入转换为有效的问答（QA）格式。另一方面，我们在各种基准和设置上进行了全面的实验，以研究LLM在零样本RE上的能力。具体而言，我们有以下发现：（i）SUMASK在不同的模型大小、基准和设置下持续显著地提高了LLM的性能；（ii）与零样本和完全监督的方法相比，使用ChatGPT的零样本提示实现了具有竞争力或优越的结果；（iii）LLM在提取重叠关系方面提供了有希望的性能；（iv）不同关系的表现差异很大。与小型语言模型不同，LLM在处理挑战方面是有效的——没有上述（NoTA）关系。

1 引言

2 相关工作

3 问题定义

4 提示设计

5 实验

6 结论

这项工作对基于提示的LLM的零样本RE进行了全面的研究。除了VANILLA提示，我们还介绍了一种新颖的SUMASK提示，以