如何优雅的将Prompt应用于多任务场景？

近些年来，关于预训练语言模型（PLM）的研究数不胜数，Prompt-Tuning就是其中之一主打小巧轻便，更加普适高效，各种花式的魔改，例如 Prefix-tuning、P-tuning、Prompt-tuning等。如果对Prompt不大了解的朋友们可以移步我的另一篇文章https://mp.weixin.qq.com/s?__biz=MzkxMjExNTgwOQ==&mid=2247484234&idx=1&sn=e44ba444c3f12438671df91dffae03c3&chksm=c1109244f6671b52b482b67b569a978d85e4d6cbb150472ec9f1b3f9df11e9e9b1d609420df9&scene=178&cur_album_id=1513596827864989698#rd

一、背景

今天想和给大家介绍的工作是如何将Prompt应用于多任务的场景，常见的Multi-task模型一般的架构是底部共享参数，然后在顶层每个场景学习自己的私有参数典型的代表模型有MMoE等，也就是说关键点在于如何让模型学习每个任务的特定参数，今天解读的论文是在Transformer 中Muti-Head Self-Attention做的文章，在计算self-attention的时候融入特定任务的信息，那么到底怎么融入呢我们接下来进一步分析。

论文地址：https://export.arxiv.org/pdf/2203.00759.pdf

模型整体架构图：

二、核心Ideas

2.1、Prompt-Based Task-Conditioned Transformer

该部分主要是介绍如何将每个任务特定的prompt信息加入到训练任务中去，具体的做法是将场景信息$P_v，P_k$分别与$V,K$进行concat, 然后在与$Q$去进行multi-head self-attention。

$Q_{\tau }=X_{\tau }{W}_q$ $K_{\tau }=X_{\tau }{W}_k$ $V_{\tau }=X_{\tau }$