DeLighT：深度和轻量化的Transformer

DELIGHT: DEEP AND LIGHT-WEIGHT TRANSFORMER

论文：https://arxiv.org/abs/2008.00623

代码：https://github.com/sacmehta/delight

1.简介

本文提出了一个更深更轻量的Transformer-DeLighT，DeLighT更有效地在每个Transformer Block中分配参数：

（1）使用DeLighT转换进行深度和轻量级的转换；

（2）使用Block-wise Scaling进行跨Block，允许在输入附近有较浅和较窄的DeLighT Block，以及在输出附近有较宽和较深的DeLighT Block。

总的来说，DeLighT网络的深度是标准Transformer的2.5到4倍，但参数和操作更少。在机器翻译和语言建模任务上的实验表明，DeLighT在提高了基准Transformer性能的基础上，平均减少了2到3倍的参数量。

2.干啥了都

2.1模型缩放

模型缩放是提高顺序模型性能的标准方法。 模型的大小在宽度比例上增加，而在深度比例上堆叠更多的块。 在这两种情况（及其组合）中，网络每个块中的参数都相同，这可能出现次优解决方案。 为了进一步改善序列模型的性能，[1]引入了块比例缩放，允许设计可变大小的块并在网络中有效分配参数。

论文的研究结果表明：

靠近输入的较浅和较窄的DeLighT块，靠近输出的较深和较宽的DeLighT块可提供最佳性能。
与仅使用模型缩放相比，基于块缩放的模型可以实现更好的性能。
卷积神经网络（