FasterTransformer BERT 优化实现详解

FasterTransformer BERT 优化实现详解

【免费下载链接】FasterTransformer Transformer related optimization, including BERT, GPT 项目地址: https://gitcode.com/gh_mirrors/fa/FasterTransformer

概述

FasterTransformer 是 NVIDIA 推出的高性能 Transformer 模型推理加速库，其中 BERT 模型的优化实现尤为出色。本文将深入解析 FasterTransformer 中 BERT 模型的架构设计、优化技术以及使用方法。

BERT 模型架构优化

标准 BERT 与 Effective FasterTransformer

FasterTransformer 中的 BERT 编码器支持以下配置参数：

• 批处理大小(B₁)：最大支持 4096
• 序列长度(S)：最大支持 4096（INT8模式下，当 S > 384 时需要是32的倍数）
• 每个注意力头的大小(N)：小于128的偶数
• 注意力头数量(H)：满足 HN ≤ 1024(FP32)或 HN ≤ 2048(FP16)
• 支持的数据类型：FP32、FP16、BF16、INT8 和实验性的 FP8
• 层数(N₁)：只要内存足够，可支持任意层数

FasterTransformer 通过多个版本的迭代，对 BERT 模型进行了持续优化：

1. v1.0：提供高度优化的 BERT 等效编码器模型
2. v2.1：基于 Effective Transformer 思想，去除无用填充(padding)优化推理
3. v3.0：增加 INT8 量化推理支持
4. v3.1：优化 INT8 内核并集成 TensorRT 的多头注意力插件
5. v4.0：增加多头注意力内核支持，扩展 FP16(V100)和 INT8(T4,A100)支持
6. v5.0：重构代码，封装掩码构建和填充移除，增加 Ampere GPU 稀疏特性
7. v5.1：支持 BERT FP16 的多节点多 GPU 推理

优化技术详解

FasterTransformer 通过以下关键技术实现性能提升：

1. 计算图优化：将标准 BERT 的多个操作融合为更少的计算单元，最终仅需 8 或 6 次矩阵乘法(GEMM)和 6 个定制 CUDA 内核即可实现一个 Transformer 块。

2. Effective Transformer：通过去除句子中的填充部分，避免计算无用标记。当批次中平均序列长度远小于最大序列长度时，可显著节省计算时间。实现时需要考虑：

   • 在 BERT 前去除填充，BERT 后重建填充
   • 多头注意力计算中的填充处理

3. TensorRT 多头注意力集成：将整个注意力计算融合到单个内核中，同时支持标准 BERT 和 Effective FasterTransformer。

4. INT8 量化推理：提供两种量化方案：

   • int8_mode == 1：不量化残差连接，使用 int32 作为 GEMM 输出，权重采用逐通道量化
   • int8_mode == 2：量化残差连接，使用 int8 作为 GEMM 输出，权重采用逐张量量化

5. 稀疏 GEMM：利用 Ampere GPU 的稀疏特性加速矩阵乘法。

环境配置

系统要求

• CMake：TensorFlow 需要 ≥3.8，PyTorch 需要 ≥3.13
• CUDA：11.0 或更新版本
• Python：已验证 Python 3
• TensorFlow：已验证 1.15 版本
• PyTorch：已验证 1.8.0 版本，≥1.5.0 应可工作

推荐使用 NGC TensorFlow/PyTorch Docker 镜像，并确保具备：

• NVIDIA Pascal/Volta/Turing/Ampere 架构 GPU

使用指南

C++ 接口使用

BERT 编码器的构造函数参数详解：

输入输出张量说明：

输入：

• input_hidden_state：[batch_size, seq_len, head_num*size_per_head]，GPU 上的 fp32/fp16/bf16 张量
• input_lengths：[batch_size]，GPU 上的 int 类型张量

输出：

• output_hidden_state：[batch_size, seq_len, head_num*size_per_head]，GPU 上的 fp32/fp16/bf16 张量

多框架支持

FasterTransformer BERT 提供多种框架接口：

1. C++ 接口：提供最底层的高性能实现
2. TensorFlow 接口：与 TF 模型无缝集成
3. PyTorch 接口：支持原生 PyTorch 模型
4. 多 GPU 支持：可扩展至多 GPU 环境

性能表现

FasterTransformer BERT 在不同硬件平台上展现出卓越性能：

单 GPU 性能

1. A100 平台：

   • FP16 模式下吞吐量显著提升
   • INT8 量化进一步加速推理

2. T4 平台：

   • 有效利用 TensorCore 加速
   • 小批量场景优化明显

3. V100 平台：

   • 混合精度训练优势明显
   • 适合中等规模模型

多 GPU 扩展性

• 支持模型并行和数据并行
• 多节点扩展线性度良好
• 大规模部署时资源利用率高

应用性能

在典型 BERT 应用场景如 SQuAD、MRPC 等任务中：

• 推理延迟显著降低
• 吞吐量提升明显
• 精度损失控制在可接受范围内

最佳实践建议

1. 序列长度选择：

   • 根据实际应用场景设置合适的最大序列长度
   • 过长的序列会浪费计算资源

2. 量化策略：

   • 精度敏感场景使用 int8_mode == 1
   • 性能优先场景使用 int8_mode == 2

3. Effective Transformer 使用：

   • 当序列长度差异大时效果显著
   • 注意下游任务可能受填充影响

4. 硬件选择：

   • Ampere 架构 GPU 可利用稀疏特性
   • TensorCore 设备优先使用 FP16/BF16

通过合理配置和优化，FasterTransformer 能够为 BERT 模型提供业界领先的推理性能，满足不同场景下的部署需求。

【免费下载链接】FasterTransformer Transformer related optimization, including BERT, GPT 项目地址: https://gitcode.com/gh_mirrors/fa/FasterTransformer