动态维度TensorRT引擎调用全攻略：从Python到C++的实践指南

1. 动态维度TensorRT引擎：为什么它如此重要？

如果你用过TensorRT做模型加速，大概率遇到过这样的场景：你的模型输入尺寸是固定的，比如224x224的图像，一切都很顺利。但当你需要处理不同分辨率的图片，或者批处理大小（batch size）需要实时变化时，麻烦就来了。一个为224x224构建的引擎，你喂给它一张480x640的图片，它会直接“罢工”报错。这就是固定维度引擎的局限。

动态维度引擎就是为了解决这个痛点而生的。它允许你在构建引擎时，为某些维度（比如高度、宽度，或者批处理大小）指定一个可变范围，而不是一个固定值。在推理时，你只需要在这个范围内，告诉引擎本次输入的实际尺寸是多少即可。这极大地提升了部署的灵活性，让你能用一个引擎应对多种实际输入情况，而无需为每种尺寸都重新构建一个引擎文件。

我在实际部署一个图像超分模型时就深有体会。用户上传的图片从手机截图到单反照片，尺寸千差万别。如果为每种尺寸都导出一个引擎，管理起来是噩梦。使用动态维度，我只需要构建一个支持常见尺寸范围的引擎，推理时根据图片实际大小动态设置，代码简洁，资源占用也少。

那么，一个“动态”的维度在TensorRT里长什么样呢？很简单，它被标记为 -1。当你调用 engine.getBindingDimensions(bindingIndex) 查看绑定维度时，如果看到输出里有 -1，比如 (-1, 3, 224, 224)，这就意味着第一个维度（通常是批处理大小）是动态的。你的任务就是在推理前，把这个 -1 替换成具体的数字，比如 1 或 8。

理解这一点至关重要，因为后续所有在Python和C++中的操作，核心都是围绕“如何正确设置这个动态维度”展开的。如果设置不对，你会遇到一个经典的错误：[TRT] Parameter check failed at: engine.cpp::resolveslots::1227, condition: allInputDimensionsSpecified(routine)。这个错误直白地告诉你：不是所有输入维度都被指定了。别担心，读完本文，你就能轻松搞定它。

2. Python篇：快速上手动态维度推理

在Python中操作TensorRT，得益于PyCUDA和PyTensorRT这些绑定库，整个过程相对直观。我们从一个最常见的场景开始：你已经有了一个包含动态维度的 .engine 文件，现在需要在Python中加载并运行推理。

首先，是加载引擎并创建执行上下文（ExecutionContext），这和固定维度引擎没什么区别：

import tensorrt as trt
import pycuda.driver as cuda
import pycuda.autoinit

TRT_LOGGER = trt.Logger(trt.Logger.WARNING)

def load_engine(engine_file_path):
    with open(engine_file_path, "rb") as f:
        engine_data = f.read()
    runtime = trt.Runtime(TRT_LOGGER)
    engine = runtime.deserialize_cuda_engine(engine_data)
    return engine

engine = load_engine("dynamic_model.engine")
context = engine.create_execution_context()

关键步骤来了。在调用 context.execute_v2 进行推理之前，必须为所有动态输入设置具体的绑定形状（binding shape）。这是很多新手会忽略的一步，直接导致上面提到的 allInputDimensionsSpecified 错误。

假设我们模型的输入绑定索引是0，并且我们知道它的动态维度是批处理大小（即形状为 (-1, 3, 224, 224)）。现在我们要处理一个批次大小为4的输入：

# 假设输入绑定索引为 0
input_binding_index = 0

# 本次推理的实际批次大小和输入形状
batch_size = 4
input_height = 224
input_width = 224

# 设置具体的绑定形状
context.set_binding_shape(input_binding_index, (batch_size, 3, input_height, input_width))

# 非常重要：设置后，必须根据新的形状重新分配输入/输出缓冲区！
# 因为缓冲区的大小可能随着形状改变而改变。
input_shape = context.get_binding_shape(input_binding_index)
output_binding_index = 1 # 假设