TensorRT 常用函数功能

模型推理流程

本节主要看每个函数功能解释，不一定是最优

1、加载engine模型参数

"step0.通过文件流读取engine文件"
std::vector<char> trtModelStream_;   //engine文件参数读取后保存到该数组中    
size_t size{0};
 
std::ifstream file(engineFile, std::ios::binary);
if (file.good()) {
    file.seekg(0, file.end);    //设置读取位置为文件的末尾
    size = file.tellg();        //获取到文件的大小， tellg()函数不需要带参数，它返回当前定位指针的位置，也代表着输入流的大小。
    file.seekg(0, file.beg);    //设置读取位置为文件的开头
    trtModelStream_.resize(size);
    file.read(trtModelStream_.data(), size);    //读取文件流的内容保存到数组中
    file.close();
}
 
"step1.通过RunTime对象反序列化engine引擎"
IRuntime *runtime = createInferRuntime(gLogger);
assert(runtime != nullptr);
m_engine = runtime->deserializeCudaEngine(trtModelStream_.data(), size, nullptr);  //最后一个参数不再使用，必须是一个空指针.
assert(m_engine != nullptr);
 
"step2.创建context来开辟空间存储中间值，一个engine可以有多个context来并行处理"
//由于引擎保存网络定义和训练参数，因此需要额外的空间。这些保存在context中
m_context = m_engine->createExecutionContext();
assert(m_context !=