深度学习部署：Triton（Triton inference server）【旧称：TensorRT serving，专门针对TensorRT设计的服务器框架，后来变为Triton，支持其他推理后端】

原创 已于 2024-02-17 00:08:16 修改 · 2.9k 阅读 · 9
标签
#深度学习 #人工智能
于 2023-08-01 21:18:53 首次发布
NVIDIA Triton是一个开源的商用级别服务框架，用于部署深度学习模型，提供高性能的推理服务。支持多种后端如TensorRT、libtorch等，并允许自定义。该文介绍了Triton的主要功能、优点、学习途径、编译安装方法，以及简单的请求操作，适合对深度学习部署感兴趣的开发者。

开发板推荐：天空星STM32F407VET6开发板

超高性价比 STM32主控 | 超高主频 | 一板兼容百芯 | 比赛神器 | 沉金彩色丝印

点击查看

triton作为一个NVIDIA开源的商用级别的服务框架，个人认为很好用而且很稳定，API接口的变化也不大，我从2020年的20.06切换到2022年的22.06，两个大版本切换，一些涉及到代码的工程变动很少，稍微修改修改就可以直接复用，很方便。

本系列讲解的版本也是基于22.06。

本系列讲解重点是结合实际的应用场景以及源码分析，以及写一些triton周边的插件、集成等。非速成，适合同样喜欢深入的小伙伴。

什么是triton inference server？

肯定很多人想知道triton干啥的，学习这个有啥用？这里简单解释一下：

  • triton可以充当服务框架去部署你的深度学习模型，其他用户可以通过http或者grpc去请求，相当于你用flask搭了个服务供别人请求，当然相比flask的性能高很多了
  • triton也可以摘出C-API充当多线程推理服务框架，去除http和grpc部分，适合本地部署多模型，比如你有很多模型要部署，然后分时段调用，或者有pipeline，有了triton就省去你处理显存、内存和线程的麻烦
注意，还有一个同名的 triton是GPU编程语言

开发板推荐：天空星STM32F407VET6开发板

超高性价比 STM32主控 | 超高主频 | 一板兼容百芯 | 比赛神器 | 沉金彩色丝印

点击查看
了解本专栏 订阅专栏 解锁全文 超级会员免费看
深度学习模型服务端部署：Triton server+TensorRT【PyTorch格式----＞ONNX格式----＞TensorRT格式----＞利用Triton server部署】
u013250861的博客
08-01 2492
本来是想着直接用简单的Flask+TensorRT去做服务端的，但是奈何我比较懒，现在已经沉溺于Python，再去花费时间学一个Flask我估摸着时间不够，于是百度之后发现了Tritonserver，这个是NVIDIA自己做的开源产品，支持GRPC和HTTP，还说支持C API直接访问（这部分不了解，相关视频后续在官方教程里会给出）sid=493256最后说一下为什么要选择TensorRT。
【Triton Server 模型推理服务】-学习笔记（1）
qq_39751177的博客
07-09 1094
Triton Server 使用文件系统存储模型和配置，通过 config.pbtxt 文件管理模型参数和执行策略。
别再乱改模型仓库了！Triton Server三种模型控制模式（NONE/EXPLICIT/POLL）保姆级选择指南
最新发布
weixin_26934905的博客
05-04 357
本文深度解析Triton Server的三种模型控制模式（NONE/EXPLICIT/POLL），帮助开发者和运维团队根据业务场景选择最佳策略。从NONE模式的稳定性到EXPLICIT模式的精准控制，再到POLL模式的开发便利性，详细对比各模式的特点、适用场景及潜在风险，提供从开发到生产的黄金法则，确保AI推理服务的可靠性和灵活性。
【工程实践】Triton Inference Server
Dong_ZH的博客
05-21 2388
Triton Inference Server是英伟达Nvidia开源的高性能推理，可以在CPU、GPU上加速模型推理的一个工具。Triton Inference Server是一个适用于深度学习与机器学习模型的推理服务引擎，支持将TensorRT、TensorFlow、PyTorch或ONNX等多种AI框架的模型部署为在线推理服务，并支持多模型管理、自定义backend等功能。将模型转成onnx之后，使用Triton Inference Server加载并提供服务，推理速度提升，内存占用减少。
指南：Triton Inference Server
01-24 5636
关于triton inference server的详细记录，涉及安装，服务部署，优化。通过例子一步一步搭建一个可实际使用的服务。
tritonserver学习之九：tritonserver grpc异步模式
liupenglove的专栏
03-11 3746
gRPC的异步模式允许服务器同时处理多个客户端请求，而不会因等待某个请求的响应而阻塞其他请求的处理。这使得TritonServer能够充分利用系统资源，提高并发性能，从而能够更高效地处理大量的模型推理请求。：在异步模式下，服务器不会为每个请求创建单独的线程或进程，而是将请求放入队列中，并通过事件循环机制来处理这些请求。这减少了系统资源的开销，使得TritonServer能够在有限的资源下处理更多的请求。
Triton Server 快速入门
jack.li的博客
04-04 4300
Triton提供了一个叫做instance-group的模型配置项，允许指定每一个模型允许的并发实例的数量,这些并发的模型数量称之为一个instance。默认情况下，Triton是一个GPU上放一个模型，一次只推理一份数据。但通过设置模型的instance_group参数，可以对模型的并发实例数据量进行扩充。2.–model-control-mode=poll该参数用于启动模型热更新，当模型文件发生变化，或者新增版本时，程序先启动新的实例版本出来，在将旧版本或者实例卸载掉。
triton具体是个什么框架，triton kernel有什么特殊的地方吗
强化学习曾小健
07-17 5246
总的来说,Triton推理服务器提供了一个强大的平台来部署和优化AI模型的推理,而Triton编程语言则为GPU编程提供了一个更易用和高效的工具。Triton是一个开源的推理服务框架,主要用于部署和优化AI模型的推理过程。Triton-IR(中间表示)将多维数据。一等公民,这使得编译器能更有效地进行优。多个模型,可以在单个或多个GPU。实时、批处理、集成和音视频流)自动执行多种重要的程序优化。数据自动存储到共享内存。
Triton教程 --- Triton架构
专注于人工智能领域的小何尚
06-15 1万+
下图显示了 Triton 推理服务器的高级架构。是一个基于文件系统的模型存储库，Triton 将使其可用于推理。推理请求通过或到达服务器，然后路由到适当的每个模型调度程序。Triton 实现了，可以在逐个模型的基础上进行配置。每个模型的调度器可选择执行推理请求的批处理，然后将请求传递给与模型类型对应的后端。后端使用批处理请求中提供的输入执行推理以生成请求的输出。然后返回输出。Triton 支持，允许 Triton 扩展新功能，例如自定义预处理和后处理操作，甚至是新的深度学习框架。
Tritonserver 在得物的最佳实践
SmartCodeTech的博客
10-22 1699
Tritonserver是Nvidia推出的基于GPU和CPU的在线推理服务解决方案，因其具有高性能的并发处理和支持几乎所有主流机器学习框架模型的特点，是目前云端的GPU服务高效部署的主流方案。
大模型推理框架Triton使用教程：从青铜到王者的修炼
奇华资料的博客
03-05 3029
所谓自定义backend就是自己写推理过程，正常情况下整个推理过程是通过模型直接解决的，但是有一些推理过程还会包含一些业务逻辑，比如：整个推理过程需要2个模型，其中要对第一个模型的输出结果做一些逻辑判断然后修改输出才能作为第二个模型的输入，最简单的做法就是我们调用两次triton服务，先调用第一个模型获取输出然后进行业务逻辑判断和修改，然后再调用第二个模型。不过在triton中我们可以自定义一个backend把整个调用过程写在里面，这样就简化调用过程，同时也避免了一部分http传输时延。
Nvidia DeepStream和Triton Server学习经验分享
u011268946的博客
06-30 1922
介绍DeepStream和Triton Server
[machine learning] Triton Server & TensorRT
浮生的博客
03-21 1408
Triton是一个高性能的推理软件框架，它既支持GPU推理，又支持CPU推理，既能部署在server上，也能部署在端侧设备上。Triton的整个架构如下图所示：client通过HTTP/REST或GRPC请求把输入量发送给Triton server，Triton server收到请求后调用对应的backend进行推理，然后把推理结果返回给client。
Triton教程 -- 利用Triton部署你自己的模型
专注于人工智能领域的小何尚
06-14 8402
我的模型与 Triton 兼容吗？如果您的模型属于 Triton 支持的后端之一，那么我们可以简单地尝试按照快速入门指南中的描述部署该模型。对于 ONNXRuntime、TensorFlow SavedModel 和 TensorRT 后端，可以使用 Triton 的自动完成功能从模型中推断出最小模型配置。这意味着可能仍会提供 config.pbtxt，但不是必需的，除非您想明确设置某些参数。
深度学习部署神器——triton inference server入门教程指北
老潘的博客
10-19 7028
triton作为一个NVIDIA开源的商用级别的服务框架，个人认为很好用而且很稳定**，API接口的变化也不大，我从2020年的20.06切换到2022年的22.06，两个大版本切换，一些涉及到代码的工程变动很少，稍微修改修改就可以直接复用，很方便。 > 本系列讲解的版本也是基于22.06。
tritonserver学习之四：命令行解析
liupenglove的专栏
08-23 1385
getopt用来解析命令行参数，但是只能解析短选项，例如：-b 100，不能解析长选项--prefix。选项a是可选参数，可以不带参数。
Triton inference server教程1
lansebingxuan的专栏
06-29 2573
本系列文章是Triton Inference Server部署的详细教程，教程1介绍triton的整体架构以及Model Repository目录文件的准备
tritonserver学习之二：tritonserver编译
liupenglove的专栏
01-09 2714
【代码】tritonserver学习之三：tritonserver源码编译。
深度学习部署神器——triton-inference-server开发教程指北
强化学习曾小健
12-10 1673
肯定很多人想知道triton干啥的，学习这个有啥用？这里简单解释一下：triton可以充当服务框架去部署你的深度学习模型，其他用户可以通过http或者grpc去请求，相当于你用flask搭了个服务供别人请求，当然相比flask的性能高很多了triton也可以摘出C-API充当多线程推理服务框架，去除http和grpc部分，适合本地部署多模型，比如你有很多模型要部署，然后分时段调用，或者有pipeline，有了triton就省去你处理显存、内存和线程的麻烦。
TensorRT&Triton学习笔记(一)：triton和模型部署+client
热门推荐
sgyuanshi的博客
03-17 2万+
前言 先介绍TensorRT、Triton的关系和区别： TensorRT：为inference（推理）为生，是NVIDIA研发的一款针对深度学习模型在GPU上的计算，显著提高GPU上的模型推理性能。即一种专门针对高性能推理的模型框架，也可以解析其他框架的模型如tensorflow、torch。 主要优化手段如下： Triton：类似于TensorFlow Serving，但triton包括server和client。 triton serving能够实现不同模型的统一部署和服务，提供http和grpc协
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值