在linux上启动tensorflow serving GPU

最新推荐文章于 2026-06-16 16:44:12 发布

原创最新推荐文章于 2026-06-16 16:44:12 发布 · 574 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#linux #tensorflow

这篇入门级教程详细介绍了如何在Linux上使用nvidia-docker启动TensorFlow Serving GPU版本，进行图像识别。内容包括登录Linux服务器、激活环境、运行Docker容器，并提供了相关参考资料链接。

！！注意：本文仅包括如何启动，不包如何安装，仅为个人记录贴。
本人技术水平：毫无后端、linux基础，所以文章难度偏向入门级傻瓜教程

目标：在linux上用tfs运行图像识别py文件

打开Xshell（或Xmanager、MobieXterm等）–>登录端口192.168.200.199:22—>初次登录输入密码
激活环境：conda activate tensorflow-server
cd到python文件所在路径下
Testdata== < path >

sudo nvidia-docker run --runtime=nvidia -p 8501:8500
–mount type=bind,
source= $KaTeX parse error: Undefined control sequence: \ at position 19: …TDATA/tf_model,\̲ ̲ target=/models…$ TESTDATA/tf_model/platform.config -e MODEL_NAME=tf_model -t tensorflow/serving:2.0.0-gpu

或
sudo nvidia-docker run --runtime=nvidia -p 8501:8500
–mount type=bind,
source= < path >/tf_model,
target=/models/tf_model
-e platform_config_file=$TESTDATA/tf_model/platform.config -e MODEL_NAME=tf_model -t -e NVIDIA_VISIBLE_DEVICES=0 tensorflow/serving:2.0.0-gpu

*编辑文本时有格式更改，直接复制可能会报错，需粘贴到txt里稍微修改下

将模型映射到gpu上。出现下图则说明成功接连：

在这里插入图片描述

如果报错failed: port is already allocated.，用sudo kill <PID>断开原链接

如果想指定gpu运行/多gpu同时运行，NVIDIA_VISIBLE_DEVICES=<指定的gpu>，否则为all

*笔者和小伙伴们目前只研究出一个nvidia gpu上运行一个model的方法，如果有能在不改变现有nvidia gpu配置的基础上运行多个model，或者能自动合理分配gpu使用的方法欢迎戳我哇~

（非必要）cat+python文件名查看python文件，vim+python文件名修改python文件（i 进入insert模式，：wq 保存更改并离开）
激活python环境
conda activate
python+文件名运行py文件

py文件内部带有设置ip+port的命令行，运行py文件时会占用文件内指定的ip+port
在这里插入图片描述

可通过nvidia-smi和top查看运行情况（嗯这还是当年某行面试题，可惜我当时不知道）

延伸阅读：

https://blog.csdn.net/u013066730/article/details/84831552 CUDA之nvidia-smi命令详解

https://www.cnblogs.com/storyawine/p/13359393.html Sudo用法

References：

https://blog.csdn.net/xiayangmian4130/article/details/86100219 TensorFlow Serving-GPU版Docker环境部署流程

https://www.zhihu.com/question/358092659/answer/912898610 docker nvidia部署tf-serving服务时会把一块gpu占满，如何分配gpu显存？

https://www.zhihu.com/question/358092659 docker nvidia部署tf-serving服务时会把一块gpu占满，如何分配gpu显存？

https://blog.csdn.net/roxxo/article/details/90673428 解决Docker + Tensorflow serving启动服务时占用所有GPU

https://github.com/tensorflow/serving/issues/311 Tensorflow (TF) Serving on Multi-GPU box