在windows上部署tensorflow serving GPU版本

前言

目的：
更灵活：多平台可用
更高效：运行目标250-400张图/s。

博主菜鸡 / 缝合怪， 此贴仅为记录自己遇到过的坑，大佬勿喷，喷子绕道。
Markdown将文本转换为 HTML。

确认显卡是否支持CUDA

设备性能要求：NVIDIA显卡，如何查看显卡信息见：
link

没有的可以散了

安装CUDA

官方网址：link
安装步骤见：link

安装cuDNN

同上，安装步骤见：link

在Anaconda建立TensorFlow GPU虚拟环境

没有anaconda的自己装。有人说选择Windows下Python3.7时，必须选择64位，因为TF不支持Python32位（link）

配置CUDA环境路径

我的电脑——>属性——>高级系统设置——>环境变量
具体见：link

（话说我自己添加path一直没起到效果，但并未影响后续操作。

为什么没起效果？为什么又没影响？以后再解决吧摔）

但是！目前为止都只是部署tensorflow，不是tensorflow serving！
为了让自己能用上专业的调用软件，长征才走一半。先从配置Docker开始。
详细见：link

打开Hyper-V

控制面板---->程序和功能---->windows功能---->勾选Hyper-V
也可以通过Docker for Windows安装程序来启用Hyper-V，然后计算机会自动重启

打开虚拟化

右键---->任务管理器---->性能---->CPU
看看你的虚拟化启用了吗？没启用去重启，F12卡出BIOS界面设置启用虚拟化。

下载Docker

下载地址：
link

启用Docker

建议使用powershell。（shift+右键 / win+R----> powershell）

在powershell里运行命令验证安装：
docker –version、
docker-compose –version、
docker-machine –version、
docker version

（话说这里我也有一两个报错，但依然不要紧！）

用docker拉取TFS最新镜像

docker pull tensorflow/serving

获取官方服务仓库

git clone –recurse https://github.com/tensorflow/serving.git

再次进入powershell：cd serving

用Docker命令启动服务（以REST API方式，端口8501）

（有人说用curl，但我失败了。所以此处用REST方式）

具体见link

docker run -t --rm -p 8501:8501 -v <你自己的网址> :/models/half_plus_two -e MODEL_NAME=half_plus_two tensorflow/serving '&'

比如

docker run -t --rm -p 8501:8501 -v "D:/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu:/models/half_plus_two" -e MODEL_NAME=half_plus_two tensorflow/serving '&'

如果出现

恭喜你成功连接到8501端口！

用postman测试

连接端口还不够。因为你没有对接的服务器，依然什么都跑不了。
这时可以用postman来测试

half_plus_two model 运行成功！

总结

Future Work

1. 如何连接到自己的服务器（tensorflow serving用自己的模型怎么发送请求）

2. linux上部署TFS

References

link 二、在Windows下安装TensorFlow GPU版本教程（超级详细哦）

link Windows10下配置TensorFlow-GPU的详细过程

[link](https://blog.csdn.net/HaixWang/article/details/78760674 Win10下基于Docker使用tensorflow serving部署模型

linkTensorFlow Serving 入门教程（Windows）

link tensorflow serving安装、部署、调用、多模型版本管理教程

link Tensorflow Serving实战 搭建第一个推理模型（一）