手把手实践-图像/视频语义分割 (Easy-VideoSegment)

任务定义：

如上图所示，语义分割旨在利用自定义标签（上图中为“human"），来对图像或者视频中的标签内容进行像素级的分割。

该任务被广泛地应用在各种数据标注需求中。

尽管有例如SAM这样的分割工具，可以对图像中的内容进行分割，但是对视频中连续运动的物体进行分割却是非常困难的。在本项目中，使用了Segment and Tracking Anything论文中的算法和代码，通过我们提供的推理脚本，可以非常容易地对图像和视频中的内容进行语义分割。

项目地址：

Easy-VideoSegment

https://github.com/gulucaptain/Easy-VideoSegmenthttps://github.com/gulucaptain/Easy-VideoSegment:) 欢迎star 👏👏👏

如何使用：

首先：

git clone https://github.com/gulucaptain/Easy-VideoSegment

1. 安装环境

bash install.sh

执行install.sh脚本，即可创建conda环境以及安装相应的依赖。在该脚本中，包括了安装Pytorch-Correlation-extension的部分。

在安装结束后，由于要使用到groundingdino，将该文件夹的地址写入到tool/detector.py的第7行：

sys.path.append('/home/user/xxx/Easy-VideoSegment/src/groundingdino')

2. 下载权重

总共只需四个文件，直接执行下述脚本

bash ckpt_download.sh

这些权重文件已经打包在huggingface中，也可手动下载：

https://huggingface.co/gulucaptain/DynamiCtrl/tree/main/segment_checkpointshttps://huggingface.co/gulucaptain/DynamiCtrl/tree/main/segment_checkpoints之后按照脚本中的位置存放即可。

3. 执行：根据自定义标签进行语义分割

bash inference.sh

在inference.sh中，要定义好：

• file_pth：需要处理的图像/视频的地址，也可以是一个存放图像/视频的文件夹地址；
• segment_label：需要提取的内容，例如“human"
• mask_save_pth：保存mask的地址

这样就可以得到最终图像/视频分割的结果，视频的分割结果会按帧存储为图像。