快速排查定位“挖矿病毒”

挖矿病毒排查方法

一、问题现象

        用户反应服务器上没有运行作业，但是在我公司监控页面查看到的GPU占用一直100%。让我们排查监控是否有问题。

二、排查问题

        我们通过SSH远程登录至服务器，使用nvidia-smi命令查看到GPU利用率极低，大部分在30%以下很少出现100%。

        继续排查发现，一旦SSH登录上机器，GPU利用率就会随之下降到30%以内。当退出SSH远程登录后，GPU利用率上涨100%。怀疑机器有病毒存在。

        重要步骤：我们不再SSH直接登录上去，选择使用如下命令查看进程：

ssh root@cst-worker01 -C "nvidia-smi"

ssh root@cst-worker01 -C "nvidia-smi pmon"

        发现nvidia-smi已经没有显示任何进程使用GPU了，但是nvidia-smi pmon可以查看到python3进程，这个很可能就是病毒进程（eg：310880）。

       继续排查进程（eg：310880）文件，发现进程文件夹中伪造了很多系统命令，进一步查找，找到了一个进程的cmdline文件，查看文件内容，发现了病毒命令：# ssh root@cst-worker01 -C "cat /proc/310880/cmdline"

python3                                                                                                                                                                                                                                                        -aprogpowz-ostratum+ssl://52.76.12.203:443-ostratum+ssl://13.114.153.90:443-udompet[zano].e2c7b7c9dc4d45a98462b6c26e5c3d7cb4055dff20088e

-px-q--api-bind-http0--no-watchdog--no-strict-ssl--no-sni--devices0,1,2,3,4,5,6,7

        结论：从输出命令看，进程使用了ostratum挖矿协议，指向了外网，且参数中包含大量可疑内容，eg：--no-strict-ssl，并且在排查中进程号一直在变，确定为挖矿病毒。

        以后如果遇到GPU使用率异常问题，可使用如下两条命令基本可以定位：

ssh root@cst-worker01 -C "nvidia-smi"

ssh root@cst-worker01 -C "nvidia-smi pmon"

       使用下面命令辅助查看病毒信息：

ssh root@cst-worker01 -C "ls -l /proc/310880/*" (这个灵活使用)

ssh root@cst-worker01 -C "cat /proc/310880/cmdline" (这个灵活使用)