今天朋友说他一台要准备上线的生产服务器被挂马,特征ps命令找不到进程,top能看到负载最高的一个程序是一个随机的10位字母的东西,kill掉之后自动再次出现一个随机10位字母的进程。
我让他关闭这个机器的外网,内网放开,在局域网中给我一个跳板。等我拿到权限之后进入机器,先按照朋友说的验证了一遍,果然是那样,木马有自我保护自我恢复。
这时候我想到一个问题居然是能自我开机启动,要么/etc/rc.d/{init.d,rc{1,2,3,4,5}.d}/下有启动脚本,要么有cron计划任务。
于是我发现crontab -l是正常,来到/etc/rc.d/init.d下发现了异常有10位字母的启动脚本,脚本内容如下
|
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
|
[root@Xd9BdoAkG ~]
# cat /etc/rc.d/init.d/fregonnzkq
#!/bin/sh
# chkconfig: 12345 90 90
# description: fregonnzkq
### BEGIN INIT INFO
# Provides: fregonnzkq
# Required-Start:
# Required-Stop:
# Default-Start: 1 2 3 4 5
# Default-Stop:
# Short-Description: fregonnzkq
### END INIT INFO
case
$1
in
start)
/usr/bin/fregonnzkq
;;
stop)
;;
*)
/usr/bin/fregonnzkq
;;
esac
|
看到这我真是佩服这帮人单用户启动模式都不放过啊,尼玛,你这是赶尽杀绝啊。。。。。。。
到了这里我天真的删除了几个这样的启动脚本,然后重启服务器,问题依旧。。。。。。。。。你妹啊。。。不带这样玩的。。。。
到了这时候我多想了下,是不是还有启动脚本?仔细核查发现/etc/rc.d/rc3.d/下还有问题
|
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
|
[root@Xd9BdoAkG rc3.d]
# ls -lt
total 0
lrwxrwxrwx 1 root root 20 Sep 8 13:21 S90eviykluziy -> ..
/init
.d
/eviykluziy
lrwxrwxrwx 1 root root 20 Sep 8 12:49 S90yuurxgembh -> ..
/init
.d
/yuurxgembh
lrwxrwxrwx 1 root root 20 Sep 8 10:37 S90fregonnzkq -> ..
/init
.d
/fregonnzkq
lrwxrwxrwx. 1 root root 15 Sep 7 14:08 S85nginx -> ..
/init
.d
/nginx
lrwxrwxrwx. 1 root root 24 Sep 7 13:55 S99libvirt-guests -> ..
/init
.d
/libvirt-guests
lrwxrwxrwx. 1 root root 19 Sep 7 13:55 S26haldaemon -> ..
/init
.d
/haldaemon
lrwxrwxrwx. 1 root root 19 Sep 7 13:54 K10saslauthd -> ..
/init
.d
/saslauthd
lrwxrwxrwx. 1 root root 20 Sep 7 13:54 S22messagebus -> ..
/init
.d
/messagebus
lrwxrwxrwx. 1 root root 14 Sep 7 13:51 S55sshd -> ..
/init
.d
/sshd
lrwxrwxrwx. 1 root root 18 Sep 7 13:51 K15svnserve -> ..
/init
.d
/svnserve
lrwxrwxrwx. 1 root root 17 Sep 7 13:44 S10network -> ..
/init
.d
/network
lrwxrwxrwx. 1 root root 17 Sep 7 13:44 S12rsyslog -> ..
/init
.d
/rsyslog
lrwxrwxrwx. 1 root root 15 Sep 7 13:44 S90crond -> ..
/init
.d
/crond
lrwxrwxrwx. 1 root root 19 Sep 7 13:44 K75udev-post -> ..
/init
.d
/udev-post
lrwxrwxrwx. 1 root root 17 Sep 7 13:44 K30postfix -> ..
/init
.d
/postfix
lrwxrwxrwx. 1 root root 15 Sep 7 13:44 K75netfs -> ..
/init
.d
/netfs
lrwxrwxrwx. 1 root root 19 Sep 7 13:44 K85mdmonitor -> ..
/init
.d
/mdmonitor
lrwxrwxrwx. 1 root root 22 Sep 7 13:44 K99lvm2-monitor -> ..
/init
.d
/lvm2-monitor
lrwxrwxrwx. 1 root root 15 Sep 7 13:44 K80kdump -> ..
/init
.d
/kdump
lrwxrwxrwx. 1 root root 18 Sep 7 13:44 K92iptables -> ..
/init
.d
/iptables
lrwxrwxrwx. 1 root root 19 Sep 7 13:44 K92ip6tables -> ..
/init
.d
/ip6tables
lrwxrwxrwx. 1 root root 20 Sep 7 13:44 K90eyshcjdmzg -> ..
/init
.d
/eyshcjdmzg
lrwxrwxrwx. 1 root root 26 Sep 7 13:44 K75blk-availability -> ..
/init
.d
/blk-availability
lrwxrwxrwx. 1 root root 16 Sep 7 13:44 K88auditd -> ..
/init
.d
/auditd
lrwxrwxrwx. 1 root root 17 Sep 7 13:37 K75ntpdate -> ..
/init
.d
/ntpdate
lrwxrwxrwx. 1 root root 20 Sep 7 12:15 K50netconsole -> ..
/init
.d
/netconsole
lrwxrwxrwx. 1 root root 11 Sep 7 12:15 S99local -> ..
/rc
.
local
lrwxrwxrwx. 1 root root 15 Sep 7 12:15 K89rdisc -> ..
/init
.d
/rdisc
lrwxrwxrwx. 1 root root 21 Sep 7 12:15 K87restorecond -> ..
/init
.d
/restorecond
|
看到后我只想把这个木马的作者找到然后说收我做徒弟吧。。。。。。。。
于是我又很傻很天真的删除了这些启动脚本,并且kill了相关进程,希望的太阳没有升起,沉重的打击再次来临,木马再次自我复制自我运行了。。。。启动脚本再次出现了。。
我知道我进入了误区,重新想思路。。。
不知道为什么我瞬间想到了我遗漏了一个地方,cron,对。。。我是crontab -l 来查看的,还有个地方的cron任务不会在这个命令下出现/etc/cron.*
|
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
|
[root@Xd9BdoAkG ~]
# cat /etc/crontab
SHELL=
/bin/bash
PATH=
/sbin
:
/bin
:
/usr/sbin
:
/usr/bin
MAILTO=root
HOME=/
# For details see man 4 crontabs
# Example of job definition:
# .---------------- minute (0 - 59)
# | .------------- hour (0 - 23)
# | | .---------- day of month (1 - 31)
# | | | .------- month (1 - 12) OR jan,feb,mar,apr ...
# | | | | .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# | | | | |
# * * * * * user-name command to be executed
*
/3
* * * * root
/etc/cron
.hourly
/gcc
.sh
|
你妹啊 啊 啊 啊,不带这样玩的
|
1
2
3
4
5
6
|
[root@Xd9BdoAkG ~]
# cat /etc/cron.hourly/gcc.sh
#!/bin/sh
PATH=
/bin
:
/sbin
:
/usr/bin
:
/usr/sbin
:
/usr/local/bin
:
/usr/local/sbin
:
/usr/X11R6/bin
for
i
in
`
cat
/proc/net/dev
|
grep
:|
awk
-F: {
'print $1'
}`;
do
ifconfig
$i up&
done
cp
/lib/libudev
.so
/lib/libudev
.so.6
/lib/libudev
.so.6
|
|
1
2
3
4
5
6
|
[root@Xd9BdoAkG ~]
# cat /proc/net/dev|grep :|awk -F: {'print $1'}
lo
em1
em2
em3
em4
|
我擦,看到这,再次shit,你还知道主动启动网络和外面联系啊。。。。
|
1
2
|
[root@Xd9BdoAkG ~]
# file /lib/libudev.so
/lib/libudev
.so: ELF 32-bit LSB executable, Intel 80386, version 1 (SYSV), statically linked,
for
GNU
/Linux
2.6.9, not stripped
|
居然不是脚本什么的,想看文件具体内容暂时是没时间了。。。。。。。
到了这里我们可以确认有几个地方有问题/lib/libudev.so /etc/cron.hourly/gcc.sh /etc/crontab /etc/rc.d/init.d/ /etc/rc.d/rc3.d/
由于对方发送大量数据包,所以开始采取iptables来封禁,发现这玩意直接把output是 state 为new的drop掉。。。。。。。。不想说了,已经被他玩够了,不在乎多一次。。
通过排查可以肯定/lib/libudev.so是主体。其他是协助运行和自我保护自我复制的实现。既然你是个程序还在系统上,我有root,还搞不定么。为了不再多拖时间,直接查杀了。。
|
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
|
[root@Xd9BdoAkG ~]
# chmod 0000 /lib/libudev.so && rm -rf /lib/libudev.so && chattr +i /lib/
#在一步一点要这样运行,不然赶不上木马的自我恢复速度。。。。。我在这里坑了很长时间。
[root@Xd9BdoAkG ~]
# ls /lib/
cpp firmware kbd modules security terminfo udev
[root@Xd9BdoAkG ~]
# ls /lib/
cpp firmware kbd modules security terminfo udev
[root@Xd9BdoAkG ~]
# ls /lib/
cpp firmware kbd modules security terminfo udev
[root@Xd9BdoAkG ~]
# ls /lib/
cpp firmware kbd modules security terminfo udev
[root@Xd9BdoAkG ~]
# ls /lib/
cpp firmware kbd modules security terminfo udev
[root@Xd9BdoAkG ~]
# ls /lib/
cpp firmware kbd modules security terminfo udev
##貌似主体被控制住了,不能再次自我恢复了。。。
[root@Xd9BdoAkG ~]
# ls /etc/rc.d/rc3.d/ | awk '$7>=8 && $NF~/^K90/{print $NF}' | egrep '^.{10}$'| xargs -i rm -rf /etc/rc.d/rc3.d/{}
chmod
0000
/etc/rc
.d
/rc3
.d/ &&
chmod
0000
/etc/rc
.d
/init
.d && chattr +i
/etc/rc
.d
/rc3
.d/ && chattr +i
/etc/rc
.d
/init
.d
#删除启动脚本 awk '$7>=8 && $NF~/^K90/{print $NF}' 这里的8是当天的日期8号的意思,写的不严紧,勿喷~~~
#且控制目录不能写东西了
|
|
1
2
|
[root@Xd9BdoAkG ~]
# sed '/gcc.sh/d' /etc/crontab && chmod 0000 /etc/crontab && chattr +i /etc/crontab
#删除计划任务且控制计划任务不能写东西
|
到了这里基本就差不多了。。。。。现在去重启服务器,
|
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
|
[root@Xd9BdoAkG ~]
# top -b -n1 | head
top
- 18:13:47 up 0 min, 1 user, load average: 0.11, 0.03, 0.01
Tasks: 178 total, 2 running, 176 sleeping, 0 stopped, 0 zombie
Cpu(s): 1.4%us, 1.6%sy, 0.0%ni, 95.7%
id
, 1.3%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 32827160k total, 486308k used, 32340852k
free
, 6864k buffers
Swap: 16482300k total, 0k used, 16482300k
free
, 28312k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1 root 20 0 19232 1512 1224 S 0.0 0.0 0:01.26 init
2 root 20 0 0 0 0 S 0.0 0.0 0:00.00 kthreadd
3 root RT 0 0 0 0 S 0.0 0.0 0:00.00 migration
/0
[root@Xd9BdoAkG ~]
# top -b -n1 | head
top
- 18:13:51 up 0 min, 1 user, load average: 0.10, 0.03, 0.01
Tasks: 178 total, 1 running, 177 sleeping, 0 stopped, 0 zombie
Cpu(s): 1.3%us, 1.5%sy, 0.0%ni, 96.0%
id
, 1.2%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 32827160k total, 486136k used, 32341024k
free
, 6872k buffers
Swap: 16482300k total, 0k used, 16482300k
free
, 28344k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1414 root 20 0 15020 1232 872 R 2.0 0.0 0:00.01
top
1 root 20 0 19232 1512 1224 S 0.0 0.0 0:01.26 init
2 root 20 0 0 0 0 S 0.0 0.0 0:00.00 kthreadd
[root@Xd9BdoAkG ~]
# top -b -n1 | head
top
- 18:14:15 up 1 min, 1 user, load average: 0.06, 0.03, 0.01
Tasks: 178 total, 1 running, 177 sleeping, 0 stopped, 0 zombie
Cpu(s): 0.8%us, 0.9%sy, 0.0%ni, 97.6%
id
, 0.7%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 32827160k total, 483360k used, 32343800k
free
, 6900k buffers
Swap: 16482300k total, 0k used, 16482300k
free
, 28360k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1 root 20 0 19232 1512 1224 S 0.0 0.0 0:01.26 init
2 root 20 0 0 0 0 S 0.0 0.0 0:00.00 kthreadd
3 root RT 0 0 0 0 S 0.0 0.0 0:00.00 migration
/0
|
|
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
|
[root@Xd9BdoAkG ~]
# ls /etc/cron.hourly/
0anacron
[root@Xd9BdoAkG ~]
# ls -lt /etc/rc.d/rc3.d/
total 0
lrwxrwxrwx. 1 root root 15 Sep 7 14:08 S85nginx -> ..
/init
.d
/nginx
lrwxrwxrwx. 1 root root 24 Sep 7 13:55 S99libvirt-guests -> ..
/init
.d
/libvirt-guests
lrwxrwxrwx. 1 root root 19 Sep 7 13:55 S26haldaemon -> ..
/init
.d
/haldaemon
lrwxrwxrwx. 1 root root 19 Sep 7 13:54 K10saslauthd -> ..
/init
.d
/saslauthd
lrwxrwxrwx. 1 root root 20 Sep 7 13:54 S22messagebus -> ..
/init
.d
/messagebus
lrwxrwxrwx. 1 root root 14 Sep 7 13:51 S55sshd -> ..
/init
.d
/sshd
lrwxrwxrwx. 1 root root 18 Sep 7 13:51 K15svnserve -> ..
/init
.d
/svnserve
lrwxrwxrwx. 1 root root 17 Sep 7 13:44 S10network -> ..
/init
.d
/network
lrwxrwxrwx. 1 root root 17 Sep 7 13:44 S12rsyslog -> ..
/init
.d
/rsyslog
lrwxrwxrwx. 1 root root 15 Sep 7 13:44 S90crond -> ..
/init
.d
/crond
lrwxrwxrwx. 1 root root 19 Sep 7 13:44 K75udev-post -> ..
/init
.d
/udev-post
lrwxrwxrwx. 1 root root 17 Sep 7 13:44 K30postfix -> ..
/init
.d
/postfix
lrwxrwxrwx. 1 root root 15 Sep 7 13:44 K75netfs -> ..
/init
.d
/netfs
lrwxrwxrwx. 1 root root 19 Sep 7 13:44 K85mdmonitor -> ..
/init
.d
/mdmonitor
lrwxrwxrwx. 1 root root 22 Sep 7 13:44 K99lvm2-monitor -> ..
/init
.d
/lvm2-monitor
lrwxrwxrwx. 1 root root 15 Sep 7 13:44 K80kdump -> ..
/init
.d
/kdump
lrwxrwxrwx. 1 root root 18 Sep 7 13:44 K92iptables -> ..
/init
.d
/iptables
lrwxrwxrwx. 1 root root 19 Sep 7 13:44 K92ip6tables -> ..
/init
.d
/ip6tables
lrwxrwxrwx. 1 root root 26 Sep 7 13:44 K75blk-availability -> ..
/init
.d
/blk-availability
lrwxrwxrwx. 1 root root 16 Sep 7 13:44 K88auditd -> ..
/init
.d
/auditd
lrwxrwxrwx. 1 root root 17 Sep 7 13:37 K75ntpdate -> ..
/init
.d
/ntpdate
lrwxrwxrwx. 1 root root 20 Sep 7 12:15 K50netconsole -> ..
/init
.d
/netconsole
lrwxrwxrwx. 1 root root 11 Sep 7 12:15 S99local -> ..
/rc
.
local
lrwxrwxrwx. 1 root root 15 Sep 7 12:15 K89rdisc -> ..
/init
.d
/rdisc
lrwxrwxrwx. 1 root root 21 Sep 7 12:15 K87restorecond -> ..
/init
.d
/restorecond
|
开机后发现进程没异常了,世界貌似平静了。。。。
然后再次恢复/etc/crontab /etc/rc.d/init.d/ /etc/rc.d/rc3.d/ /lib文件夹的权限。然后再次重启。。。。。世界真的清静。。。。
本文记录了一次处理自我恢复型服务器木马的过程,该木马利用多种手段启动并隐藏自身,对抗清除尝试。文中详细介绍了查找木马启动源、对抗策略及最终成功清除的方法。


1856





