记录一次linux病毒清除过程

lyhabc

http://wangzan18.blog.51cto.com/8021085/1733726
案例描述
    早上接到IDC的电话，说我们的一个网段IP不停的向外发包，应该是被攻击了，具体哪个IP不知道，让我们检查一下。
按理分析及解决办法
    首先我们要先确定是哪台机器的网卡在向外发包，还好我们这边有zabbix监控，我就一台一台的检查，发现有一台的流量跑满了，问题应该出现在这台机器上面。
wKioL1aTJjKjEc0XAAGyRS78_8A989.jpg   

    我登录到机器里面，查看了一下网卡的流量，我的天啊，居然跑了这个多流量。
wKiom1aTJiqSKUopAAGBJctAzko745.jpg

    这台机器主要是运行了一个tomcat WEB服务和oracle数据库，问题不应该出现在WEB服务和数据库上面，我检查了一下WEB日志，没有发现什么异常，查看数据库也都正常，也没有什么错误日志，查看系统日志，也没有看到什么异常，但是系统的登录日志被清除了，我赶紧查看了一下目前运行的进程情况，看看有没有什么异常的进程，一查看，果然发现几个异常进程，不仔细看还真看不出来，这些进程都是不正常的。
wKiom1aTJubTjNJNAAMiWBl8Wo8464.jpg

    这是个什么进程呢，我每次ps -ef都不一样，一直在变动，进程号一一直在变动中，我想看看进程打开了什么文件都行，一时无从下手，想到这里，我突然意识到这应该都是一些子进程，由一个主进程进行管理，所以看这些子进程是没有用的，即便我杀掉他们还会有新的生成，擒贼先擒王，我们去找一下主进程，我用top d1实时查看进程使用资源的情况，看看是不是有异常的进程占用cpu内存等资源，发现了一个奇怪的进程，平时没有见过。这个应该是我们寻找的木马主进程。
wKioL1aTKAyhrwWnAAH6n-9vj9c172.jpg

    我尝试杀掉这个进程，killall -9 ueksinzina，可是杀掉之后ps -ef查看还是有那些子进程，难道没有杀掉？再次top d1查看，发现有出现了一个其他的主进程，看来杀是杀不掉的，要是那么容易杀掉就不是木马了。
wKiom1aTJ9-BkvZZAAF_awQTcQ8107.jpg


    我们看看他到底是什么，"which obgqtvdunq"发现这个命令在/usr/bin下面，多次杀死之后又重新在/usr/bin目录下面生成，想到应该有什么程序在监听这个进程的状态也可能有什么定时任务，发现进程死掉在重新执行，我就按照目前的思路查看了一下/etc/crontab定时任务以及/etc/init.d启动脚本，均发现有问题。
    可以看到里面有个定时任务gcc4.sh，这个不是我们设定的，查看一下内容更加奇怪了，这个应该是监听程序死掉后来启动的，我们这边把有关的配置全部删掉，并且删掉/lib/libudev4.so。
wKioL1aTNuKBypf6AADwle0ReqU493.jpg


    在/etc/init.d/目录下面也发现了这个文件。
wKiom1aTNrOxW_EdAAICTXycR80284.jpg


    里面的内容是开机启动的信息，这个我们也给删掉。
wKiom1aTNrPwqM-QAACAX6GdHq8925.jpg

    以上两个是一个在开机启动的时候启动木马，一个是木马程序死掉之后启动木马，但是目前我们杀掉木马的时候木马并没有死掉，而是立刻更换名字切换成另一个程序文件运行，所以我们直接杀死是没有任何用处的，我们目的就是要阻止新的程序文件生成，首先我们取消程序的执行权限并把程序文件成成的目录/usr/bin目录锁定。
1
2
chmod 000 /usr/bin/obgqtvdunq
chattr +i /usr/bin
   然后我们杀掉进程"killall -9 obgqtvdunq"，然后我们在查看/etc/init.d/目录，看到他又生成了新的进程，并且目录变化到了/bin目录下面，和上面一样，取消执行权限并把/bin目录锁定，不让他在这里生成，杀掉然后查看他又生成了新的文件，这次他没有在环境变量目录里面，在/tmp里面，我们把/tmp目录也锁定，然后结束掉进程。
wKioL1aTOijgVYf9AACpcncglgM837.jpg
   
    到此为止，没有新的木马进程生成，原理上说是结束掉了木马程序，后面的工作就是要清楚这些目录产生的文件，经过我寻找，首先清除/etc/init.d目录下面产生的木马启动脚本，然后清楚/etc/rc#.d/目录下面的连接文件。
wKioL1aTOrHQyuJGAAIsUyQ8rOc792.jpg

   
    后来我查看/etc目录下面文件的修改时间，发现ssh目录下面也有一个新生成的文件，不知道是不是有问题的。
wKioL1aTOr-A5rBGAADE2fRR-KM832.jpg


    清理差不多之后我们就要清理刚才生成的几个文件了，一个一个目录清楚，比如"chattr -i /tmp"，然后删除木马文件，以此类推删除/bin、/usr/bin目录下面的木马，到此木马清理完毕。

快速清理木马流程   
假设木马的名字是nshbsjdy，如果top看不到，可以在/etc/init.d目录下面查看
1、首先锁定三个目录，不能让新木马文件产生
chmod 000 /usr/bin/nshbsjdy
chattr +i /usr/bin
chattr +i /bin
chattr +i /tmp

2、删除定时任务及文件以及开机启动文件
删除定时任务及文件
rm -f /etc/init.d/nshbsjdy
rm -f /etc/rc#.d/木马连接文件

3、杀掉木马进程
killall -9 nshbsjdy

4、清理木马进程
chattr -i /usr/bin
rm -f /usr/bin/nshbsjdy
处理完成之后再一次检查一下以上各目录，尤其是/etc目录下面最新修改的文件。


如果是rootkit木马，可以用下面的软件进行检查

软件chkrootkit：http://www.chkrootkit.org/
软件RKHunter：https://rootkit.nl/projects/rootkit_hunter.html
    安装都非常简单，我使用RKHunter简单检查了一下，没有发现什么重大问题，但是这也并不表示没有什么问题，因为我们的检测命令也是依赖一些系统的命令，如果系统的命令被感染那是检测不出来的，最好是系统的命令备份一份检查，再不行就备份数据重装喽。
wKioL1aVqpWTs0KyAAFvQUWVc-8650.jpg

lyhabc

chattr +i -/usr/bin
chattr +i /bin
chattr +i /tmp


锁定目录有一个问题，如果目录下是tomcat目录，那么网站就不能写入文件了，可能需要停业务

lolizeppelin

重装...tomcat肯定是root运行的

一旦linux被以root控制后,最好重装,启动入口到处都是 随便一个计划任务文件夹、插件都可以复活木马

实在不想重装  起码所有rpm包都校验一次(起码校验后不用担心系统命令被感染),校验完还有一大堆位置要检查,一些脚本插件什么的
校验时间够服务器重装了，更别说后续检查了

lyhabc

@lolizeppelin
重搭环境和调试也要时间啊，所以校验不一定不好

misihua

这个病毒不是你清掉就不进来的。
不信你过几天再看看。
应该是用struts2 漏洞上传上来的。
在要求开发人员尽快修改漏洞之前，我是用这种方式：1，安装clamav ，定几分钟杀一次。2，把病毒常上传的目录改为只读，如果目录不能改只读(有业务要写入)，则把病毒删除后，创建与病毒同名空文件并将此文件只读，还要将chattr命令权限改为不可运行。
持续观察一个月吧。

lyhabc

@misihua
创建与病毒同名空文件并将此文件只读，人家不一定用同样的文件夹

还要将chattr命令权限改为不可运行？把/usr/bin/chattr删掉？

misihua

lyhabc 发表于 2016-01-15 17:24
@misihua
创建与病毒同名空文件并将此文件只读，人家不一定用同样的文件夹

你观察观察就知道，估计黑客用的都是相同的工具，上传上来的病毒文件名文件夹基本相同。
chttr权限改为000就行了。

rootsecurity

主要是查找被入侵的原因，我分析有以下两点：
1.tomcat配置了tomcat-users.xml里面存在弱口令
2.最近流行的Java反序列化漏洞

action08

实在不想重装  起码所有rpm包都校验一次(起码校验后不用担心系统命令被感染),校验完还有一大堆位置要检查,一些脚本插件什么的



如何效验啊，windows有数字签名还好办

lyhabc

@action08
用工具呗
Rkhunter