ubuntu服务器内网遭受了ssh暴破攻击,服务器上被部署了挖矿病毒
服务器中毒后的现象大致如下:
chattr、lsattr、reboot、 shutdown 等很多命令都不可用,部分系统服务异常,CPU占用异常升高,50%的CPU被完全吃满(整整齐齐吃满固定比例的CPU是明显有问题的,多半是为了不过于瞩目)。但是htop与top显示并没有任何不正常的高占用进程。,/var/log/auth.log被删除,history历史命令被清空等等。
服务器中毒后务必先把中毒服务器上管理员账号的密码做一次修改,然后再进行下面的操作。
1、使用htop命令查看:
2、使用sudo lastb查看历史ssh尝试登入记录,可以看到很多异常账号尝试登入,初步判断是遭受了SSH爆破攻击
3、使用ps -ef 或者 netstat -antp 都查看不出异常进程或者流量
4、使用iftop命令,可以查看到一个异常的IP地址,通过IP138查询这个IP为美国的地址
5、netstat看不出异常流量,我们使用另外一个工具busybox来查看流量,busybox是集成了一套linux命令的工具,即使系统内部的命令被病毒替换了,我们可以通过它来查看
输入命令:busybox netstat
这两个地址很可疑,初步判断是连接到了矿池地址:
209.38.180.198:https (美国科罗拉多州丹佛)
138.68.113.5:http (德国黑森州法兰克福)
6、使用sysdig查看占用CPU的隐藏进程,可以查看到很多进程占用的CPU是100%,但是进程显示为NA,我们尝试通过进程PID查找病毒的文件路径(ls -l /proc/12561/exe),但是无显示,查找不到。
sudo apt-get -y install sysdig
sudo sysdig -c topprocs_cpu
7、我们继续使用另外一个工具unhide,unhide 是一个小巧的网络取证工具,能够发现那些借助 rootkit,LKM 及其它技术隐藏的进程和 TCP / UDP 端口。这个工具在 Linux,UNIX 类,MS-Windows 等操作系统下都可以工作。
sudo apt-get -y install unhide
输入:sudo unhide proc 查看隐藏进程,发现有10几个病毒的隐藏进程。
查看病毒文件地址(显示已被删除,但实际我们并没有做删除的操作)
输入 ls -l /proc/{病毒PID}/exe 查看病毒路径
8、最后不纠结查找病毒的文件了,我们先结束病毒进程看看CPU是否正常,你会发现只要结束其中一个进程,其余进程都会自动结束,估计病毒的进程之间存在关联性;
sudo kill -9 2591
sudo kill -9 2592
sudo kill -9 2593
sudo kill -9 2594
sudo kill -9 2595
........
........
........
........
........
9、进程结束后,CPU瞬间恢复正常,如截图
10、进程结束后,观察了一天,CPU一直没有再次飙高,其次我们也排查了开机启动项、计划任务都没有发现病毒,使用busybox netstat再次查看流量状况,也没有连接到国外IP的情况,但是虽然CPU降下来了,但是实际病毒对系统的破坏还未完全修复,部分不能使用的命令和服务还需要在后续使用过程中用到了再做修复操作,如果修复不了,最终还是要重装服务器系统。
11、为了处理病毒,五一花了大量时间,以下是排查过程中参考的文档,特别第一个链接视频,对排查挖矿病毒很有用,希望能帮助到大家
https://blog.51cto.com/u_13294304/2955476
https://cloud.tencent.com/developer/article/1769978
https://blog.csdn.net/weixin_42871919/article/details/133820024
https://developer.aliyun.com/article/1134597
https://blog.csdn.net/gottst0113/article/details/114449957
https://blog.csdn.net/weixin_45885440/article/details/129851053
https://blog.csdn.net/weixin_43693967/article/details/134572130
https://blog.csdn.net/qq_43543789/article/details/104262819
https://www.volcengine.com/theme/1812122-S-7-1
https://blog.csdn.net/Selinu/article/details/136500852
https://blog.csdn.net/csdnerM/article/details/121464244
https://www.cnblogs.com/houdj/p/18123114
https://blog.csdn.net/UberSoldier/article/details/137636829
https://yan-jian.com/linux%E6%8C%96%E7%9F%BF%E5%85%A5%E4%BE%B5%E6%8E%92%E6%9F%A5.html
12、其次系统加固很重要,可以参考以下文档针对ubuntu系统做系统加固,防止被暴力破解
https://yan-jian.com/ubuntu%E6%9B%B4%E6%94%B9ssh%E9%BB%98%E8%AE%A4%E7%AB%AF%E5%8F%A3.html
https://yan-jian.com/Fail2ban%E8%AF%A6%E7%BB%86%E6%95%99%E7%A8%8B.html