异常现象
阿里云ECS服务器,配置是2C2G,在上面搭建的博客,最近初出现了两次CPU占用异常、磁盘读取BPS异常的问题,并且ssh无法登录。
第一次怀疑是受到了攻击,立马进行了重启、重置登录密码,重新登录进去以后发现有点不对劲,服务器上的数据都正常,没有被人破坏的痕迹,所以感觉很奇怪,不过我还是禁用的密码登录服务器,使用密钥登录并且备份了比较重要的数据,后来也就没有在意,直到今天早上访问网站再次出现进不去了,尝试ssh也登录不上,重启后再次恢复正常,看起来确实不像被攻击。
异常排查
通过在网上搜索相关异常现象,发现也有一些人跟我出现类似的问题,https://developer.aliyun.com/ask/600480
因为一直关注的是基础监控面板,没有看到内存监控所以忽略了内存问题,所以进入阿里云监控安装了argusagent插件,监控操作系统各项指标,发现内存占用确实比较高,长期70%以上,想起来前两次异常情况都是我在服务器上启动了一个额外的Java进程,大概率应该是内存占用满了,导致系统频繁使用 swap(交换分区)进行内存交换,导致 CPU、BPS 和 IOPS 增高,而且服务器内存确实比较小
监控告警
接下来添加内存告警监控,并且关闭了除了博客以外的应用