Published on

记第一次网站宕机

Authors
  • avatar
    Name
    Hansuku
    Twitter

网站已经上线一个多月 由于服务器在阿里云那边 基本上不咋管,昨天在写自己的测试 demo 上传到服务器,看预览时发现 Error establishing a database connection 这个时候网站还是正常的,然后我发现是自己编写的 html 页面获取图片的路径不对,更改以后就正常了。


下午的时候我打开自己网站首页,发现网站首页也 Error establishing a database connection 看到 database 第一反应是 mysql 出了什么问题,于是赶紧 ssh 登上服务器。蹊跷的事情发生了,平时登录的时候都是很快的 而今天在 ssh(server1 是我的别名)操作以后,老半天都没显示阿里云的欢迎语。好吧,等了一分钟左右,终于有反应了。结果在服务器里操作任何东西都十分卡顿,输入一条命令基本是一个字母卡两秒。 被黑客入侵了吗? 随机上阿里云查看服务器的各项指标 (左侧较高的时候就是服务器卡顿的时间) 内存、硬盘、负载基本全满了 然后扛着卡顿去服务器查看是哪个进程,用sar -r 1 3 发现是 gitlab 开了十多个进程,并且消耗内存极高


好吧 gitlab 这东西自打我安装了以后基本没用过,推测很有可能在上面上传 demo 的时候触发到了 gitlab 的某个程序,导致内存爆满

  • 卸载 gitlab gitlab-ctl stop 先把 gitlab 停止 rpm -e gitlab-ce 然后 rpm 卸载 ps aux | grep gitlab ps 查看有关 gitlab 的进程 然后我们把第一个很多...的进程 kill 掉 kill -9 18777 最后删除所有有关 gitlab 的文件 find / -name gitlab | xargs rm -rf 这样就彻底把 gitlab 卸载删除掉了 然后我用 htop 查看服务器状态 在故障的时候 mem 基本是满的绿条(绿色代表 used,使用中的内存,蓝色为高速缓冲区,蓝色后面那个亮一点的是 cache 缓存数据) 现在服务器就已经不卡啦(其实期间我还给阿里提交了工单,在提交工单以后他们的运维在看过了以后我再登录服务器就已经不卡了,只是内存还是占用很高,不知道他们做了什么处理。。)

  • 后记 说多说少,发生这样的情况还是我自己的操作不当,在服务器上能不装的东西尽量就不要去安装,如果发现没有用的服务赶紧删了!(吐槽一下 aliyundun 这个程序也是蛮耗 cpu 和内存的 只是没有 gitlab 那么恐怖..)也给自己涨涨记性,当然,出现问题是好的,有处理经验了。我本是一届小前端,如今也算踏上了后台这条路。。
*/}