现象描述:
1、MySQL主库进程被莫名挂起,没有错误日志,一个mysqldump执行被阻塞;
2、MySQL从库出现不同步,show slave status看到出现了很多的锁
3、系统vim,ls -l不能使用,mount -a发现磁盘虽然不是只读
4、查看ps -aux看见很多进程的状态(STAT)是D或者是Ds(不可中断的睡眠或等待)或者Z(僵尸进程),说明已经被阻塞
有一些进程是这样的tee -a ~/.bash_history(审计历史命令),状态是D,一般是在ps中捕捉不到
5、系统日志报错,缓存中的数据往磁盘上写超时。(IO速度慢)
6、3306端口的实例,登录不上报错max_user_connections(某个用户可以并发登录数据库的个数)已经达到上限
3307端口的实例,登陆上发现有很多的show slave status的线程(笔者之前在中控做了很多次的show slave status监控查看,到这个机器就卡死)
进程被阻塞了
step1、升级内核(centos6.6的2.6.32内核bug会导致线程诡异的挂起)
原来的内核版本:2.6.32-504.el6.x86_64
升级后:2.6.32-696.16.1.el6.x86_64
1、mysqladmin pro 查看连接
2、service mysql stop 关闭数据库
3、export http_proxy=http://10.10.55.4:2137 && yum install kernel -y 升级内核
4、/etc/init.d/iptables save 保存防火墙策略
5、reboot 生效
升级之后发现不会再出现主库进程被莫名挂起的情况了。
但是发现还是并没有彻底解决主从同步会卡的情况
step2、查看dmseg日志发现报错:
INFO: task mysqld:4731 blocked for more than 120 seconds. --------mysqld进程被阻塞
Not tainte


1998

被折叠的 条评论
为什么被折叠?



