解决 ceph MDS 响应时间慢问题

#问题

• 整个集群有 8 个 active mds 提供服务
• 通过监控发现其中一个 MDS 响应时间超慢
• 参考下面监控图
  

现象

• 所有 mds 中，除了 015 以外，其他 MDS 响应时间都 < 500ms，性能正常
• 只有一台 mds 出现响应时间超长问题
• MDS 响应不均衡属于正常现象，并且响应慢的 MDS 负载并不高（繁忙 MDS 约为 6k ops/s）
  
• 延时出现在 getfattr 请求
  

分析

• 发现故障 mds 长期处于数据转发状态， 并且多个 MDS转发情况发生
• 
• 故障 mds 内存中 substrsubtree

排查逻辑流程图

以下是发现 MDS 响应慢到定位根因的完整排查逻辑总结：