CephFS 文件删除异常

现象

• 可以正常创建文件

dd if=/dev/zero of=1.img bs=10M count=10 
ls -lh 1.img  （文件查询正常）

• 无法正常删除文件

rm -f 1.img 
rm: cannot remove '1.img':  No space left on device

• 怀疑 quota 导致

# getfattr  -n ceph.quota.max_bytes 57a4576f-c4f9-4cd5-ba8b-c796489b389a
# file: 57a4576f-c4f9-4cd5-ba8b-c796489b389a/
ceph.quota.max_bytes="536870912000"

• 直接清空 quota 后删除文件失败

# setfattr  -n ceph.quota.max_bytes -v 0 57a4576f-c4f9-4cd5-ba8b-c796489b389a
# rm -f 1.img 
rm: cannot remove '1.img':  No space left on device

• 设定一个超大 quota 后删除文件依旧失败

# setfattr  -n ceph.quota.max_bytes -v 636870912000 57a4576f-c4f9-4cd5-ba8b-c796489b389a
# rm -f 1.img 
rm: cannot remove '1.img':  No space left on device

mds 异常指标查询方法

[root@gd18-ceph-mon-