linux中运行mkdir等命令报 “no space left on device”（磁盘空间不足）问题排查及解决

原创已于 2024-03-13 18:14:01 修改 · 7.3k 阅读

37 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#linux #运维 #服务器

于 2024-03-13 17:09:45 首次发布

Linux 专栏收录该内容

1 篇文章

订阅专栏

文章讲述了在Linux生产环境中遇到磁盘空间不足的问题，包括block满了、inode满了和文件已删除但不释放空间等情况的排查步骤，以及如何通过清理临时文件、删除大文件、检查日志和优化回收站等方法进行解决，并提供预防此类问题的建议。

1.1 问题描述

1.2 问题排查及解决

问题一：block满了

步骤一:查看磁盘使用情况，根目录空间是否占用100%

步骤二：如果爆满，就查找有没有大文件占用空间

步骤三：解决方案

步骤四：再次查看磁盘空间

问题二：inode满了

步骤一：查看inode节点使用情况，是否已用100%

步骤二：确认这个文件可以删除，执行删除操作

步骤三：再次查看磁盘空间

步骤四：查看已经被删除但仍然被应用程序占用的文件列表

步骤五：清空日志文件

步骤六：再次查看被删除的文件

1.3 如何避免此类问题

1.1 问题描述

linux生产环境中运行命令mkdir /tmp/pty3468083857 报“no space left on device”（磁盘空间不足)

kubectl-1.24 --kubeconfig=config-au-ali -n au exec -it xxxxx-5b6c56cccf-c49lv -- bash

error: Internal error occurred: error executing command in container: failed to exec in container: failed to start exec "4bbd7015e38b74876c4a9a324631acd5ad0585c2ddf45f1b662a7dedec305d9c": failed to create runc console socket: mkdir /tmp/pty3468083857: no space left on device: unknown

1.2 问题排查及解决

问题一：block满了

步骤一:查看磁盘使用情况，根目录空间是否占用100%

步骤二：如果爆满，就查找有没有大文件占用空间

ls -lhS # -h 可读方式显示文件大小 -S 以文件大小排序

步骤三：解决方案

解决方案1——清理废弃文件

如果发现有不用的文件，可以使用rm命令进行删除

rm -f /usr/local/bin/1g

解决方案2——扩展磁盘空间

适用于可以申请到新的磁盘，或者有磁盘没被使用的情况

不要随意格式化一个已经挂载并且使用了的磁盘，最好新建一个磁盘，尤其是 / 目录

Linux磁盘扩容（超详细）-CSDN博客 ---附赠详细教程

步骤四：再次查看磁盘空间

不再爆满，问题解决

问题二：inode满了

步骤一：查看inode节点使用情况，是否已用100%

步骤二：如果inode 占用过多

1.查看并删除临时文件

ls -lt /tmp | wc -l
find /tmp -type f -exec rm {} \;

2.删除0字节的文件，这些文件也会占用inode

find /home -type f -size 0 -exec rm {} \;

3.查找大文件，并进行适当删除

第一步：查看某个目录下的文件数量

[root@node2 ~]# for i in /var/*; do echo $i; find $i |wc -l; done

通过查看，只有 /var/spool/ 目录下文件数量最多。

第二步：按照第一步的思路，继续查看 /var/spool/ 目录下的文件数量

[root@node2 ~]# for i in /var/spool/*; do echo $i; find $i |wc -l; done

步骤三：删除垃圾文件

rm -rf *

步骤四：再次查看inode使用情况

问题三：文件已删除但空间不释放

由于 Linux 没有回收站功能，我们的线上服务器所有要删除的文件都会首先移动到系统/tmp 目录下，然后定期清除 /tmp 目录下的数据。这个策略本身没有问题，但如果这台服务器的系统分区中并没有单独划分/tmp 分区，这样 /tmp下的数据其实是占用了根分区的空间。既然找到了问题，那么删除 /tmp 目录下一些大数据即可。