k8s pod oom排查攻略

K8s Pod OOM 排查攻略

检查 Pod 状态和事件

使用 kubectl describe pod <pod-name> 查看 Pod 的状态和事件。重点关注 OOMKilled 相关事件，确认是否因内存不足被终止。

kubectl describe pod <pod-name>

查看容器内存限制

检查 Pod 的 YAML 配置或部署文件，确认容器的内存限制（limits.memory）和请求（requests.memory）。内存限制过低可能导致 OOM。

kubectl get pod <pod-name> -o yaml

监控容器内存使用

使用 kubectl top pod 实时监控 Pod 的内存使用情况，确认是否存在内存使用过高或持续增长的情况。

kubectl top pod <pod-name>

分析容器日志

检查容器的日志，尤其是应用日志，可能存在内存泄漏或异常内存占用的线索。

kubectl logs <pod-name> --previous

启用 OOM Killer 日志

在节点上查看内核日志，确认 OOM Killer 是否触发了容器终止。通过 dmesg 或 journalctl 查看相关日志。

dmesg | grep -i oom
journalctl -k | grep -i oom

调整内存限制

根据实际内存使用情况，调整 Pod 的 limits.memory 和 requests.memory，确保足够且合理。

resources:
  limits:
    memory: "512Mi"
  requests:
    memory: "256Mi"

使用内存分析工具

对于 Java 应用，可以使用 jmap 或 jstat 分析堆内存；对于其他语言，可使用 valgrind 或类似工具检测内存泄漏。

jmap -heap <container-pid>

检查应用代码

排查应用代码中是否存在内存泄漏或不合理的内存使用，例如未释放的资源、大对象缓存等。

节点资源监控

确保节点本身有足够的内存资源，避免因节点内存不足导致 Pod 被终止。

kubectl top node

使用 Prometheus 或 Grafana

通过监控工具（如 Prometheus 或 Grafana）长期跟踪 Pod 的内存使用趋势，帮助定位问题。

kubectl get --raw /apis/metrics.k8s.io/v1beta1/pods | jq .