RDMA网络调试实战：用tcpdump抓包分析RoCE流量（附Wireshark配置）

RDMA网络调试实战：用tcpdump抓包分析RoCE流量（附Wireshark配置）

最近在数据中心处理一个分布式AI训练任务时，遇到了一个棘手的问题：训练作业间歇性出现性能骤降，日志里除了超时没有更明确的线索。初步怀疑是底层RDMA网络出了问题，但常规的ibstat、ibv_devinfo显示链路状态都是正常的。这时候，深入到数据包层面进行分析就成了唯一的选择。对于使用RoCE（RDMA over Converged Ethernet）协议栈的网络，传统的TCP/IP抓包工具依然适用，但需要一些特定的配置和解读技巧。这篇文章，我就结合那次排查经历，以及后续积累的一些实战经验，聊聊如何用tcpdump和Wireshark这对黄金组合，来透视RoCE流量，精准定位网络问题。

1. 环境准备与工具链搭建

在开始抓包之前，确保你的工具链是完备且适配RDMA的，这能避免很多“抓不到包”或“看不懂包”的尴尬。不同于普通以太网，RoCE流量承载在特定的UDP端口之上（默认是4791），并且需要网卡驱动和抓包库的支持。

1.1 系统与网卡基础配置

首先，确认你的网卡型号和驱动。以常见的Mellanox ConnectX系列网卡为例，通过以下命令可以快速获取信息：

lspci | grep Mellanox
ibv_devinfo

重点查看ibv_devinfo输出中的transport字段，确认是InfiniBand还是Ethernet。对于RoCE，这里应该是Ethernet。同时，检查网卡的工作模式，确保其处于期望的状态，例如是工作在Ethernet模式而非InfiniBand模式（这通常在交换机或网卡BIOS中配置）。

一个常见的坑是网卡绑定（Bonding）或VLAN配置。如果你的物理网卡（如ens1f0）被绑定到了一个逻辑接口（如bond0）上，或者配置了VLAN子接口，直接对物理接口抓包可能会失败。你需要明确流量实际经过的接口。使用ip link show和ibdev2netdev命令来映射InfiniBand设备名（如mlx5_0）到对应的Linux网络接口名（如ens1f0）。

ibdev2netdev

输出示例：

mlx5_0 port 1 ==> ens1f0 (Up)

这个结果告诉你，InfiniBand设备mlx5_0的端口1对应着操作系统中的网络接口ens1f0。

1.2 获取支持RDMA的抓包工具

大多数现代Linux发行版自带的tcpdump和libpcap库已经支持RoCE抓包。无需再从源码编译，除非你使用的版本非常陈旧。首先尝试安装发行版提供的版本：

# 对于Ubuntu/Debian
sudo apt-get update
sudo apt-get install tcpdump wireshark-common

# 对于RHEL/CentOS
sudo yum install tcpdump wireshark

安装后，验证tcpdump是否能识别你的RDMA网卡接口：

sudo tcpdump -D

在输出列表中，你应该能看到类似mlx5_0或对应的