Проверка сетевой инфраструктуры RDMA#
Для проверки состояния сетевой инфраструктуры RDMA вы можете использовать утилиты командной строки, предоставляемые производителем оборудования.
Проверка сетевого оборудования
Получите список устройств RDMA, доступных для использования:
# ibv_devices
device node GUID
------ ----------------
rdmao1 5e6f69fffe27b644
rdmao2 5e6f69fffe27b645
Проверка сетевого соединения
Запустите утилиту rping в режиме сервера на любом узле:
# rping -s -C 10 -v
Запустите утилиту rping в режиме клиента на любом другом узле:
# rping -c -a <server_IP> -C 10 -v
Где <server_IP> — это IP-адрес узла с утилитой rping, запущенной в режиме сервера.
Пример вывода утилиты rping:
ping data: rdma-ping-0: ABCDEFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqr
ping data: rdma-ping-1: BCDEFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrs
ping data: rdma-ping-2: CDEFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrst
ping data: rdma-ping-3: DEFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrstu
ping data: rdma-ping-4: EFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrstuv
ping data: rdma-ping-5: FGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrstuvw
ping data: rdma-ping-6: GHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrstuvwx
ping data: rdma-ping-7: HIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrstuvwxy
ping data: rdma-ping-8: IJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrstuvwxyz
ping data: rdma-ping-9: JKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrstuvwxyzA
client DISCONNECT EVENT...
Проверка пропускной способности сети
Запустите утилиту проверки пропускной способности ib_send_bw в режиме сервера на любом узле:
# ib_send_bw -d mlx4_0 -i 1 -F --report_gbits
Запустите утилиту проверки пропускной способности ib_send_bw в режиме клиента на любом другом узле:
# ib_send_bw -d mlx4_0 -i 1 -F --report_gbits <server_IP>
Где <server_IP> — это IP-адрес узла с утилитой ib_send_bw, запущенной в режиме сервера.
Пример вывода утилиты ib_send_bw:
Send BW Test
Dual-port : OFF Device : mlx4_0
Number of qps : 1 Transport type : IB
Connection type : RC
RX depth : 512
CQ Moderation : 100
Mtu : 1024[B]
Link type : Ethernet
Gid index : 0
Max inline data : 0[B]
rdma_cm QPs : OFF
Data ex. method : Ethernet
--------------------------------------------------------------------------
local address: LID 0000 QPN 0x0065 PSN 0xc8f367
GID: 254:128:00:00:00:00:00:00:246:82:20:255:254:23:27:129
remote address: LID 0000 QPN 0x005d PSN 0x884d7d
GID: 254:128:00:00:00:00:00:00:246:82:20:255:254:23:31:225
--------------------------------------------------------------------------
#bytes #iterations BW peak[Gb/sec] BW average[Gb/sec] MsgRate[Mpps]
65536 1000 0.00 36.40 0.069428