Рекомендации по сети

Рекомендации по сети#

Рекомендации для сетевого оборудования

  • Сетевая задержка существенно снижает производительность кластера. Используйте качественное сетевое оборудование с низким значением задержки. Не используйте бюджетные сетевые коммутаторы.

  • Не используйте такие сетевые адаптеры для настольных компьютеров, как Intel EXPI9301CTBLK или Realtek 8129, поскольку они не предназначены для высоких нагрузок и могут не поддерживать полнодуплексные каналы. Также следует использовать неблокирующие коммутаторы Ethernet.

  • Для RDMA рекомендуется использовать адаптеры Mellanox ConnectX-4, Mellanox ConnectX-5, Broadcom NetXtreme-E, Intel E810. Если вы хотите использовать другие адаптеры, обратитесь в службу технической поддержки.

    Предупреждение

    Поддержка сетевых адаптеров Broadcom и Intel находится в экспериментальной стадии. Перед их использованием настоятельно рекомендуется протестировать работу основного хранилища при максимальной нагрузке. Инструкцию по тестированию см. в статье Проверка производительности кластера Кибер Инфраструктуры.

  • Для использования RDMA с агрегацией портов адаптера Intel необходимо обновить встроенное ПО адаптера до последней версии и включить режим агрегации active-backup. Обновление встроенного ПО следует выполнять согласно инструкции с официального сайта производителя.

  • Если на серверах используются адаптеры Mellanox и ЦП AMD Epyc Rome, убедитесь, что в BIOS включена технология SR-IOV. В противном случае может произойти потеря данных.

  • Не рекомендуется устанавливать адаптеры, которые используют драйвер BNX2X, такие как Broadcom Limited BCM57840 NetXtreme II 10/20-Gigabit Ethernet / 2-портовый адаптер HPE FlexFabric 10Gb 536FLB. Они ограничивают MTU до 3616, что отрицательно влияет на производительность кластера.

  • RDMA не поддерживается для вычислительного кластера. Таким образом, сеть с вычислительным кластером и сеть хранилища (сеть с типом трафика Хранилище) должны использовать разные сетевые адаптеры. Рекомендуется использовать одну сетевую карту с двумя объединенными сетевыми интерфейсами для сети с вычислительным кластером и одну сетевую карту с двумя объединенными сетевыми интерфейсами для сети хранилища. Про использование магистральных (транковых) интерфейсов см. раздел Подключение виртуальных коммутаторов к магистральным интерфейсам.

  • Для быстрой сети DPDK для виртуальных машин следует использовать сетевые адаптеры Intel, поддерживающие технологию DPDK и следующие скорости передачи данных: от 10 Гбит/с и выше (в составе сетевого объединения), от 25 Гбит/с и выше (при независимом использовании).

Рекомендации по сетевой безопасности

  • Используйте отдельные сети (и в идеале, хотя это и необязательно, отдельные сетевые адаптеры) для внутреннего и публичного трафика. Таким образом публичный трафик не будет влиять на производительность ввода-вывода кластера, а также будут исключены возможные DoS-атаки из внешней сети.

  • Во избежание вторжений продукт Кибер Инфраструктура должен быть развернут в выделенной внутренней сети, недоступной извне.

  • Хотя на серверах кластера настроены необходимые правила iptables, рекомендуется использовать внешний брандмауэр для непроверенных публичных сетей, таких как Интернет.

Рекомендации по сетевой производительности

  • Используйте один канал со скоростью 1 Гбит/с на каждые два жестких диска в сервере (с округлением в большую сторону). Для одного или двух жестких дисков в сервере все же рекомендуются два объединенных сетевых интерфейса для высокой доступности сети. Причина этой рекомендации состоит в том, что сети Ethernet со скоростью 1 Гбит/с могут обеспечить пропускную способность 110–120 МБ/с, что приближается к производительности последовательного ввода-вывода одного диска. Поскольку несколько дисков на сервере могут обеспечить более высокую пропускную способность, чем Ethernet-канал со скоростью 1 Гбит/с, передача данных по сети может стать узким местом системы.

  • Для максимальной производительности последовательного ввода-вывода используйте один канал со скоростью 1 Гбит/с на каждый жесткий диск или один канал со скоростью 10 Гбит/с на сервер. Хотя в реальных условиях чаще всего выполняются операции произвольного ввода-вывода, последовательный ввод-вывод важен при резервном копировании.

  • Для максимальной общей производительности используйте один канал со скоростью 10 Гбит/с на сервер (или два объединенных канала для высокой доступности сети).

  • Не рекомендуется устанавливать для сетевых адаптеров со скоростью 1 Гбит/с нестандартные значения MTU (например, 9000-байтные jumbo-кадры). Такие параметры требуют дополнительной настройки коммутаторов и часто приводят к пользовательским ошибкам. Сетевые адаптеры со скоростью 10+ Гбит/с, напротив, следует настроить на использование крупных кадров для достижения максимальной производительности. Для каждого маршрутизатора и коммутатора в сети требуется настроить одинаковое значение MTU (см. руководства по сетевому оборудованию), а также для сетевой карты каждого сервера, каждого объединенного интерфейса или интерфейса VLAN. По умолчанию для MTU установлено значение 1500.

Сетевые рекомендации для клиентов

В следующей таблице приведены максимальные показатели производительности сети, которые клиент может получить с указанным сетевым интерфейсом. Для клиентов рекомендуется использовать сетевое оборудование со скоростью передачи данных 10 Гбит/с между любыми двумя серверами кластера, а также свести к минимуму сетевую задержку, особенно при использовании твердотельных накопителей.

Таблица 17 Максимальная производительность клиентской сети#

Сетевой интерфейс хранилища

Макс. скорость ввода-вывода сервера

Макс. скорость ввода-вывода ВМ (репликация)

Макс. скорость ввода-вывода ВМ (избыточное кодирование)

1 Гбит/с

100 МБ/с

100 МБ/с

70 МБ/с

2 × 1 Гбит/с

~175 МБ/с

100 МБ/с

~130 МБ/с

3 × 1 Гбит/с

~250 МБ/с

100 МБ/с

~180 МБ/с

10 Гбит/с

1 ГБ/с

1 ГБ/с

700 МБ/с

2 × 10 Гбит/с

1,75 ГБ/с

1 ГБ/с

1,3 ГБ/с

См. также