Рекомендации по сети

Рекомендации для сетевого оборудования

• Сетевая задержка существенно снижает производительность кластера. Используйте качественное сетевое оборудование с низким значением задержки. Не используйте бюджетные сетевые коммутаторы.
• Не используйте такие сетевые адаптеры для настольных компьютеров, как Intel EXPI9301CTBLK или Realtek 8129, поскольку они не предназначены для высоких нагрузок и могут не поддерживать полнодуплексные каналы. Также следует использовать неблокирующие коммутаторы Ethernet.
• Для RDMA рекомендуется использовать адаптеры Mellanox ConnectX-5. Если вы хотите использовать другие адаптеры, обратитесь в службу технической поддержки.

• Если на серверах используются адаптеры Mellanox и ЦП AMD Epyc Rome, убедитесь, что в BIOS включена технология SR-IOV. В противном случае может произойти потеря данных.

• Не рекомендуется устанавливать адаптеры, которые используют драйвер BNX2X, такие как Broadcom Limited BCM57840 NetXtreme II 10/20-Gigabit Ethernet / 2-портовый адаптер HPE FlexFabric 10Gb 536FLB. Они ограничивают MTU до 3616, что отрицательно влияет на производительность кластера.
• RDMA не поддерживается для вычислительного кластера. Таким образом, сеть с вычислительным кластером и сеть хранилища (сеть с типом трафика Хранилище) должны использовать разные сетевые адаптеры. Рекомендуется использовать одну сетевую карту с двумя объединенными сетевыми интерфейсами для сети с вычислительным кластером и одну сетевую карту с двумя объединенными сетевыми интерфейсами для сети хранилища. Про использование магистральных (транковых) интерфейсов см. раздел Подключение виртуальных коммутаторов к магистральным интерфейсам.

Рекомендации по сетевой безопасности

• Используйте отдельные сети (и в идеале, хотя это и необязательно, отдельные сетевые адаптеры) для внутреннего и публичного трафика. Таким образом публичный трафик не будет влиять на производительность ввода-вывода кластера, а также будут исключены возможные DoS-атаки из внешней сети.
• Во избежание вторжений Кибер Инфраструктура должна быть развернута в выделенной внутренней сети, недоступной извне.
• Хотя на серверах кластера настроены необходимые правила iptables, рекомендуется использовать внешний брандмауэр для непроверенных публичных сетей, таких как Интернет.

Рекомендации по сетевой производительности

• Используйте один канал со скоростью 1 Гбит/с на каждые два жестких диска в сервере (с округлением в большую сторону). Для одного или двух жестких дисков в сервере все же рекомендуются два объединенных сетевых интерфейса для высокой доступности сети. Причина этой рекомендации состоит в том, что сети Ethernet со скоростью 1 Гбит/с могут обеспечить пропускную способность 110–120 МБ/с, что приближается к производительности последовательного ввода-вывода одного диска. Поскольку несколько дисков на сервере могут обеспечить более высокую пропускную способность, чем Ethernet-канал со скоростью 1 Гбит/с, передача данных по сети может стать узким местом системы.
• Для максимальной производительности последовательного ввода-вывода используйте один канал со скоростью 1 Гбит/с на каждый жесткий диск или один канал со скоростью 10 Гбит/с на сервер. Хотя в реальных условиях чаще всего выполняются операции произвольного ввода-вывода, последовательный ввод-вывод важен при резервном копировании.
• Для максимальной общей производительности используйте один канал со скоростью 10 Гбит/с на сервер (или два объединенных канала для высокой доступности сети).
• Не рекомендуется устанавливать для сетевых адаптеров со скоростью 1 Гбит/с нестандартные значения MTU (например, 9000-байтные jumbo-кадры). Такие параметры требуют дополнительной настройки коммутаторов и часто приводят к пользовательским ошибкам. Сетевые адаптеры со скоростью 10+ Гбит/с, напротив, следует настроить на использование крупных кадров для достижения максимальной производительности. Для каждого маршрутизатора и коммутатора в сети требуется настроить одинаковое значение MTU (см. руководства по сетевому оборудованию), а также для сетевой карты каждого сервера, каждого объединенного интерфейса или интерфейса VLAN. По умолчанию для MTU установлено значение 1500.

Сетевые рекомендации для клиентов

В следующей таблице приведены максимальные показатели производительности сети, которые клиент может получить с указанным сетевым интерфейсом. Для клиентов рекомендуется использовать сетевое оборудование со скоростью передачи данных 10 Гбит/с между любыми двумя серверами кластера, а также свести к минимуму сетевую задержку, особенно при использовании твердотельных накопителей.

Максимальная производительность клиентской сети

Сетевой интерфейс хранилища	Макс. скорость ввода-вывода сервера	Макс. скорость ввода-вывода ВМ (репликация)	Макс. скорость ввода-вывода ВМ (избыточное кодирование)
1 Гбит/с	100 МБ/с	100 МБ/с	70 МБ/с
2 × 1 Гбит/с	~175 МБ/с	100 МБ/с	~130 МБ/с
3 × 1 Гбит/с	~250 МБ/с	100 МБ/с	~180 МБ/с
10 Гбит/с	1 ГБ/с	1 ГБ/с	700 МБ/с
2 × 10 Гбит/с	1,75 ГБ/с	1 ГБ/с	1,3 ГБ/с