Развертывание кластера хранилища данных

Создайте кластер хранилища данных на одном (первом) узле, затем заполните его дополнительными узлами.

Предупреждение

Не создавайте больше одного пространства имен на дисках NVMe, если используется область отказа "Диск", так как отказ одного физического диска NVMe приведет к одновременному отказу всех его логических дисков.

Ограничения

• Диску можно назначить роль, только если его размер превышает 1 ГиБ.

• Системному диску можно назначить дополнительную роль, только если его размер не меньше 100 ГиБ (~107 ГБ).

• Жесткие диски с черепичной магнитной записью (SMR) можно использовать только с ролью Хранилище и только в случае, если на сервере есть твердотельный диск с ролью Кэш.

• Нельзя использовать на одном уровне хранилища стандартные и SMR-диски.

• Нельзя одновременно назначить роли системным и несистемным дискам.

Предварительные требования

• Четкое понимание архитектуры кластера хранения данных и ролей дисков, которые разъясняются в разделе О кластере хранилища данных.

• Четкое понимание концепции Уровни хранения данных.

• Сети инфраструктуры должны быть настроены, как описано в разделе Настройка сетей.

• Сетевые интерфейсы узла должны быть настроены согласно указаниям в разделе Настройка сетевых интерфейсов серверов.

• Если поддерживается RDMA, этот режим должен быть включен, как описано в разделе Включение RDMA.

• Внешние DNS-серверы должны быть добавлены автоматически во время установки или настроены вручную, как описано в разделе Добавление внешних DNS-серверов.

• Все узлы должны отображаться в панели администрирования в разделе Инфраструктура → Серверы как имеющие состояние Без назначения.

Создание кластера хранилища на первом сервере

Панель администратора

1. Откройте экран Инфраструктура → Серверы и нажмите Создать кластер хранилища.

2. Введите имя для кластера. Имя может содержать только буквы латинского алфавита (a-z, A-Z), цифры (0–9) и дефисы (-).

3. [Необязательно] Чтобы настроить роли дисков или расположение сервера, нажмите значок шестерни.

   • Как настроить диски

     1. Выберите Диски.

     2. По умолчанию роли для дисков выбираются автоматически исходя из их характеристик (значения параметров дисков также выбираются автоматически). При необходимости можно изменить конфигурацию дисков по умолчанию, использовав следующие способы настройки дисков для получения требуемой конфигурации:

        Назначение ролей и задание значений параметров вручную

        • [Только для твердотельных накопителей] Как хранить кэш записи

          1. Выберите роль Кэш.

          2. Выберите уровень хранилища, который следует кэшировать.

          Примечание

          Для того чтобы диски использовали кэш, роль Кэш необходимо назначить до назначения роли Хранилище.

        • Как организовать хранение данных.

          1. Выберите роль Хранилище.

          2. Выберите уровень хранилища для размещения данных. Чтобы повысить эффективность избыточности данных, не назначайте все диски сервера на один и тот же уровень. Вместо этого убедитесь, что каждый из уровней равномерно распределен по кластеру и на каждом сервере ему назначено по одному диску.

          3. Настройте кэширование данных и проверку контрольных сумм:

             • Включить SSD-кэширование и проверку контрольных сумм. Доступно и рекомендуется только для серверов с твердотельными накопителями.

             • Включить проверку контрольных сумм. Рекомендуется для серверов с жесткими дисками, так как обеспечивает повышенную надежность. Выбрано по умолчанию для диска любого типа, кроме iSCSI.

             • Отключить. В среде оценки или тестирования можно отключить проверку контрольных сумм для серверов с жесткими дисками для повышения производительности. Не рекомендуется для производственной среды с жесткими дисками. Выбрано по умолчанию для диска типа iSCSI.

        • Как хранить метаданные кластера.

          Выберите роль Метаданные.

          Примечание

          Рекомендуется не больше одного сервиса метаданных на сервер и не больше пяти сервисов метаданных для кластера.

        • [Только для твердотельных накопителей] Как хранить метаданные и кэш записи

          1. Выберите роль Метаданные + Кэш.

          2. Выберите уровень хранилища, который следует кэшировать.

        Назначение роли большому количеству дисков

        1. Нажмите Действия с дисками и выберите Массовая настройка дисков.

        2. Выберите диски, которым требуется назначить одну и ту же роль, и нажмите Назначить роль.

        3. Выберите роль и при необходимости укажите дополнительные параметры.

        4. Нажмите Назначить.

        Автоматическое назначение ролей и указание значений параметров

        Нажмите Действия с дисками и выберите Автонастройка дисков, затем выберите один из профилей автонастройки.

        • С полной утилизацией. Один из дисков использовать для хранения метаданных. Из дисков HDD (CMR/PMR), SMR и iSCSI сформировать уровень хранения и включить кэширование, использовав в качестве кэша диски SSD или NVMe. Из оставшихся дисков NVMe сформировать уровень хранения.

        • По уровням. Один из дисков использовать для хранения метаданных. Сформировать из остальных дисков несколько уровней хранения: уровень из дисков HDD (CMR/PMR), SMR, iSCSI; уровень из дисков SSD; уровень из дисков NVMe.

        • С кэшем. Один из дисков использовать для хранения метаданных. Из дисков HDD (CMR/PMR), SMR и iSCSI сформировать уровень хранения и включить кэширование, использовав в качестве кэша диски SSD или NVMe. Оставшимся дискам не назначать никаких ролей.

        Сброс всех настроек дисков

        Нажмите Действия с дисками и выберите Очистить настройки.

     3. Проверьте итоговую конфигурацию и нажмите Применить.

        

   • Как настроить расположение серверов

     По умолчанию расположением серверов является Зал ЦОД → Ряд стоек → Стойка.

     1. Выберите Местоположение.

     2. Для создания комнаты нажмите Создать комнату в окне Переместить серверы. Укажите имя комнаты и нажмите Создать.

     3. Чтобы добавить новый ряд, щелкните по созданной комнате. Нажмите Создать ряд, введите имя ряда и нажмите Создать.

     4. Чтобы добавить новую стойку, щелкните по созданному ряду. Нажмите Создать стойку, введите имя стойки и нажмите Создать.

     5. Щелкните по созданной стойке и нажмите Переместить.

4. При необходимости включите шифрование.

5. Нажмите кнопку Создать.

Отслеживать создание кластера можно на экране Инфраструктура → Серверы. Создание может занять некоторое время в зависимости от количества настраиваемых дисков. Кластер будет создан после завершения настройки.

Интерфейс командной строки

Используйте следующую команду:

vinfra cluster create [--disk <disk>:<role>[:<key=value,…>]] [--tier-encryption {0,1,2,3}]
                      --node <node> <cluster-name>

--disk <disk>:<role>[:<key=value,…>]

Конфигурация диска в формате:

• <disk> — идентификатор или имя дискового устройства.

• <role> — роль диска (cs — "Хранилище", mds — "Метаданные", journal — "Кэш", mds-journal — "Метаданные + Кэш", mds-system — "Метаданные + Система", cs-system — "Хранилище + Система", system — "Система".

• разделенные запятыми пары key=value (необязательно):

  • tier — уровень диска (0, 1, 2 или 3). Можно использовать только при назначении диску роли "Хранилище" или "Хранилище + Система".

  • journal-tier — уровень хранения данных, для которого предназначен журнал (кэш) (0, 1, 2 или 3). Можно использовать только при назначении диску роли "Кэш" или "Метаданные + Кэш". По умолчанию журнал (кэш) может использоваться для любого уровня хранения данных.

  • journal-type — тип диска журнала (кэша) (no_cache — без кэша, inner_cache — внутренний кэш или external_cache — внешний кэш). Можно использовать только при назначении диску роли "Хранилище" или "Хранилище + Система".

  • journal-disk — идентификатор или имя устройства диска журнала (кэша). Можно использовать только при назначении диску роли "Хранилище" или "Хранилище + Система", для которого включено внешнее кэширование. По умолчанию диск для размещения кэша выбирается автоматически.

  • bind-address — IP-адрес привязки для сервиса метаданных.

Например: sda:cs:tier=0,journal-type=inner_cache.

Этот параметр можно указывать несколько раз.

--tier-encryption {0,1,2,3}

Включение шифрования для определенных уровней кластера хранилища. По умолчанию шифрование отключено. Этот параметр можно указывать несколько раз.

--node <node>

Идентификатор сервера или имя хоста.

<cluster-name>

Имя кластера хранилища данных.

Например, чтобы создать кластер хранилища stor1 на сервере node001, выполните:

# vinfra cluster create stor1 --node node001

Поскольку роли дисков не указаны явно, они назначаются автоматически: mds-system для системного диска и cs для всех остальных дисков.

Просмотреть сведения о кластере хранилища можно в выводе команды vinfra cluster show:

# vinfra cluster show
+-------+--------------------------------------------+
| Field | Value                                      |
+-------+--------------------------------------------+
| id    | 1                                          |
| name  | stor1                                      |
| nodes | - host: node001.vstoragedomain             |
|       |   id: f59dabdb-bd1c-4944-8af2-26b8fe9ff8d4 |
|       |   is_installing: false                     |
|       |   is_releasing: false                      |
+-------+--------------------------------------------+

Для удаления кластера хранилища используйте команду vinfra cluster delete.

Добавление серверов в кластер

Панель администратора

1. На экране Инфраструктура → Серверы щелкните по неназначенному серверу.

2. На правой панели сервера нажмите Присоединить к кластеру.

3. Нажмите Присоединить, чтобы автоматически назначить роли дискам и добавить сервер в текущее расположение. Вместо этого можно нажать значок шестерни, чтобы вручную настроить роли дисков или расположение сервера.

   При настройке дисков вручную можно скопировать конфигурацию дисков с соседнего сервера, нажав Скопировать конфигурацию от и выбрав исходный сервер. Конфигурация будет применена, если у исходного сервера и целевого сервера наборы дисков совпадают или похожи по характеристикам.

Интерфейс командной строки

Используйте следующую команду:

vinfra node join [--disk <disk>:<role>[:<key=value,…>]] <node>

--disk <disk>:<role>[:<key=value,…>]

Конфигурация диска в формате:

• <disk> — идентификатор или имя дискового устройства.

• <role> — роль диска (cs — "Хранилище", mds — "Метаданные", journal — "Кэш", mds-journal — "Метаданные + Кэш", mds-system — "Метаданные + Система", cs-system — "Хранилище + Система", system — "Система".

• разделенные запятыми пары key=value (необязательно):

  • tier — уровень диска (0, 1, 2 или 3). Можно использовать только при назначении диску роли "Хранилище" или "Хранилище + Система".

  • journal-tier — уровень хранения данных, для которого предназначен журнал (кэш) (0, 1, 2 или 3). Можно использовать только при назначении диску роли "Кэш" или "Метаданные + Кэш". По умолчанию журнал (кэш) может использоваться для любого уровня хранения данных.

  • journal-type — тип диска журнала (кэша) (no_cache — без кэша, inner_cache — внутренний кэш или external_cache — внешний кэш). Можно использовать только при назначении диску роли "Хранилище" или "Хранилище + Система".

  • journal-disk — идентификатор или имя устройства диска журнала (кэша). Можно использовать только при назначении диску роли "Хранилище" или "Хранилище + Система", для которого включено внешнее кэширование. По умолчанию диск для размещения кэша выбирается автоматически.

  • bind-address — IP-адрес привязки для сервиса метаданных.

Например: sda:cs:tier=0,journal-type=inner_cache.

Этот параметр можно указывать несколько раз.

<node>

Идентификатор сервера или имя хоста.

Например, чтобы добавить сервер node002 в кластер хранилища и назначить дискам роли (mds-system для sda, cs для sdb и sdc), выполните:

# vinfra node join f59dabdb-bd1c-4944-8af2-26b8fe9ff8d4 --disk sda:mds-system \
--disk sdb:cs --disk sdc:cs

Добавленный сервер появится в выводе команды vinfra node list:

# vinfra node list
+--------------+--------------+------------+-----------+-------------+----------+
| id           | host         | is_primary | is_online | is_assigned | is_in_ha |
+--------------+--------------+------------+-----------+-------------+----------+
| 09bb6b8<...> | node001<...> | True       | True      | True        | False    |
| 187edb1<...> | node002<...> | False      | True      | True        | False    |
+--------------+--------------+------------+-----------+-------------+----------+

Что дальше

• Включение высокой доступности сервера управления

• Подготовка пространства для хранилища резервных копий к работе

• Подготовка пространства для хранилища объектов

• Подготовка пространства для блочного хранилища к работе

• Подготовка пространства для файлового хранилища

• Подготовка вычислительных ресурсов к работе

См. также

• Масштабирование кластера хранилища

• Мониторинг кластера хранилища данных