Создание хранилища резервных копий в публичном облаке

Создание хранилища резервных копий в публичном облаке#

Backup Gateway позволяет Кибер Бэкап Облачный или Кибер Бэкап использовать для хранения резервных копий публичные облачные сервисы и локальные хранилища объектов:

Yandex Object Storage;
VK Cloud Storage;
SberCloud OBS;
CloudMTS S3 Object Storage;
Amazon S3;
IBM Cloud;
Alibaba Cloud;
IIJ;
Cleversafe;
Cloudian;
Microsoft Azure;
Объектное хранилище Swift;
Softlayer (Swift);
Google Cloud Platform;
Wasabi;
другие решения, использующие S3.

Однако по сравнению с локальными кластерами хранение данных резервных копий в публичном облаке увеличивает время задержки всех запросов ввода-вывода к резервным копиям и снижает производительность. По этой причине рекомендуется использовать в качестве внутреннего хранилища локальный кластер.

Резервные копии представляют собой холодные данные со специфической схемой доступа: к этим данным обращаются редко, но они должны быть немедленно доступны при обращении. Для этого сценария экономичным вариантом будут классы хранилищ, предназначенные для долгосрочного хранения редко используемых данных. Рекомендуются следующие классы хранилищ:

Ice в Yandex Object Storage;
Cold в SberCloud OBS;
Infrequent Access в Amazon S3;
Cool Blob Storage в Microsoft Azure;
Nearline и Coldline Storage в Google Cloud Platform.

Классы архивных хранилищ, такие как Amazon S3 Glacier, Azure Archive Blob или Google Archive, не могут использоваться для резервного копирования, поскольку не предоставляют мгновенного доступа к данным.

Большая задержка при доступе (несколько часов) делает технически невозможным просмотр архивов, быстрое восстановление данных и создание инкрементных резервных копий. Хотя архивные хранилища, как правило, очень экономичны, следует учитывать, что существуют различные факторы, определяющие стоимость. В действительности общая стоимость публичного облачного хранилища складывается из платы за хранение данных, операции, трафик, извлечение данных, досрочное удаление и т. д. Например, сервис архивного хранилища может брать полугодовую стоимость хранения всего за одну операцию восстановления данных. Если предполагается более частый доступ к данным, то добавочные расходы значительно повышают общую стоимость хранилища. Чтобы избежать низкой скорости извлечения данных и сократить расходы, рекомендуем использовать Кибер Бэкап Облачный для хранения данных резервного копирования.

Ограничения

Избыточность за счет репликации не поддерживается для хранилищ резервных копий.

Предварительные требования

В целевом хранилище достаточно места как для существующих, так и для новых резервных копий.
Убедитесь, что на каждом сервере, который будет присоединен к кластеру хранилища резервных копий, открыт TCP-порт 44445 для исходящих подключений к Интернету, а также для входящих подключений от продукта Кибер Бэкап.

Выбор публичного облака в качестве места назначения резервных копий

Панель администратора

На экране Инфраструктура → Сети убедитесь, что в сети, которые вы собираетесь использовать, добавлены типы трафика Резервное копирование (ABGW) внутр. и Резервное копирование (ABGW) внешн.
Откройте экран Сервисы хранилища → Резервные копии и нажмите Создать хранилище резервных копий.
На шаге Место назначения резервной копии выберите Облачный сервис.
На шаге Серверы выберите серверы, которые нужно добавить в кластер хранилища резервных копий, и нажмите Далее.
На шаге Облачный сервис укажите информацию, связанную с поставщиком облачного сервиса.
1. Выберите поставщика облачного сервиса. Если ваш сервис совместим с S3, но отсутствует в списке, попробуйте AuthV2-совместимый (S3) или AuthV4-совместимый (S3) сервис.
2. В зависимости от поставщика укажите Регион, URL аутентификации (Keystone) или URL точки доступа.
3. При использовании объектного хранилища Swift укажите версию протокола аутентификации и необходимые для него атрибуты.
4. Укажите учетные данные пользователя. При использовании Google Cloud выберите файл JSON с ключами для загрузки.
5. Укажите папку (корзину, контейнер) для хранения резервных копий. Папка должна быть доступна для записи.
6. Для объектного хранилища типа AuthV4-совместимый (S3) укажите, какую модель адресации необходимо использовать для доступа.
  - Virtual-hosted style URLs. Адреса вида https://mybucket.s3.example.com/myobject.txt. Предназначена для облачных S3-хранилищ.
  - Path-style URLs. Адреса вида https://s3.example.com/mybucket/myobject.txt. Предназначена для локальных S3-хранилищ.
  Модель Virtual-hosted style URLs используется по умолчанию. Для использования модели Path-style URLs установите флажок Использовать адресацию path-style.
7. Нажмите кнопку Далее.
На шаге Политика хранения выберите нужный уровень, область отказа и режим избыточности данных. Затем нажмите кнопку Далее.
На шаге DNS укажите внешнее доменное имя для хранилища резервных копий, например backupstorage.example.com. Агенты резервного копирования будут использовать это доменное имя и TCP-порт 44445 для передачи данных в хранилище. Затем нажмите кнопку Далее.
Важно
- Настройте свой DNS-сервер в соответствии с примером, приведенным в панели администратора.
- При каждом изменении сетевой конфигурации серверов в кластере хранилища резервных копий корректируйте записи DNS соответствующим образом.
Примечание

В сложных средах можно использовать HAProxy для создания масштабируемой избыточной платформы балансировки нагрузки, которую можно легко перемещать или переносить, независимо от продукта Кибер Инфраструктура. Дополнительные сведения см. в статье Как запустить хранилище за HAProxy.
На шаге Учетная запись Киберпротект укажите следующую информацию для вашего продукта:
- URL-адрес портала управления облаком или имя хоста/IP-адрес и порт локального сервера управления (например, http://192.168.1.2:9877);
- данные партнерской учетной записи в облаке или учетные данные администратора организации на локальном сервере управления.
На шаге Сводка просмотрите конфигурацию и нажмите Создать.

Интерфейс командной строки

Используйте следующую команду:

vinfra service backup cluster create --nodes <nodes> --domain <domain>
                                     --reg-account <reg-account>
                                     --reg-server <reg-server>
                                     --tier {0,1,2,3} --encoding <M>+<N>
                                     --failure-domain {0,1,2,3,4}
                                     --storage-type {s3,swift,azure,google}
                                     [--s3-flavor <flavor>]
                                     [--s3-region <region>]
                                     [--s3-bucket <bucket>]
                                     [--s3-endpoint <endpoint>]
                                     [--s3-access-key-id <access-key-id>]
                                     [--s3-secret-key-id <secret-key-id>]
                                     [--s3-cert-verify <cert-verify>]
                                     [--swift-auth-url <auth-url>]
                                     [--swift-auth-version <auth-version>]
                                     [--swift-user-name <user-name>]
                                     [--swift-api-key <api-key>]
                                     [--swift-domain <domain>]
                                     [--swift-domain-id <domain-id>]
                                     [--swift-tenant <tenant>]
                                     [--swift-tenant-id <tenant-id>]
                                     [--swift-tenant-domain <tenant-domain>]
                                     [--swift-tenant-domain-id <tenant-domain-id>]
                                     [--swift-trust-id <trust-id>]
                                     [--swift-region <region>]
                                     [--swift-internal <internal>]
                                     [--swift-container <container>]
                                     [--swift-cert-verify <cert-verify>]
                                     [--azure-endpoint <endpoint>]
                                     [--azure-container <container>]
                                     [--azure-account-name <account-name>]
                                     [--azure-account-key <account-key>]
                                     [--google-bucket <bucket>]
                                     [--google-credentials <credentials>] [--stdin]

--nodes <nodes>: Список имен хостов или идентификаторов серверов через запятую.
--domain <domain>: Имя домена для кластера хранилища резервных копий.
--reg-account <reg-account>: Партнерская учетная запись в облаке или учетная запись администратора организации на локальном сервере управления.
--reg-server <reg-server>: URL-адрес портала управления облаком или имя хоста/IP-адрес и порт локального сервера управления.
--storage-type {s3,swift,azure,google}: Тип хранилища.
--stdin: Используется для настройки пароля регистрации из stdin.

Параметры хранилища типа s3:

--s3-flavor <flavor> (необязательно): Имя типа ВМ.
--s3-region <region> (необязательно): Задайте регион для Amazon S3.
--s3-bucket <bucket>: Имя корзины.
--s3-endpoint <endpoint>: URL-адрес оконечной точки.
--s3-access-key-id <access-key-id>: Идентификатор ключа доступа.
--s3-secret-key-id <secret-key-id>: Идентификатор секретного ключа.
--s3-cert-verify <cert-verify> (необязательно): Разрешить самозаверяющий сертификат оконечной точки S3.

Параметры хранилища типа swift:

--swift-auth-url <auth-url>: URL аутентификации (Keystone).
--swift-auth-version <auth-version> (необязательно): Версия протокола проверки подлинности.
--swift-user-name <user-name>: Имя пользователя.
--swift-api-key <api-key>: Ключ API (пароль).
--swift-domain <domain> (необязательно): Имя домена.
--swift-domain-id <domain-id> (необязательно): Идентификатор домена.
--swift-tenant <tenant> (необязательно): Имя тенанта.
--swift-tenant-id <tenant-id> (необязательно): Идентификатор тенанта.
--swift-tenant-domain <tenant-domain> (необязательно): Имя домена тенанта.
--swift-tenant-domain-id <tenant-domain-id> (необязательно): Идентификатор домена тенанта.
--swift-trust-id <trust-id> (необязательно): Идентификатор Trust.
--swift-region <region> (необязательно): Имя региона.
--swift-container <container> (необязательно): Имя контейнера.
--swift-cert-verify <cert-verify> (необязательно): Разрешить самозаверяющий сертификат оконечной точки Swift (true или false).

Параметры хранилища типа azure:

--azure-endpoint <endpoint>: URL-адрес оконечной точки.
--azure-container <container>: Имя контейнера.
--azure-account-name <account-name>: Имя учетной записи.
--azure-account-key <account-key>: Ключ учетной записи.

Параметры хранилища типа google:

--google-bucket <bucket>: Имя корзины Google.
--google-credentials <credentials>: Путь к файлу с учетными данными Google.

Например, чтобы создать кластер хранилища резервного копирования, который будет состоять из трех серверов и использовать хранилище типа S3, выполните:

# vinfra service backup cluster create --nodes node001,node002,node003
--storage-type s3 --domain dns.example.com \
--tier 0 --encoding 1+2 --failure-domain host --s3-bucket mybucket --s3-endpoint s3.amazonaws.com \
--s3-access-key-id e302a06df8adbe9fAIF1 --s3-secret-key-id x1gXquRHQXuyiUJQoQMoAohA2TkYHer20o8tfPX7 \
--s3-cert-verify true --reg-account account@example.com --reg-server https://cloud.example.com/ --stdin

Эта команда также задает доменное имя, уровень хранилища, область отказа, регистрационную учетную запись, URL-адрес портала и необходимые параметры S3.

Просмотреть подробную информацию о кластере хранилища резервных копий можно в выводе команды vinfra service backup cluster show:

# vinfra service backup cluster show
+----------------+---------------------------------------------------------+
| Field          | Value                                                   |
+----------------+---------------------------------------------------------+
| abgw_address   | dns.example.com                                         |
| account_server | https://cloud.example.com                               |
| dc_uid         | 44893a40296ecd9ae64567297a5b2b07-1577203369             |
| migration      | dns: null                                               |
|                | ips: []                                                 |
|                | running: false                                          |
|                | time_left: 0.0                                          |
| reg_type       | abc                                                     |
| storage_params | access_key_id: e302a06df8adbe9fAIF1                     |
|                | bucket: mybucket                                        |
|                | cert_verify: true                                       |
|                | endpoint: s3.amazonaws.com                              |
|                | flavour: null                                           |
|                | region: null                                            |
|                | secret_key_id: x1gXquRHQXuyiUJQoQMoAohA2TkYHer20o8tfPX7 |
| storage_type   | s3                                                      |
+----------------+---------------------------------------------------------+

Что дальше

Добавление хранилищ резервных копий в Кибер Бэкап и Кибер Бэкап Облачный