Настройка политики хранения для метрик Prometheus

Настройка политики хранения для метрик Prometheus#

Сервис Prometheus, который используется для мониторинга кластера, работает и хранит данные на сервере управления. По умолчанию метрики Prometheus хранятся в течение семи дней. Этого срока хранения может быть недостаточно для поиска и устранения неисправностей. Срок можно увеличить в файле конфигурации Prometheus.

Однако при длительном сроке хранения может закончиться свободное пространство на корневом разделе, где хранятся данные. Во избежание этого можно указать максимальный размер для метрик Prometheus. Сначала будут удаляться самые старые данные.

Важное примечание

В продукте Кибер Инфраструктура версии 6.5 изменился способ настройки пользовательских параметров для службы Prometheus. До версии 6.5 пользовательские параметры можно было указывать с помощью переменных в файле /etc/sysconfig/prometheus, которые затем использовались в файле /usr/lib/systemd/system/prometheus.service для запуска службы, например:

# /etc/sysconfig/prometheus
<...>
STORAGE_RETENTION="--storage.tsdb.retention.time=30d"
<...>

# /usr/lib/systemd/system/prometheus.service
<...>
ExecStart=/usr/bin/prometheus \
<...>
        $STORAGE_RETENTION \
<...>

Начиная с версии 6.5, пользовательские параметры для службы Prometheus необходимо указывать в переменной ARGS файла /etc/default/prometheus, которая затем используется в файле /usr/lib/systemd/system/prometheus.service для запуска службы, например:

# /etc/default/prometheus
ARGS='<...> --storage.tsdb.retention.time=30d <...>'

# /usr/lib/systemd/system/prometheus.service
<...>
ExecStart=/usr/bin/prometheus $ARGS
<...>

При обновлении до версии 6.5 пользовательские переменные не переносятся автоматически. Если они заданы, перед обновлением их необходимо сохранить и задать повторно после обновления, использовав новый способ.

Увеличение срока хранения

  1. На сервере управления откройте для редактирования файл /etc/default/prometheus, в переменной ARGS задайте нужный срок хранения и сохраните изменения, например:

    ARGS='<...> --storage.tsdb.retention.time=30d <...>'

  2. Перезапустите службу Prometheus:

    systemctl restart prometheus

Если для сервера управления включена высокая доступность, повторите эти шаги на остальных серверах управления.

Изменение политики хранения по времени на политику хранения по размеру

  1. На сервере управления откройте для редактирования файл /etc/default/prometheus, в переменной ARGS замените --storage.tsdb.retention.time на --storage.tsdb.retention.size, задайте требуемое ограничение размера и сохраните изменения, например:

    ARGS='<...> --storage.tsdb.retention.size=10GB <...>'

  2. Перезапустите службу Prometheus:

    systemctl restart prometheus

Если для сервера управления включена высокая доступность, повторите эти шаги на остальных серверах управления.

См. также