← Все статьи

Алерт на диск работал. А его пороги всё равно означали 19 дней тишины

Том базы данных был заполнен на 64% и рос на 3,4 ГиБ в день, а команда ничего не слышала. Каждое звено цепочки алертинга было здоровым. Дефект был в расстоянии между порогами.

Коллега сказал мне, что алерт на свободное место в базе «не срабатывает». Том управляемого Postgres-кластера был заполнен на 64%, рос примерно на 3,4 ГиБ в день, автомасштабирование хранилища было выключено. Новых сигналов об этом не получал никто.

Я ожидал найти где-то сломанное звено. Не нашёл.

Пройти цепочку звено за звеном

Когда алерт «не срабатывает», сломаться он может в пяти местах. Я проверил каждое:

  1. Метрика. Ряд экспортера CloudWatch со свободным местом был свежим.
  2. Выражение. Запущенное вручную по хранилищу метрик, оно вернуло ожидаемое значение.
  3. Правило. Правило на 50% было в состоянии firing в vmalert.
  4. Маршрут. Alertmanager отправлял алерты этого кластера в канал команды. Ни фильтра по severity, ни inhibit-правила, которое могло бы его проглотить, не было.
  5. Доставка. Уведомление на 50% пришло. Один раз.

Всё работало. Проблема была не в цепочке, а в раскладке.

Арифметика тишины

Пороги стояли на 50 / 75 / 90%. После разового пинга на 50% следующий порог был в 25 пунктах. На томе в 256 ГиБ при росте 3,4 ГиБ в день это примерно 19 дней без единого сигнала, пока диск продолжает заполняться. Был ещё и 7-дневный прогноз predict_linear, но он просыпается только в последнюю неделю перед заполнением.

Правила были корректными, а у команды всё равно были недели тишины. Ощущение «алерт не срабатывает» было верным, хотя диагноз за ним — нет.

Формулу легко проверить для любого алерта на ёмкость:

дни тишины = (расстояние между порогами в %) × размер / прирост в день

Если это число больше времени, которое нужно, чтобы отреагировать (увеличить том, почистить, настроить retention), раскладка неправильная, даже если каждое правило корректно.

Исправление

Новые пороги: 60 (info) / 70 (warning) / 80 (warning) / 90 (critical), абсолютное правило «осталось меньше 2 ГиБ» — без изменений. При текущем приросте шаг в 10 пунктов даёт пинг примерно раз в семь дней.

Перед пушем я прогнал каждое новое выражение по живым данным. Как и ожидалось, совпал только порог 60%. Дальше обычный GitOps-путь: репозиторий правил, синк в Argo CD, reload vmalert. Reload ненадолго заблокировал просроченный клиентский сертификат администратора в моём kubeconfig — маленькое напоминание следить за сроками доступов, на которых держатся ваши runbook’и. После этого все правила были health=ok, а порог 60% сразу перешёл в pending.

Оговорки

  • Процент считается от зашитых 256 ГиБ, потому что у экспортера нет метрики выделенного размера. После любого увеличения тома константу надо обновить.
  • Алертинг не останавливает рост. Увеличение тома или работа над retention всё равно за нами.

Выводы

  • Проверяйте расстояние между порогами против скорости роста, а не только корректность правила. Расстояние, делённое на суточный прирост, — это число дней, когда команда ничего не слышит.
  • 7-дневный predict_linear — будильник на последнюю неделю, а не планирование ёмкости.
  • Когда говорят «алерт не срабатывает», пройдите всю цепочку. Метрика, выражение, состояние правила, маршрут, доставка. Иногда каждое звено в порядке, а баг — в самом замысле.