Алерт на диск работал. А его пороги всё равно означали 19 дней тишины
Том базы данных был заполнен на 64% и рос на 3,4 ГиБ в день, а команда ничего не слышала. Каждое звено цепочки алертинга было здоровым. Дефект был в расстоянии между порогами.
Коллега сказал мне, что алерт на свободное место в базе «не срабатывает». Том управляемого Postgres-кластера был заполнен на 64%, рос примерно на 3,4 ГиБ в день, автомасштабирование хранилища было выключено. Новых сигналов об этом не получал никто.
Я ожидал найти где-то сломанное звено. Не нашёл.
Пройти цепочку звено за звеном
Когда алерт «не срабатывает», сломаться он может в пяти местах. Я проверил каждое:
- Метрика. Ряд экспортера CloudWatch со свободным местом был свежим.
- Выражение. Запущенное вручную по хранилищу метрик, оно вернуло ожидаемое значение.
- Правило. Правило на 50% было в состоянии
firingв vmalert. - Маршрут. Alertmanager отправлял алерты этого кластера в канал команды. Ни фильтра по severity, ни inhibit-правила, которое могло бы его проглотить, не было.
- Доставка. Уведомление на 50% пришло. Один раз.
Всё работало. Проблема была не в цепочке, а в раскладке.
Арифметика тишины
Пороги стояли на 50 / 75 / 90%. После разового пинга на 50% следующий порог был в 25 пунктах. На томе в 256 ГиБ при росте 3,4 ГиБ в день это примерно 19 дней без единого сигнала, пока диск продолжает заполняться. Был ещё и 7-дневный прогноз predict_linear, но он просыпается только в последнюю неделю перед заполнением.
Правила были корректными, а у команды всё равно были недели тишины. Ощущение «алерт не срабатывает» было верным, хотя диагноз за ним — нет.
Формулу легко проверить для любого алерта на ёмкость:
дни тишины = (расстояние между порогами в %) × размер / прирост в день
Если это число больше времени, которое нужно, чтобы отреагировать (увеличить том, почистить, настроить retention), раскладка неправильная, даже если каждое правило корректно.
Исправление
Новые пороги: 60 (info) / 70 (warning) / 80 (warning) / 90 (critical), абсолютное правило «осталось меньше 2 ГиБ» — без изменений. При текущем приросте шаг в 10 пунктов даёт пинг примерно раз в семь дней.
Перед пушем я прогнал каждое новое выражение по живым данным. Как и ожидалось, совпал только порог 60%. Дальше обычный GitOps-путь: репозиторий правил, синк в Argo CD, reload vmalert. Reload ненадолго заблокировал просроченный клиентский сертификат администратора в моём kubeconfig — маленькое напоминание следить за сроками доступов, на которых держатся ваши runbook’и. После этого все правила были health=ok, а порог 60% сразу перешёл в pending.
Оговорки
- Процент считается от зашитых 256 ГиБ, потому что у экспортера нет метрики выделенного размера. После любого увеличения тома константу надо обновить.
- Алертинг не останавливает рост. Увеличение тома или работа над retention всё равно за нами.
Выводы
- Проверяйте расстояние между порогами против скорости роста, а не только корректность правила. Расстояние, делённое на суточный прирост, — это число дней, когда команда ничего не слышит.
- 7-дневный
predict_linear— будильник на последнюю неделю, а не планирование ёмкости. - Когда говорят «алерт не срабатывает», пройдите всю цепочку. Метрика, выражение, состояние правила, маршрут, доставка. Иногда каждое звено в порядке, а баг — в самом замысле.