← Все статьи

Шесть из восьми критических алертов были про сервис, который мы уже выключили

Blackbox-пробы выведенного из эксплуатации продового кластера почти месяц продолжали срабатывать. Пробы жили в конфиге другого кластера, а вывод из эксплуатации почистил только свою папку.

Во время ревью покрытия мониторингом я посмотрел на список активных критических алертов. Их было восемь. Шесть из них — ProbeFailed, HttpStatusCode_2XX, HttpStatusCode_4XX — указывали на публичные endpoint’ы продового кластера, который вывели из эксплуатации несколько недель назад.

Срабатывали они почти месяц. И ещё флапали: startsAt сбрасывался по нескольку раз в день, поэтому алерты снова и снова приходили в канал. Люди привыкли пролистывать их не глядя. В этом и есть настоящая цена шума: следующий реальный критический алерт попадёт в канал, который все игнорируют.

Почему больше ничего на это не намекало

Выведенный кластер не присылал ни одного ряда. Ни алертов по нодам, ни по подам, ничего на дашбордах самого кластера. Говорили только пробы, потому что работали они не в этом кластере.

Манифесты кластера перенесли в папку _old/ в GitOps-репозитории. А blackbox-джобы, которые пробуют его домены, жили в конфиге vmagent другого кластера: staging-кластер проверяет продовый edge снаружи, и это хорошая схема. Вывод из эксплуатации тронул только продовую папку, и пробы пережили сервис.

Убедиться, что сервис мёртв, не веря метрикам

Падающая проба говорит «недоступен». Она не говорит «выведен из эксплуатации». Прежде чем что-то удалять, я подтвердил это с трёх независимых сторон: apex в DNS пустой, API молчит, владелец подтвердил выключение.

Но один полезный факт метрики всё же дают: была ли проба хоть раз успешной за время хранения.

max_over_time((timestamp(probe_success{instance=~".*<domain>.*"} == 1))[30d:10m])

Пустой результат — ни одной успешной пробы за 30 дней.

Удалять аккуратно

  1. Найти все определения. Я поискал по GitOps-репозиторию домен и имена джоб, игнорируя _old/ и закомментированные копии.
  2. Оценить blast radius. Правила алертов были общими (probe_success == 0). Ни один дашборд или правило не ссылались на эти джобы, так что удаление рядов закроет алерты и больше ничего не сломает.
  3. Удалить только мёртвое. Два мёртвых таргета и одну джобу, в которой были только мёртвые таргеты. Живые таргеты и общее имя джобы остались.
  4. Коммитить с оптимистичной блокировкой. Через GitLab API с last_commit_id: коммит будет отклонён, если кто-то поменял файл после того, как я его прочитал.

Проверять данными, а не статусом

Synced в Argo CD значит только, что ConfigMap совпадает с git. Перечитал ли её vmagent — отдельный вопрос. Поэтому я проверил возраст сэмплов:

time() - timestamp(up{job="<job>"})          # у оставшихся таргетов сбрасывается каждый скрейп
count(up{instance=~".*<domain>.*"})          # удалённые пропадают после окна lookback

Ряды уходят из мгновенных запросов только после окна устаревания, около пяти минут, поэтому алерты закрылись с такой задержкой. Активных алертов стало 43 вместо 52, критических — 4 вместо 8.

Откат — один git revert, и Argo CD вернул бы джобы.

Выводы

  • Мониторинг сервиса часто живёт вне сервиса. Добавьте в чек-лист вывода из эксплуатации шаг: поискать домены сервиса по всему GitOps-репозиторию — пробы, egress allow-list’ы, DNS-записи.
  • Шум не безобиден. Канал, полный заведомо ложных критических алертов, приучает игнорировать критические алерты.
  • На вопрос «он мёртв?» отвечают DNS, API и владелец, а не падающая проба.
  • Synced — про git, а не про работающий процесс. Проверяйте по возрасту сэмплов.