Метрик нет четыре часа: кластер жив, данные застряли в очереди
Для здорового продового кластера сработали три критических ServiceAbsent. Деградировавший сетевой путь превратил remote-write в FIFO-очередь. Главным решением было не рестартовать агент.
Для продового кластера сработали три критических ServiceAbsent. В центральной VictoriaMetrics мгновенные запросы по этому кластеру не возвращали ничего. Все остальные алерты по нему замолчали: правило вида errors > threshold считает пустой ряд отсутствием проблемы.
По дашбордам кластер выглядел мёртвым. Мёртвым он не был.
Сначала продукт, потом метрики
Первым шагом я посмотрел на сам сервис, а не на его телеметрию. Публичные endpoint’ы отвечали 200, все ноды были Ready. Авария была только в наблюдаемости. Это поменяло приоритет: с пользователями всё в порядке, значит, есть время разобраться, а не реагировать.
Спрашивать агент, а не центральную базу
В каждом кластере работает vmagent: скрейпит локально и по сети пишет через remote-write в центральную VictoriaMetrics у другого провайдера. Когда центральная сторона пуста, причину рассказывают метрики самого агента:
curl -s localhost:8429/metrics | grep -E \
'^vmagent_remotewrite_(pending_data_bytes|requests_total|send_duration_seconds_total|packets_dropped_total)'
pending_data_bytesрос: персистентная очередь дошла до 1,1 ГБ.- Секунды на запрос (Δ
send_duration/ Δrequests) выросли с 0,46 до 6,6. - Потерь — ноль, все ответы 2XX.
Ничего не падало. Каждый запрос проходил успешно, просто медленно, и пропускная способность опустилась ниже темпа поступления данных. Очередь работает по FIFO, поэтому центральная база получала всё более старые данные. «Сейчас» оставалось пустым около четырёх часов, хотя ни один сэмпл не потерялся.
Контрольная группа вместо догадки
Чтобы найти медленный участок пути, я сравнил похожие пути. Другой облачный аккаунт в том же регионе деградировал точно так же. Кластеры внутри провайдера центральной базы — нет. Второй remote-write-таргет внутри облака оставался быстрым. Значит, тормозил канал между облачным регионом и другим провайдером, а не vmagent и не центральная база.
Одну ложную зацепку стоит упомянуть. В ту же минуту, когда канал восстановился, на центральной стороне появились новые ноды. Это корреляция, а не причина: трафик через эти ноды вообще не шёл.
Решение — бездействие
Очевидным ходом было рестартовать vmagent. И худшим тоже. Очередь лежала в emptyDir. Рестарт контейнера в том же поде она переживает, а рестарт или переезд пода её удаляет — вместе с четырьмя часами метрик.
Поэтому я дождался восстановления канала и смотрел, как рассасывается очередь. После этого проверил непрерывность рядов за всё окно:
count(up{cluster="<c>"}) # range-запрос, шаг 15m: нет пустых шагов — нет дыры
Очередь опустела примерно через четыре часа, алерты закрылись, дыр — ноль.
Маленькая ловушка в моих же инструментах
Мой скрипт наблюдения напечатал pending=0 и «очередь пуста», когда в ней ещё лежало 790 МиБ. Скрейп отвалился по таймауту, переменная осталась пустой, а printf %d превратил пустоту в ноль. Скрипт обязан отличать «не смог измерить» от «0».
Выводы
absent()не отличает «мёртв» от «опаздывает». Добавьте к нему алерт на очередь агента (растут pending bytes, растут секунды на запрос), чтобы у настоящей причины было имя в первые пять минут.- Молчащий дашборд — не зелёный дашборд. Правила без
absent()слепы, пока данных нет. - Прежде чем что-то рестартовать, узнайте, где живёт буфер. Очередь remote-write в
emptyDirпропадает вместе с подом. Если канал известен как нестабильный, используйте PVC. - Используйте контрольную группу. Сравнение похожих путей превращает «сеть тормозит» в один конкретный канал.