Kafka
Kafka в продакшене: лаг консьюмеров, ребалансы, retention и место на дисках.
4 статей
- Ребаланс-шторм оказался обычным деплоем: порог, который растёт вместе с группойАлерт на ребалансы Kafka горел на 60 в час при каждом релизе. Метрика суммировалась по 40 консьюмерам и усреднялась по скользящему часу — алерт описывал прошлое.
- Kafka на 94 % диска, 17 часов в запасе и retention, который хранил вдвое большеТрафик вырос в 150 раз, а тома никто не пересматривал. Хуже того, при дефолтном роллинге сегментов retention в 7 дней на деле означал 7–14. Как мы выиграли время и устранили причину.
- Лаг упал в ноль, а ничего не починилось: зависший Kafka-консьюмер, спрятанный переименованием group.idЛаг консьюмера рос пять дней, потом упал в ноль и там остался. Выглядело как «само рассосалось». На деле консьюмер завис, метрика исчезла, а алерт зарезолвился сам.
- Смержено, засинкано, смонтировано — и всё равно не алертит: vmalert без hot reloadНовые правила для Kafka прошли через Git и Argo CD в ConfigMap, но vmalert их так и не начал оценивать. GitOps-конвейер оборвался на последнем шаге.