30-секундный сетевой блип и семь минут без метаданных Kafka: шторм перевыборов KRaft
Ни один брокер не перезапустился, а бэкенды тонули в NotLeaderForPartition и ребалансах. Дефолтные таймауты кворума KRaft в пять раз короче времени на установку соединения, и один реконнект превращается в самоподдерживающуюся петлю выборов.
Однажды вечером бэкенды продакшен-платформы начали массово сыпать ошибками: NotLeaderForPartitionError, NotControllerException, Heartbeat session expired, консьюмер-группы ребалансились раз за разом. У подов Kafka — RESTARTS 0. Внешние 5xx почти не выросли: сломалась событийная шина, а не HTTP. Через семь минут всё восстановилось само.
«Само прошло» — это не фикс. Вопрос был не в том, как остановить шторм, а в том, почему короткий сетевой блип превратился в семь минут недоступности.
Что делали контроллеры
В логах брокеров — десятки Completed transition to CandidateState с растущей эпохой: 52 эпохи за 100 секунд. Пока кворум не собран, контроллер не принимает записи метаданных — не выбираются лидеры партиций, не меняется ISR. Продюсеры и консьюмеры партиций, чей лидер был на задетой ноде, просто встают.
Первый вопрос — кто был изолирован. Не верьте voteStates={0=UNRECORDED, ...}: UNRECORDED значит лишь «голос не получен», и для кандидата, уже проголосовавшего за себя, это нормально. Считать надо принятые vote-запросы по контроллерам. У двух было около 20, у третьего — 2. Отрезан был ровно один узел, а не все три.
Выбрали — и потеряли
Самое интересное: лидеры выбирались, причём многократно. Один цикл целиком:
20:54:39.429 c0 Completed transition to CandidateState(epoch=5879)
20:54:39.457 c0 Completed transition to Leader(localId=0, epoch=5879) ← лидер за 28 мс
20:54:39.474 c2 FollowerState(fetchTimeoutMs=2000, leaderId=0)
20:54:41.468 c2 Become candidate due to fetch timeout ← через 1994 мс
20:54:42.453 c0 Completed transition to ResignedState(epoch=5879)
А рядом — причина, по которой фолловер не успел:
c2 Disconnecting from node 0 due to socket connection setup timeout. The timeout value is 11429 ms.
Почему это петля
Дефолты KRaft:
| Параметр | Дефолт |
|---|---|
controller.quorum.fetch.timeout.ms |
2000 |
controller.quorum.election.timeout.ms |
1000 |
controller.quorum.request.timeout.ms |
2000 |
socket.connection.setup.timeout.ms |
10000 (+ джиттер) |
Бюджет на переустановку соединения в пять раз больше бюджета на фетч. Любое событие, заставившее контроллеры переподключиться, гарантирует выборы: свежий лидер не успевает отдать первый фетч за 2 секунды, потому что соединение ещё устанавливается, фолловер объявляет себя кандидатом, лидер слагает полномочия — и выборы снова рвут соединения. Петля кормит сама себя. С SASL на controller-листенере каждый реконнект — ещё и handshake.
В этом разница между триггером и усилителем. Триггером был 30-секундный блип на одной ноде. Усилитель растянул его до семи минут. Через сутки такой же блип повторился, но соединения уцелели — одни выборы, две секунды, никто не заметил.
Это известная грабля (KAFKA-16620), и дефолты везде одинаковые. Проверка других окружений показала, что тихий прод на деле пострадал меньше всех: непродовые кластеры с нетронутыми дефолтами за две недели набрали сотни Become candidate как фоновый шум.
Фикс
controller.quorum.fetch.timeout.ms=10000
controller.quorum.election.timeout.ms=4000
controller.quorum.request.timeout.ms=5000
Инвариант: fetch.timeout ≥ socket.connection.setup.timeout.ms, а election.timeout < fetch.timeout. Плата: обнаружение реально умершего контроллера займёт ~10 секунд вместо ~2. Против 100 секунд болтанки — выгодный размен.
Две вещи при выкатке уже кусали нас в других местах, поэтому теперь я проверяю их первыми:
podManagementPolicy: Parallelвлияет и на rolling update. Документация Kubernetes говорит, что только на масштабирование, но на практике контроллер не ждёт Ready между обновлениями подов (kubernetes#96218). Для кворума из трёх это потеря кворума целиком. Катить пофазово черезupdateStrategy.rollingUpdate.partition2 → 1 → 0 и проверять кворум между шагами.- Убедиться, что образ ещё скачивается. Рестарт тянет образ заново. Если под жил на закэшированном образе из реестра, который с тех пор вычистили, он вернётся в
ImagePullBackOff.
И проверьте, где реально стоят контроллеры: два из трёх в одной зоне доступности — значит, потеря зоны означает потерю кворума.
Выводы
RESTARTS 0и шторм ошибок лидерства — это кворум, а не брокеры. ИщитеBecome candidateв логах.- Изолированный узел находят по числу принятых vote-запросов, а не по
voteStates. - «Выбрали и потеряли» значит, что усилитель — таймауты. Держите
fetch.timeoutне короче установки соединения. - Отделяйте триггер от усилителя. Убранный усилитель превращает минуты в секунды; триггер всё равно требует отдельного расследования.
- Перед тем как назвать что-то инцидентом, измерьте фон: на части окружений шторм был хроническим шумом.