Ребут ноды заморозил десятки тестовых стендов: их гейтом готовности был под без владельца
После ребута воркера на месте все тестовые стенды с данными на этой ноде часами висели в Init. Нода, тома и платформа были в порядке. Шаги подготовки шли как голые Pod без контроллера, ребут их удалил, а приложения ждали под, которого больше не было.
Во время обновления ОС на рабочем кластере я перезагружал воркеры на месте, по одному. Нода вернулась Ready, платформенные поды здоровы, локальные тома целы. И всё же каждый тестовый стенд, чьи данные жили на этой ноде, остался лежать: примерно 43 из ~60 подов на стенд висели в Init:0/3 или Init:CrashLoopBackOff — часами.
Один стенд был сломан точно так же ещё с инцидента на ноде днём раньше. Никто не связал это с нодой.
Чего ждали init-контейнеры
Логи init-контейнера пода приложения дали ответ одной строкой:
kubectl -n <env-ns> logs <app-pod> -c migrate-completed
# Error from server (NotFound): pods "migrate" not found
Каждый стенд поднимается CI-пайплайном цепочкой шагов: init, пара шагов инициализации баз, migrate, ready. Каждый шаг — голый Pod без контроллера. Поды приложения не стартуют, пока эти поды не завершатся: их init-контейнеры опрашивают под маленьким скриптом ожидания — примерно «жди, пока под migrate не станет Completed».
На свежем деплое это работает. Разваливается в первый же раз, когда нода уходит.
Корневая причина: под без владельца никто не пересоздаёт
Ребут ноды с graceful shutdown kubelet, eviction или drain удаляют поды на этой ноде. Поды Deployment, StatefulSet или Job возвращаются — их пересоздаёт контроллер. Под без ownerReferences просто исчезает.
Так завершённый под migrate пропал вместе с ребутом. Цикл ожидания в каждом поде приложения начал опрашивать несуществующий под, и весь стенд висел в Init, пока кто-нибудь не запускал CI-деплой заново.
Быстрый способ увидеть, какие стенды заблокированы:
kubectl get pods -A -o json | jq -r '
[.items[] | select(.metadata.namespace | test("^test-[0-9]+$"))]
| group_by(.metadata.namespace)[]
| (.[0].metadata.namespace) as $ns
| ([.[] | select(.metadata.name == "migrate")][0].status.phase // "MISSING") as $m
| "\($ns) migrate=\($m)"'
Вернуть стенды без CI
Для следующих нод я поменял процедуру: сохранять поды без владельца до ребута и пересоздавать после.
# до ребута: сохранить спеки подов без владельца
kubectl get pods -A -o json \
| jq -c '.items[] | select(.metadata.namespace | test("^test-")) | select(.metadata.ownerReferences == null)' \
| while read -r p; do
ns=$(jq -r .metadata.namespace <<<"$p"); n=$(jq -r .metadata.name <<<"$p")
jq '{apiVersion:"v1", kind:"Pod",
metadata:{name:.metadata.name, namespace:.metadata.namespace, labels:.metadata.labels},
spec:(.spec | del(.nodeName))}' <<<"$p" > "bare-pods/$ns--$n.json"
done
# после возврата ноды: пересоздать отсутствующие и Failed
for f in bare-pods/*.json; do
ns=$(jq -r .metadata.namespace "$f"); n=$(jq -r .metadata.name "$f")
ph=$(kubectl -n "$ns" get pod "$n" -o jsonpath='{.status.phase}' 2>/dev/null)
[ "$ph" = Failed ] && kubectl -n "$ns" delete pod "$n" --wait=true && ph=""
[ -z "$ph" ] && kubectl create -f "$f"
done
Удалить nodeName важно: без него под снова размещает шедулер, а не прибивает его к ноде, которой может не быть. migrate прогоняется повторно на существующих данных. Это безопасно только потому, что миграции этой версии приложения идемпотентны — это я проверил первым делом.
Итог: стенды на двух из трёх перезагруженных нод вернулись без CI. Те, что на первой ноде, сломались до того, как я что-то сохранил, — им понадобился редеплой.
Две практические заметки:
- В сохранённых спеках могут быть значения переменных окружения. Держите их вне любых репозиториев и делайте
chmod 600. - Взводите шаг восстановления только после cordon ноды. Условие «жди, пока нода Ready и schedulable» истинно ещё до начала ребута и сработает мгновенно.
Настоящий фикс — в чарте
Обходной путь делает ребуты переживаемыми, но не исправляет дизайн. Шаги подготовки должны быть Job или Helm hooks, а приложения — ждать завершения Job, а не существования пода. Job хранит статус завершения после того, как её под исчез. Статус голого пода исчезает вместе с подом.
Выводы
- Под без
ownerReferencesотделён от исчезновения навсегда одним событием на ноде.kubectl get pods -A -o json | jq '... ownerReferences == null'стоит запускать на любом кластере перед drain. - «Жди, пока под X завершится» — хрупкий контракт. Ждите Job или состояние, которое переживает под.
- Тот же изъян бьёт при любом drain, eviction, отказе ноды или graceful shutdown kubelet, а не только при плановых ребутах. Если один стенд «случайно» сломан уже сутки — посмотрите, что было с его нодой.
- Полностью здоровая платформа при застрявших приложениях обычно значит, что связка — на уровне приложения. Читайте логи init-контейнеров, прежде чем трогать ноду.