← Все статьи

Ребут ноды заморозил десятки тестовых стендов: их гейтом готовности был под без владельца

После ребута воркера на месте все тестовые стенды с данными на этой ноде часами висели в Init. Нода, тома и платформа были в порядке. Шаги подготовки шли как голые Pod без контроллера, ребут их удалил, а приложения ждали под, которого больше не было.

Во время обновления ОС на рабочем кластере я перезагружал воркеры на месте, по одному. Нода вернулась Ready, платформенные поды здоровы, локальные тома целы. И всё же каждый тестовый стенд, чьи данные жили на этой ноде, остался лежать: примерно 43 из ~60 подов на стенд висели в Init:0/3 или Init:CrashLoopBackOff — часами.

Один стенд был сломан точно так же ещё с инцидента на ноде днём раньше. Никто не связал это с нодой.

Чего ждали init-контейнеры

Логи init-контейнера пода приложения дали ответ одной строкой:

kubectl -n <env-ns> logs <app-pod> -c migrate-completed
# Error from server (NotFound): pods "migrate" not found

Каждый стенд поднимается CI-пайплайном цепочкой шагов: init, пара шагов инициализации баз, migrate, ready. Каждый шаг — голый Pod без контроллера. Поды приложения не стартуют, пока эти поды не завершатся: их init-контейнеры опрашивают под маленьким скриптом ожидания — примерно «жди, пока под migrate не станет Completed».

На свежем деплое это работает. Разваливается в первый же раз, когда нода уходит.

Корневая причина: под без владельца никто не пересоздаёт

Ребут ноды с graceful shutdown kubelet, eviction или drain удаляют поды на этой ноде. Поды Deployment, StatefulSet или Job возвращаются — их пересоздаёт контроллер. Под без ownerReferences просто исчезает.

Так завершённый под migrate пропал вместе с ребутом. Цикл ожидания в каждом поде приложения начал опрашивать несуществующий под, и весь стенд висел в Init, пока кто-нибудь не запускал CI-деплой заново.

Быстрый способ увидеть, какие стенды заблокированы:

kubectl get pods -A -o json | jq -r '
  [.items[] | select(.metadata.namespace | test("^test-[0-9]+$"))]
  | group_by(.metadata.namespace)[]
  | (.[0].metadata.namespace) as $ns
  | ([.[] | select(.metadata.name == "migrate")][0].status.phase // "MISSING") as $m
  | "\($ns) migrate=\($m)"'

Вернуть стенды без CI

Для следующих нод я поменял процедуру: сохранять поды без владельца до ребута и пересоздавать после.

# до ребута: сохранить спеки подов без владельца
kubectl get pods -A -o json \
  | jq -c '.items[] | select(.metadata.namespace | test("^test-")) | select(.metadata.ownerReferences == null)' \
  | while read -r p; do
      ns=$(jq -r .metadata.namespace <<<"$p"); n=$(jq -r .metadata.name <<<"$p")
      jq '{apiVersion:"v1", kind:"Pod",
           metadata:{name:.metadata.name, namespace:.metadata.namespace, labels:.metadata.labels},
           spec:(.spec | del(.nodeName))}' <<<"$p" > "bare-pods/$ns--$n.json"
    done

# после возврата ноды: пересоздать отсутствующие и Failed
for f in bare-pods/*.json; do
  ns=$(jq -r .metadata.namespace "$f"); n=$(jq -r .metadata.name "$f")
  ph=$(kubectl -n "$ns" get pod "$n" -o jsonpath='{.status.phase}' 2>/dev/null)
  [ "$ph" = Failed ] && kubectl -n "$ns" delete pod "$n" --wait=true && ph=""
  [ -z "$ph" ] && kubectl create -f "$f"
done

Удалить nodeName важно: без него под снова размещает шедулер, а не прибивает его к ноде, которой может не быть. migrate прогоняется повторно на существующих данных. Это безопасно только потому, что миграции этой версии приложения идемпотентны — это я проверил первым делом.

Итог: стенды на двух из трёх перезагруженных нод вернулись без CI. Те, что на первой ноде, сломались до того, как я что-то сохранил, — им понадобился редеплой.

Две практические заметки:

  • В сохранённых спеках могут быть значения переменных окружения. Держите их вне любых репозиториев и делайте chmod 600.
  • Взводите шаг восстановления только после cordon ноды. Условие «жди, пока нода Ready и schedulable» истинно ещё до начала ребута и сработает мгновенно.

Настоящий фикс — в чарте

Обходной путь делает ребуты переживаемыми, но не исправляет дизайн. Шаги подготовки должны быть Job или Helm hooks, а приложения — ждать завершения Job, а не существования пода. Job хранит статус завершения после того, как её под исчез. Статус голого пода исчезает вместе с подом.

Выводы

  • Под без ownerReferences отделён от исчезновения навсегда одним событием на ноде. kubectl get pods -A -o json | jq '... ownerReferences == null' стоит запускать на любом кластере перед drain.
  • «Жди, пока под X завершится» — хрупкий контракт. Ждите Job или состояние, которое переживает под.
  • Тот же изъян бьёт при любом drain, eviction, отказе ноды или graceful shutdown kubelet, а не только при плановых ребутах. Если один стенд «случайно» сломан уже сутки — посмотрите, что было с его нодой.
  • Полностью здоровая платформа при застрявших приложениях обычно значит, что связка — на уровне приложения. Читайте логи init-контейнеров, прежде чем трогать ноду.