← Все статьи

Я пересобрал домашний Kubernetes-кластер на чистый kubeadm. Вот что вскрыла пересборка

Унаследованный kubespray-кластер пересобран на чистый kubeadm за день. План сработал, а уроками стали шесть вещей, работавших только по случайности.

В моей домашней лаборатории живёт Kubernetes-кластер из семи нод: три control-plane и четыре воркера, все — VM на одном гипервизоре. Собирал его kubespray, а рабочая копия kubespray, которой его собирали, давно потерялась. Все апгрейды с тех пор делались руками поверх того, что kubespray оставил:

  • etcd работал внешним systemd-сервисом со своими сертификатами, которые kubeadm upgrade не трогает;
  • адресом API был IP первого мастера, так что у «высокодоступного» control plane была единая точка отказа;
  • у CoreDNS был поправленный руками Corefile, и каждый апгрейд приходилось делать с пропуском фазы CoreDNS, чтобы правки выжили;
  • диапазоны kube-dns, сервисов и подов были дефолтами kubespray, которые никто не помнил, как выбирал.

Ничего из этого не было сломано. Всё это было ловушкой для следующего апгрейда. Поэтому я решил пересобрать на месте: снести старый кластер, пересоздать VM из cloud-образа с теми же MAC-адресами (тогда DHCP выдаст те же IP) и собрать на них чистый kubeadm-кластер. Нагрузки вернёт GitOps, секреты — raft-снапшот Vault.

Сам план выдержал. Ушёл один длинный день. Записать хочу шесть вещей, которые вскрыла пересборка, потому что каждая из них работала только по случайности.

Сначала бэкапы, потому что отката нет

У пересборки на месте нет кнопки «вернуть как было». Как только старые VM уничтожены, бэкапы — единственный путь назад. Поэтому прежде чем что-то трогать, я снял снапшот Vault, снапшот etcd, дамп всех объектов кластера по типам, все секреты, зеркало GitOps-репозитория с тегом на ровно тот коммит, на котором жил старый кластер, и полный образ одного мастера. Две копии, ни одной на VM кластера. Два публичных сайта, которые обслуживает кластер, на время даунтайма переехали на обычный Docker-хост за тем же токеном коннектора туннеля.

Первая грабля вылезла прямо здесь.

Грабля 1: снапшот Vault на follower — не снапшот

Error taking the snapshot: incomplete snapshot, unable to read SHA256SUMS.sealed file

Я запустил vault operator raft snapshot save на vault-0, как делал всегда. В этот раз vault-0 был follower. Follower пересылает запрос лидеру, и пересланный поток рвётся. vault operator raft list-peers показал, что лидер — vault-2; та же команда там дала снапшот, который читается snapshot inspect, а контрольная сумма копии совпала с файлом в поде.

Урок: raft-снапшоты снимать на лидере и всегда проверять и сверять хешем ту копию, на которую будешь полагаться.

Грабля 2: свободный IP, который не был свободным

Новый control plane получает виртуальный IP через kube-vip, чтобы потеря master1 больше не роняла API. Нужен был один свободный адрес. Пять кандидатов между мастерами и воркерами не отвечали на ping, ARP по ним падал. Свободны, решил я.

Потом я посмотрел DHCP-пул роутера. Все пять были внутри него. Сегодня их никто не держал, но рано или поздно роутер выдал бы один из них телефону, и VIP control plane начал бы бороться с ним за ARP. Это тот тип аварии, который приходит через несколько недель и выглядит как сетевой призрак. VIP встал выше пула, рядом с адресами балансировщиков.

Урок: «никто не отвечает» ничего не значит, пока не знаешь, кому разрешено этот адрес раздавать.

Грабля 3: имя интерфейса поменялось, и IP входа молча пропал

Когда VM поднялись, я заметил, что у шести нод интерфейс называется ens18, а у одной — eth0. Сетевой конфиг cloud-init закрепляет set-name: eth0 по MAC, но при первой загрузке udev успел назвать интерфейс раньше, чем этот конфиг появился. На одной VM переименование обратно в eth0 выиграло гонку, на шести — нет. После одной перезагрузки все семь стали eth0, детерминированно.

Я поправил это сразу, потому что kube-vip вешает VIP на интерфейс по имени. О чём я не подумал — о старом GitOps-репозитории. Через несколько часов, когда всё было зелёным, IP входа не отвечал вообще. Политика L2-анонса Cilium, которая отвечает за него на ARP, искала ^ens18$. Ни ошибки, ни события — анонсу просто не на чем было жить.

Урок: имя интерфейса — это конфигурация. Когда ОС его меняет, грепай весь репозиторий на старое имя.

Грабля 4: тома, созданные на холодном старте, оказались без файловой системы

Хранилище — LINSTOR/DRBD на отдельном диске каждого воркера. На свежих нодах модуля ядра DRBD ещё нет, поэтому загрузчик собирает его из исходников под текущее ядро. Это занимает несколько минут на ноду.

Все PVC сначала висели в Pending, потом стали Bound. А потом три пода отказались стартовать:

mount: wrong fs type, bad option, bad superblock on /dev/drbd1001

blkid на ноде ничего не нашёл, область суперблока ext4 была нулевой. Тома создавались, пока сателлиты ещё поднимались, и файловую систему так никто и не создал. Я проверил все тома, а не только сломавшиеся: у трёх из десяти не было файловой системы. Все были пустыми, так что лечение — удалить PVC и под и дать провижинеру создать свежий, правильно отформатированный том.

Урок: на холодном кластере LINSTOR дождись, пока все пулы хранения покажут Ok, прежде чем что-то запросит том.

Грабля 5: защитная политика против самовосстанавливающегося GitOps

Вход я перевёл со встроенного контроллера Gateway API в Cilium на Envoy Gateway. Его чарт хочет CRD Gateway API канала experimental (мне нужен TLSRoute для одного passthrough-маршрута), а в кластере был канал standard.

Upstream-бандл поставляет ValidatingAdmissionPolicy safe-upgrades, которая запрещает ставить experimental CRD поверх standard. Документированный выход — удалить политику. Я удалил, и синк снова упал. Self-heal ArgoCD вернул политику — новый чарт тоже её поставляет — быстрее, чем тот же синк применил CRD. Я попробовал удалить только биндинг и применить CRD той же командой; контроллер всё равно выиграл.

Сработало другое: не выигрывать гонку, а убрать её. Отмасштабировать контроллер приложений ArgoCD в ноль на минуту, удалить политику, применить CRD, вернуть контроллер. Политика сразу вернулась и теперь охраняет experimental-установку, а не блокирует её.

Урок: самовосстанавливающуюся систему не обгонишь. Поставь её на паузу.

Грабля 6: коннектор, который всегда существовал только руками

Последний шаг — вернуть публичный туннель с временного Docker-хоста на новый кластер. Перед переключением я проверил коннектор туннеля в кластере. Его не было.

В репозитории был ArgoCD Application для него, добавленный несколько месяцев назад коммитом «adopt the connector». Но его так и не включили в kustomization, которую читает ArgoCD. Коннектор в старом кластере всё это время был Deployment’ом, созданным руками, и умер вместе с кластером. Переключи я туннель первым делом — оба сайта легли бы: в кластере не было бы ничего, что принимает трафик.

Я подключил Application, дождался регистрации обеих реплик, остановил временный коннектор, переключил туннель и по помеченному User-Agent убедился, что запросы доходят до подов кластера, а до временных контейнеров — ни одного. Только после этого удалил их.

Урок: «работало в старом кластере» не значит «лежит в Git». Пересборка с нуля — самый честный аудит твоего GitOps.

Что стало лучше

  • etcd stacked и обновляется kubeadm upgrade вместе со всем остальным;
  • API за VIP. Я выключил мастер, державший его: VIP переехал, и kubectl не понадобилось даже повторять запрос;
  • кластер на последнем стабильном Kubernetes, поставленном из пакетов с hold, а не бинарниками, подброшенными в каталог;
  • балансировку сервисов делает сам Cilium;
  • вход — Envoy Gateway в двух репликах, так что рестарт агента CNI больше не роняет вход;
  • CoreDNS, CRD Gateway API и коннектор туннеля лежат в Git, где им всегда и было место.

План был верным. Ценность этого дня — в шести местах, где реальность тихо разошлась с ним.