Статьи

Заметки из продакшена и домашней лаборатории: апгрейды, миграции, инциденты и логика решений.

• ИИ-агент в моей эксплуатации: ограничители, которые делают его безопаснымБольшую часть эксплуатации я веду с ИИ-агентом в терминале: kubectl, логи, манифесты, git, облачные API. Скорость — простая часть. Вот правила, которые делают это безопасным, и ошибки, которые они поймали.26 октября 2026 г.
• RDS отказывал в подключениях при 10% CPU: дефолтные пулы, умноженные на репликиНагрузочные тесты упирались в ровное плато ~420 подключений, и просили «базу побольше». Реальный потолок — max_connections против дефолтных пулов Npgsql.12 октября 2026 г.
• Calico в Ready и без ошибок, а каждый новый под полминуты недоступенПосле апгрейда Calico свежие поды 15–42 секунды сидели в чёрной дыре. Felix крутился в цикле XDP-resync, который видно только тестом «новый под ↔ новый под между нодами».10 октября 2026 г.
• Kubernetes с 1.32 до 1.37 за день, пять хопов, без kubespray, которым кластер собиралиBare-metal кластер на EOL-версии, потерянный инвентарь kubespray и бинарники вне пакетного менеджера. Как прошли пять хопов kubeadm за один день и грабли, которых не было ни в одном плане.10 октября 2026 г.
• Минуту работало, потом таймауты: MetalLB L2 с kube-proxy ipvs без strictARPПеревод хостов на новый LoadBalancer IP работал недолго, потом внешний балансировщик увидел таймауты на L4. На ARP за один и тот же IP отвечали все ноды.10 октября 2026 г.
• Сертификаты истекли по расписанию. Алерт неделю кричал — в пустотуkubeadm-кластер потерял control plane ровно через год после установки. Алерт об истечении горел семь дней, но у Alertmanager был только receiver null.9 октября 2026 г.
• Алерт сработал, и никто его не увидел: метка cluster потерялась в агрегацииНода четыре часа сидела на 90–98% CPU и закончила OOM kill. Алерт на CPU сработал, но avg by(instance) выкинул метку, по которой выбирали все маршруты и дашборды.7 октября 2026 г.
• Kubernetes 1.33 → 1.36 и Calico → Cilium за один деньРепетиция на домашней лаборатории: три хопа Kubernetes, замена CNI на Cilium без kube-proxy и отказ от ретированного ingress-nginx в пользу Gateway API — почему контролируемый big-bang оказался безопаснее живой миграции и какие грабли стоит знать заранее.30 сентября 2026 г.
• Боевой сертификат истёк, и никто не заметил: внешний прокси прикрыл аварию собойВсе публичные хосты отдавали 200, пока кластер отдавал просроченный wildcard. Прокси со своей TLS-терминацией спрятал аварию; настоящая находка — отсутствие алерта на истечение.17 сентября 2026 г.
• multipathd захватил том Longhorn: «mount point busy», хотя ничего не смонтированоПод пять дней висел в Init, 2413 попыток монтирования, полный ребут не помог. multipathd построил карту поверх iSCSI-устройства Longhorn и держал его открытым.17 сентября 2026 г.
• Ребаланс-шторм оказался обычным деплоем: порог, который растёт вместе с группойАлерт на ребалансы Kafka горел на 60 в час при каждом релизе. Метрика суммировалась по 40 консьюмерам и усреднялась по скользящему часу — алерт описывал прошлое.16 сентября 2026 г.
• Argo CD показывал Synced, а API-сервер молча выкинул мой фиксМесяцы без метрик, фикс уже в git и зелёный Synced. Поля не было в схеме CRD, API-сервер его отрезал, и никто не пожаловался.15 сентября 2026 г.
• Liveness-проба, привязанная к чужой сети: 330 рестартов, которые ничего не чинилиДве одинаковые реплики cloudflared — 330 и 13 рестартов. Liveness проверяла туннель до edge, поэтому каждая икота аплинка превращалась в SIGKILL.15 сентября 2026 г.
• Экран загрузки был retry-циклом, а не зависанием — и ребут был не нуженИгра на моей Linux-машине зависала на экране загрузки, и известным лекарством был полный ребут. Пять секунд счётчиков из /proc показали горячий retry-цикл, который заканчивается одним SIGTERM.14 сентября 2026 г.
• Три отказа алертинга из одного корня: имя там, где должен быть IDКто-то переименовал канал в Slack, и доставка алертов продакшен-системы молча умерла. Это был третий отказ на одном и том же идентификаторе — все прошлые фиксы меняли транспорт и оставляли имя.7 сентября 2026 г.
• Kafka на 94 % диска, 17 часов в запасе и retention, который хранил вдвое большеТрафик вырос в 150 раз, а тома никто не пересматривал. Хуже того, при дефолтном роллинге сегментов retention в 7 дней на деле означал 7–14. Как мы выиграли время и устранили причину.6 сентября 2026 г.
• Basic auth пропал на 80-м порту после переезда с Ingress на Gateway APIВсе статусы зелёные, мой curl возвращал 401. А вход в WordPress был открыт всем: Gateway API привязывает политику к одному listener'у, а аннотации Ingress покрывали все порты.1 сентября 2026 г.
• NotReady шесть часов, а нода всё это время была живаВсе сигналы говорили, что нода мертва. На деле она задыхалась от нехватки памяти, а очевидный фикс — удалить ноду и принудительно отцепить том — был в одной команде от порчи базы.31 августа 2026 г.
• Звёздочка в середине пути Vault — не wildcardПротухший токен уронил оператор секретов. Его перевыпуск вскрыл более старый баг: 27 политик Vault со * в середине пути молча запрещали то, что объявляли, и прятали избыточные права.31 августа 2026 г.
• Реплика Postgres 23 часа крутилась в цикле pg_rewind: пересоздавать, а не чинитьПосле failover реплика CloudNativePG не смогла сделать rewind: её WAL-сегменты были нулевого размера, а каталог данных — в десять раз меньше, чем у primary. 23 часа никто не заметил, потому что метрики оператора не собирались.28 августа 2026 г.
• Error budget в VictoriaMetrics: recording rules, burn-rate алерты и одна честная панельКак мы собрали error budget для сервисов первого уровня из уже существующих метрик: SLO-цели по сервисам, multi-window burn-rate алерты, ряд в Grafana — и почему отрицательный бюджет сразу после запуска не был инцидентом.26 августа 2026 г.
• Один алерт на p99, пять медленных маршрутов, пять разных причинАлерт на латентность уровня сервиса не называл ни одного эндпоинта. Разбивка по маршрутам показала внешний шлюз, проверку капчи, вызов провайдера — и набор ловушек измерения, которые увели бы нас не туда.26 августа 2026 г.
• Переезд продового Postgres с RDS Multi-AZ instance на Multi-AZ DB clusterПлановый cutover почти без потери данных — и три ловушки: «техработы», которые не остановили запись, пароли, которые RDS не даёт скопировать, и дамп за 25 минут через VPN против 31 секунды внутри VPC.24 августа 2026 г.
• Лаг упал в ноль, а ничего не починилось: зависший Kafka-консьюмер, спрятанный переименованием group.idЛаг консьюмера рос пять дней, потом упал в ноль и там остался. Выглядело как «само рассосалось». На деле консьюмер завис, метрика исчезла, а алерт зарезолвился сам.21 августа 2026 г.
• Профилируем утечку памяти в Python на проде с memray — и авария, которую мы устроили по дорогеБэкенд падал по OOM каждые 10–15 часов. Почасовые снимки memray на живом поде нашли утечку в библиотечных middleware, а не в коде приложения — после того как первая попытка положила прод на семь минут.17 августа 2026 г.
• Переезд продового кластера с Longhorn на LINSTOR — и ожидание, которое не сбылосьЗачем мы заменили Longhorn на LINSTOR/DRBD на self-managed кластере, как каждая нагрузка переезжала своим способом и что пошло не так по дороге.16 августа 2026 г.
• С ingress-nginx на Envoy Gateway без простоя: 27 Ingress, 39 HTTPRouteingress-nginx ретирован и блокирует апгрейды Kubernetes. Как мы перевели 16 публичных хостов на Envoy Gateway: подняли новый вход рядом со старым и в самом конце поменяли только адрес.15 августа 2026 г.
• Перевод CloudNativePG на плагин Barman Cloud без разрыва архиваCNPG убирает встроенную поддержку barmanObjectStore. У переключения нет валидного промежуточного состояния, у базы не было ни одного базового бэкапа, а один путь решает, работает ли ещё point-in-time recovery.14 августа 2026 г.
• Четыре проверки, которые врали, пока система была здороваЗа один день миграций платформы четыре проверки сообщали об ошибке, хотя всё было в порядке. Когда один сигнал спорит со всеми остальными, первым подозревайте сам сигнал.14 августа 2026 г.
• Алерты, которые не могут сработать: слепой ServiceMonitor и мёртвый канал доставкиПир Vault 32 часа был sealed, а секреты неделю не синхронизировались — при алерте VaultSealed в репозитории и здоровом Alertmanager. Инцидент спрятали два независимых сбоя.13 августа 2026 г.
• «Дрейф ядер» оказался дрейфом аптайма: патчи ставились, ребутов не былоТри разных ядра на семи нодах выглядели как незавершённые волны патчей и увели расследование по ложному следу. Патчи на всех нодах были одинаковые, различался только аптайм.13 августа 2026 г.
• kubectl patch --type merge стёр CoreDNS, а все проверки остались зелёнымиОднострочное обновление образа заменило всю спецификацию контейнера. CoreDNS потерял конфиг, тихо откатился на плагин whoami и отвечал на всё NOERROR без ответа.13 августа 2026 г.
• Замена MetalLB на Cilium LB IPAM без единого потерянного запросаВ кластере был ровно один LoadBalancer IP, и от него зависели все маршруты. Как я передал его от MetalLB к Cilium без единой ошибки — дав обоим контроллерам поработать одновременно.13 августа 2026 г.
• Перевод Vault с Shamir на transit auto-unseal и четыре ловушки по дорогеКаждый рестарт пода Vault заканчивался запечатанным хранилищем и замороженной синхронизацией секретов. Как мы добавили transit-провайдер, мигрировали raft-кластер из трёх нод и на чём споткнулись.13 августа 2026 г.
• Vault запечатывался сам. Причиной была 15-минутная заморозка VM ниже кластераЧетыре seal'а Vault за три недели, каждый разбирали как отдельный инцидент. Анализ пауз в journald показал, что гипервизор замораживает VM во время бэкапа, а Longhorn превращает это в каскад.13 августа 2026 г.
• Апгрейд GitLab и два сигнала, которые вралиРядовой минорный апгрейд self-hosted GitLab в Docker. Предварительная проверка насчитала 32 незавершённые миграции, а контейнер стал healthy, ничего не обслуживая.12 августа 2026 г.
• Как обновить ОС на семи нодах Kubernetes так, чтобы никто не заметилПоочерёдное обновление Ubuntu в кластере, который хранит всё своё состояние сам. Предварительные проверки превратили страшную работу в скучную, а темп задавал Longhorn.12 августа 2026 г.
• Одна забытая DHCP-опция положила весь Kubernetes-кластерПосле ребута хоста около пятидесяти подов ушли в крашлуп, хотя все ноды были Ready. Причина — забытая DHCP-опция classless routes, которая молча убрала шлюз по умолчанию.10 августа 2026 г.
• Смержено, засинкано, смонтировано — и всё равно не алертит: vmalert без hot reloadНовые правила для Kafka прошли через Git и Argo CD в ConfigMap, но vmalert их так и не начал оценивать. GitOps-конвейер оборвался на последнем шаге.7 августа 2026 г.
• Панель Grafana, которая говорит, когда под упадёт по OOMКак превратить тренд памяти в ETA до OOM и до заполнения диска на PromQL, два бага, из-за которых панель врала, и утечка, которую она поймала в первый же день.6 августа 2026 г.
• ONLINE_UNCERTAIN: когда MySQL-оператор и база не согласныRouter флапает, оператор два дня висит в блокировке, CRD застыл на 2/3 — а все три члена InnoDB Cluster здоровы. Лечится одним rescan метаданных.6 августа 2026 г.
• Vault Secrets Operator замолчал после seal — и рестарт его не разбудил38 из 43 VaultStaticSecret два дня висели с замёрзшей ошибкой. Unseal Vault и рестарт оператора ничего не дали; помогло изменение одного поля в spec.6 августа 2026 г.
• Петля логина в WordPress, которая случалась только иногдаwp-admin выкидывал обратно на страницу логина с reauth=1, но не всегда. Причина — случайные auth-соли, сгенерированные в каждом поде за балансировщиком без sticky-сессий.6 августа 2026 г.
• Три инцидента, которые были одним: IP базы, зашитый в конфиг500 на логине, бэкенды в CrashLoopBackOff и зависший деплой выглядели как три проблемы. Все три оказались одним захардкоженным IP базы в конфиге pgbouncer.31 июля 2026 г.
• «Ошибки диска» оказались OOM: как тома Longhorn потеряли бэкендEIO, ext4 в read-only, повреждённый datadir MySQL и запечатанный Vault выглядели как умирающий диск. dmesg хоста показал OOM на всю ноду, который первым убил instance-manager Longhorn.31 июля 2026 г.
• «Vault сам себя запечатывает» — нет, он просто никогда не распечатываетсяПод Vault днями висел в Ready 0/1, пока кворум raft тихо держался на двух пирах. Никто его не запечатывал: Shamir без auto-unseal оставляет запечатанным каждый рестарт.31 июля 2026 г.
• Том Longhorn, который не хотел расти: attachment ticket, прибитый к плохой нодеPVC бесконечно висел в Resizing, а Longhorn каждые пять секунд повторял расширение без единой ошибки. Устаревший attachment ticket держал том на одной нездоровой ноде.30 июля 2026 г.
• Меняем неизменяемое поле StatefulSet, не перезапустив ни одного подаВ Git — 20 GiB, в живом StatefulSet — шаблоны на 6 GiB, а Argo CD показывает Synced. Как удаление с orphan и OnDelete пересобрали шаблон без простоя.30 июля 2026 г.
• Пять дней на 1/3 при зелёных дашбордах: когда статус CRD врётMySQL InnoDB Cluster пять дней работал без HA, а статус ресурса, фаза подов и readiness gate показывали здоровье. Все три сигнала шли от одного зависшего оператора.28 июля 2026 г.
• Helm пишет «another operation is in progress», а ничего не запущеноОтменённая CI-джоба оставила два Helm-релиза в pending-upgrade и заблокировала все деплои. Как найти lock, безопасно его снять и проверить весь namespace разом.13 июля 2026 г.
• Как я подхожу к платформеИнфраструктура как продукт, GitOps, CI/CD, DevSecOps — предсказуемые релизы и безопасность в пайплайне.16 апреля 2026 г.