https://stebas.com/ru/ Заметки из продакшена и домашней лаборатории: апгрейды, миграции, инциденты и логика решений. ru https://stebas.com/ru/posts/rds-connection-ceiling-npgsql-pools/ https://stebas.com/ru/posts/rds-connection-ceiling-npgsql-pools/ Mon, 12 Oct 2026 00:00:00 GMT Нагрузочные тесты упирались в ровное плато ~420 подключений, и просили «базу побольше». Реальный потолок — max_connections против дефолтных пулов Npgsql. https://stebas.com/ru/posts/calico-xdp-resync-new-pod-blackhole/ https://stebas.com/ru/posts/calico-xdp-resync-new-pod-blackhole/ Sat, 10 Oct 2026 00:00:00 GMT После апгрейда Calico свежие поды 15–42 секунды сидели в чёрной дыре. Felix крутился в цикле XDP-resync, который видно только тестом «новый под ↔ новый под между нодами». https://stebas.com/ru/posts/kubernetes-five-hop-upgrade-without-kubespray/ https://stebas.com/ru/posts/kubernetes-five-hop-upgrade-without-kubespray/ Sat, 10 Oct 2026 00:00:00 GMT Bare-metal кластер на EOL-версии, потерянный инвентарь kubespray и бинарники вне пакетного менеджера. Как прошли пять хопов kubeadm за один день и грабли, которых не было ни в одном плане. https://stebas.com/ru/posts/metallb-l2-ipvs-strictarp/ https://stebas.com/ru/posts/metallb-l2-ipvs-strictarp/ Sat, 10 Oct 2026 00:00:00 GMT Перевод хостов на новый LoadBalancer IP работал недолго, потом внешний балансировщик увидел таймауты на L4. На ARP за один и тот же IP отвечали все ноды. https://stebas.com/ru/posts/kubeadm-certs-expired-alert-into-null/ https://stebas.com/ru/posts/kubeadm-certs-expired-alert-into-null/ Fri, 09 Oct 2026 00:00:00 GMT kubeadm-кластер потерял control plane ровно через год после установки. Алерт об истечении горел семь дней, но у Alertmanager был только receiver null. https://stebas.com/ru/posts/alert-lost-cluster-label/ https://stebas.com/ru/posts/alert-lost-cluster-label/ Wed, 07 Oct 2026 00:00:00 GMT Нода четыре часа сидела на 90–98% CPU и закончила OOM kill. Алерт на CPU сработал, но avg by(instance) выкинул метку, по которой выбирали все маршруты и дашборды. https://stebas.com/ru/posts/k8s-136-cilium-in-one-day/ https://stebas.com/ru/posts/k8s-136-cilium-in-one-day/ Wed, 30 Sep 2026 00:00:00 GMT Репетиция на домашней лаборатории: три хопа Kubernetes, замена CNI на Cilium без kube-proxy и отказ от ретированного ingress-nginx в пользу Gateway API — почему контролируемый big-bang оказался безопаснее живой миграции и какие грабли стоит знать заранее. https://stebas.com/ru/posts/expired-tls-hidden-by-front/ https://stebas.com/ru/posts/expired-tls-hidden-by-front/ Thu, 17 Sep 2026 00:00:00 GMT Все публичные хосты отдавали 200, пока кластер отдавал просроченный wildcard. Прокси со своей TLS-терминацией спрятал аварию; настоящая находка — отсутствие алерта на истечение. https://stebas.com/ru/posts/multipathd-hijacks-longhorn/ https://stebas.com/ru/posts/multipathd-hijacks-longhorn/ Thu, 17 Sep 2026 00:00:00 GMT Под пять дней висел в Init, 2413 попыток монтирования, полный ребут не помог. multipathd построил карту поверх iSCSI-устройства Longhorn и держал его открытым. https://stebas.com/ru/posts/rebalance-storm-deploy-signature/ https://stebas.com/ru/posts/rebalance-storm-deploy-signature/ Wed, 16 Sep 2026 00:00:00 GMT Алерт на ребалансы Kafka горел на 60 в час при каждом релизе. Метрика суммировалась по 40 консьюмерам и усреднялась по скользящему часу — алерт описывал прошлое. https://stebas.com/ru/posts/argocd-synced-but-field-pruned/ https://stebas.com/ru/posts/argocd-synced-but-field-pruned/ Tue, 15 Sep 2026 00:00:00 GMT Месяцы без метрик, фикс уже в git и зелёный Synced. Поля не было в схеме CRD, API-сервер его отрезал, и никто не пожаловался. https://stebas.com/ru/posts/liveness-probe-external-dependency/ https://stebas.com/ru/posts/liveness-probe-external-dependency/ Tue, 15 Sep 2026 00:00:00 GMT Две одинаковые реплики cloudflared — 330 и 13 рестартов. Liveness проверяла туннель до edge, поэтому каждая икота аплинка превращалась в SIGKILL. https://stebas.com/ru/posts/retry-loop-not-a-hang/ https://stebas.com/ru/posts/retry-loop-not-a-hang/ Mon, 14 Sep 2026 00:00:00 GMT Игра на моей Linux-машине зависала на экране загрузки, и известным лекарством был полный ребут. Пять секунд счётчиков из /proc показали горячий retry-цикл, который заканчивается одним SIGTERM. https://stebas.com/ru/posts/mutable-name-vs-contract/ https://stebas.com/ru/posts/mutable-name-vs-contract/ Mon, 07 Sep 2026 00:00:00 GMT Кто-то переименовал канал в Slack, и доставка алертов продакшен-системы молча умерла. Это был третий отказ на одном и том же идентификаторе — все прошлые фиксы меняли транспорт и оставляли имя. https://stebas.com/ru/posts/kafka-retention-segment-roll/ https://stebas.com/ru/posts/kafka-retention-segment-roll/ Sun, 06 Sep 2026 00:00:00 GMT Трафик вырос в 150 раз, а тома никто не пересматривал. Хуже того, при дефолтном роллинге сегментов retention в 7 дней на деле означал 7–14. Как мы выиграли время и устранили причину. https://stebas.com/ru/posts/gateway-api-policy-per-listener/ https://stebas.com/ru/posts/gateway-api-policy-per-listener/ Tue, 01 Sep 2026 00:00:00 GMT Все статусы зелёные, мой curl возвращал 401. А вход в WordPress был открыт всем: Gateway API привязывает политику к одному listener'у, а аннотации Ingress покрывали все порты. https://stebas.com/ru/posts/notready-was-memory-thrashing/ https://stebas.com/ru/posts/notready-was-memory-thrashing/ Mon, 31 Aug 2026 00:00:00 GMT Все сигналы говорили, что нода мертва. На деле она задыхалась от нехватки памяти, а очевидный фикс — удалить ноду и принудительно отцепить том — был в одной команде от порчи базы. https://stebas.com/ru/posts/vault-acl-mid-path-glob/ https://stebas.com/ru/posts/vault-acl-mid-path-glob/ Mon, 31 Aug 2026 00:00:00 GMT Протухший токен уронил оператор секретов. Его перевыпуск вскрыл более старый баг: 27 политик Vault со * в середине пути молча запрещали то, что объявляли, и прятали избыточные права. https://stebas.com/ru/posts/cnpg-replica-pg-rewind-loop/ https://stebas.com/ru/posts/cnpg-replica-pg-rewind-loop/ Fri, 28 Aug 2026 00:00:00 GMT После failover реплика CloudNativePG не смогла сделать rewind: её WAL-сегменты были нулевого размера, а каталог данных — в десять раз меньше, чем у primary. 23 часа никто не заметил, потому что метрики оператора не собирались. https://stebas.com/ru/posts/error-budget-burn-rate-alerts/ https://stebas.com/ru/posts/error-budget-burn-rate-alerts/ Wed, 26 Aug 2026 00:00:00 GMT Как мы собрали error budget для сервисов первого уровня из уже существующих метрик: SLO-цели по сервисам, multi-window burn-rate алерты, ряд в Grafana — и почему отрицательный бюджет сразу после запуска не был инцидентом. https://stebas.com/ru/posts/latency-triage-per-route/ https://stebas.com/ru/posts/latency-triage-per-route/ Wed, 26 Aug 2026 00:00:00 GMT Алерт на латентность уровня сервиса не называл ни одного эндпоинта. Разбивка по маршрутам показала внешний шлюз, проверку капчи, вызов провайдера — и набор ловушек измерения, которые увели бы нас не туда. https://stebas.com/ru/posts/rds-instance-to-multi-az-cluster-cutover/ https://stebas.com/ru/posts/rds-instance-to-multi-az-cluster-cutover/ Mon, 24 Aug 2026 00:00:00 GMT Плановый cutover почти без потери данных — и три ловушки: «техработы», которые не остановили запись, пароли, которые RDS не даёт скопировать, и дамп за 25 минут через VPN против 31 секунды внутри VPC. https://stebas.com/ru/posts/kafka-consumer-stall-hidden-by-group-rename/ https://stebas.com/ru/posts/kafka-consumer-stall-hidden-by-group-rename/ Fri, 21 Aug 2026 00:00:00 GMT Лаг консьюмера рос пять дней, потом упал в ноль и там остался. Выглядело как «само рассосалось». На деле консьюмер завис, метрика исчезла, а алерт зарезолвился сам. https://stebas.com/ru/posts/python-memory-leak-memray-in-production/ https://stebas.com/ru/posts/python-memory-leak-memray-in-production/ Mon, 17 Aug 2026 00:00:00 GMT Бэкенд падал по OOM каждые 10–15 часов. Почасовые снимки memray на живом поде нашли утечку в библиотечных middleware, а не в коде приложения — после того как первая попытка положила прод на семь минут. https://stebas.com/ru/posts/longhorn-to-linstor-migration/ https://stebas.com/ru/posts/longhorn-to-linstor-migration/ Sun, 16 Aug 2026 00:00:00 GMT Зачем мы заменили Longhorn на LINSTOR/DRBD на self-managed кластере, как каждая нагрузка переезжала своим способом и что пошло не так по дороге. https://stebas.com/ru/posts/ingress-nginx-to-envoy-gateway/ https://stebas.com/ru/posts/ingress-nginx-to-envoy-gateway/ Sat, 15 Aug 2026 00:00:00 GMT ingress-nginx ретирован и блокирует апгрейды Kubernetes. Как мы перевели 16 публичных хостов на Envoy Gateway: подняли новый вход рядом со старым и в самом конце поменяли только адрес. https://stebas.com/ru/posts/cnpg-barman-cloud-plugin-switchover/ https://stebas.com/ru/posts/cnpg-barman-cloud-plugin-switchover/ Fri, 14 Aug 2026 00:00:00 GMT CNPG убирает встроенную поддержку barmanObjectStore. У переключения нет валидного промежуточного состояния, у базы не было ни одного базового бэкапа, а один путь решает, работает ли ещё point-in-time recovery. https://stebas.com/ru/posts/four-checks-that-lied/ https://stebas.com/ru/posts/four-checks-that-lied/ Fri, 14 Aug 2026 00:00:00 GMT За один день миграций платформы четыре проверки сообщали об ошибке, хотя всё было в порядке. Когда один сигнал спорит со всеми остальными, первым подозревайте сам сигнал. https://stebas.com/ru/posts/alerts-that-cannot-fire/ https://stebas.com/ru/posts/alerts-that-cannot-fire/ Thu, 13 Aug 2026 00:00:00 GMT Пир Vault 32 часа был sealed, а секреты неделю не синхронизировались — при алерте VaultSealed в репозитории и здоровом Alertmanager. Инцидент спрятали два независимых сбоя. https://stebas.com/ru/posts/kernel-drift-was-uptime-drift/ https://stebas.com/ru/posts/kernel-drift-was-uptime-drift/ Thu, 13 Aug 2026 00:00:00 GMT Три разных ядра на семи нодах выглядели как незавершённые волны патчей и увели расследование по ложному следу. Патчи на всех нодах были одинаковые, различался только аптайм. https://stebas.com/ru/posts/kubectl-merge-patch-wiped-coredns/ https://stebas.com/ru/posts/kubectl-merge-patch-wiped-coredns/ Thu, 13 Aug 2026 00:00:00 GMT Однострочное обновление образа заменило всю спецификацию контейнера. CoreDNS потерял конфиг, тихо откатился на плагин whoami и отвечал на всё NOERROR без ответа. https://stebas.com/ru/posts/metallb-to-cilium-lb-ipam/ https://stebas.com/ru/posts/metallb-to-cilium-lb-ipam/ Thu, 13 Aug 2026 00:00:00 GMT В кластере был ровно один LoadBalancer IP, и от него зависели все маршруты. Как я передал его от MetalLB к Cilium без единой ошибки — дав обоим контроллерам поработать одновременно. https://stebas.com/ru/posts/vault-transit-auto-unseal/ https://stebas.com/ru/posts/vault-transit-auto-unseal/ Thu, 13 Aug 2026 00:00:00 GMT Каждый рестарт пода Vault заканчивался запечатанным хранилищем и замороженной синхронизацией секретов. Как мы добавили transit-провайдер, мигрировали raft-кластер из трёх нод и на чём споткнулись. https://stebas.com/ru/posts/vm-backup-freeze-cascade/ https://stebas.com/ru/posts/vm-backup-freeze-cascade/ Thu, 13 Aug 2026 00:00:00 GMT Четыре seal'а Vault за три недели, каждый разбирали как отдельный инцидент. Анализ пауз в journald показал, что гипервизор замораживает VM во время бэкапа, а Longhorn превращает это в каскад. https://stebas.com/ru/posts/gitlab-upgrade-signals-that-lie/ https://stebas.com/ru/posts/gitlab-upgrade-signals-that-lie/ Wed, 12 Aug 2026 00:00:00 GMT Рядовой минорный апгрейд self-hosted GitLab в Docker. Предварительная проверка насчитала 32 незавершённые миграции, а контейнер стал healthy, ничего не обслуживая. https://stebas.com/ru/posts/rolling-os-update-seven-nodes/ https://stebas.com/ru/posts/rolling-os-update-seven-nodes/ Wed, 12 Aug 2026 00:00:00 GMT Поочерёдное обновление Ubuntu в кластере, который хранит всё своё состояние сам. Предварительные проверки превратили страшную работу в скучную, а темп задавал Longhorn. https://stebas.com/ru/posts/stale-dhcp-route-killed-cluster/ https://stebas.com/ru/posts/stale-dhcp-route-killed-cluster/ Mon, 10 Aug 2026 00:00:00 GMT После ребута хоста около пятидесяти подов ушли в крашлуп, хотя все ноды были Ready. Причина — забытая DHCP-опция classless routes, которая молча убрала шлюз по умолчанию. https://stebas.com/ru/posts/vmalert-rules-no-hot-reload/ https://stebas.com/ru/posts/vmalert-rules-no-hot-reload/ Fri, 07 Aug 2026 00:00:00 GMT Новые правила для Kafka прошли через Git и Argo CD в ConfigMap, но vmalert их так и не начал оценивать. GitOps-конвейер оборвался на последнем шаге. https://stebas.com/ru/posts/grafana-capacity-forecast-dashboard/ https://stebas.com/ru/posts/grafana-capacity-forecast-dashboard/ Thu, 06 Aug 2026 00:00:00 GMT Как превратить тренд памяти в ETA до OOM и до заполнения диска на PromQL, два бага, из-за которых панель врала, и утечка, которую она поймала в первый же день. https://stebas.com/ru/posts/innodb-online-uncertain-rescan/ https://stebas.com/ru/posts/innodb-online-uncertain-rescan/ Thu, 06 Aug 2026 00:00:00 GMT Router флапает, оператор два дня висит в блокировке, CRD застыл на 2/3 — а все три члена InnoDB Cluster здоровы. Лечится одним rescan метаданных. https://stebas.com/ru/posts/vso-stuck-after-vault-seal/ https://stebas.com/ru/posts/vso-stuck-after-vault-seal/ Thu, 06 Aug 2026 00:00:00 GMT 38 из 43 VaultStaticSecret два дня висели с замёрзшей ошибкой. Unseal Vault и рестарт оператора ничего не дали; помогло изменение одного поля в spec. https://stebas.com/ru/posts/wordpress-redirect-loop-per-pod-salts/ https://stebas.com/ru/posts/wordpress-redirect-loop-per-pod-salts/ Thu, 06 Aug 2026 00:00:00 GMT wp-admin выкидывал обратно на страницу логина с reauth=1, но не всегда. Причина — случайные auth-соли, сгенерированные в каждом поде за балансировщиком без sticky-сессий. https://stebas.com/ru/posts/dbaas-master-ip-change/ https://stebas.com/ru/posts/dbaas-master-ip-change/ Fri, 31 Jul 2026 00:00:00 GMT 500 на логине, бэкенды в CrashLoopBackOff и зависший деплой выглядели как три проблемы. Все три оказались одним захардкоженным IP базы в конфиге pgbouncer. https://stebas.com/ru/posts/longhorn-eio-was-node-oom/ https://stebas.com/ru/posts/longhorn-eio-was-node-oom/ Fri, 31 Jul 2026 00:00:00 GMT EIO, ext4 в read-only, повреждённый datadir MySQL и запечатанный Vault выглядели как умирающий диск. dmesg хоста показал OOM на всю ноду, который первым убил instance-manager Longhorn. https://stebas.com/ru/posts/vault-shamir-reseals-on-restart/ https://stebas.com/ru/posts/vault-shamir-reseals-on-restart/ Fri, 31 Jul 2026 00:00:00 GMT Под Vault днями висел в Ready 0/1, пока кворум raft тихо держался на двух пирах. Никто его не запечатывал: Shamir без auto-unseal оставляет запечатанным каждый рестарт. https://stebas.com/ru/posts/longhorn-online-expansion-stuck-on-bad-node/ https://stebas.com/ru/posts/longhorn-online-expansion-stuck-on-bad-node/ Thu, 30 Jul 2026 00:00:00 GMT PVC бесконечно висел в Resizing, а Longhorn каждые пять секунд повторял расширение без единой ошибки. Устаревший attachment ticket держал том на одной нездоровой ноде. https://stebas.com/ru/posts/resize-immutable-sts-field/ https://stebas.com/ru/posts/resize-immutable-sts-field/ Thu, 30 Jul 2026 00:00:00 GMT В Git — 20 GiB, в живом StatefulSet — шаблоны на 6 GiB, а Argo CD показывает Synced. Как удаление с orphan и OnDelete пересобрали шаблон без простоя. https://stebas.com/ru/posts/crd-status-lies-stalled-controller/ https://stebas.com/ru/posts/crd-status-lies-stalled-controller/ Tue, 28 Jul 2026 00:00:00 GMT MySQL InnoDB Cluster пять дней работал без HA, а статус ресурса, фаза подов и readiness gate показывали здоровье. Все три сигнала шли от одного зависшего оператора. https://stebas.com/ru/posts/helm-pending-upgrade-lock/ https://stebas.com/ru/posts/helm-pending-upgrade-lock/ Mon, 13 Jul 2026 00:00:00 GMT Отменённая CI-джоба оставила два Helm-релиза в pending-upgrade и заблокировала все деплои. Как найти lock, безопасно его снять и проверить весь namespace разом. https://stebas.com/ru/posts/hello/ https://stebas.com/ru/posts/hello/ Thu, 16 Apr 2026 00:00:00 GMT Инфраструктура как продукт, GitOps, CI/CD, DevSecOps — предсказуемые релизы и безопасность в пайплайне.