← Все статьи

Одна правка LoadBalancer-сервиса — и прод рвёт каждое TLS-соединение

На EKS с nginx-ingress за NLB правка Service пересоздаёт target groups и молча теряет proxy_protocol_v2. Кода ответа нет, цели healthy, в Git ничего — а на тихом окружении это может жить днями.

Симптом был самого неудобного вида: curl на публичный хост падал с OpenSSL SSL_connect: Connection reset by peer. Никакого HTTP-кода. Цели NLB healthy, поды ingress-контроллера Running без рестартов, Argo CD зелёный.

В логе контроллера была одна полезная строка, повторённая много раз: broken header: "" while reading PROXY protocol.

Что произошло

Схема распространённая: nginx-ingress на EKS, наружу через Network Load Balancer, который in-tree cloud provider создаёт из Service типа LoadBalancer. Чтобы сохранить реальный IP клиента, у target groups стоит proxy_protocol_v2.enabled=true, а nginx слушает с use-proxy-protocol: true.

За несколько дней до этого кто-то поправил этот Service. При изменении Service — externalTrafficPolicy, аннотации, порты, селектор — in-tree провайдер пересоздаёт target groups. Новые группы поднимаются с proxy_protocol_v2.enabled=false. Атрибут не переносится.

nginx при этом продолжает ждать PROXY-заголовок. Получает голый TLS ClientHello, пытается разобрать его как заголовок, не может и рвёт соединение. Отсюда сброс без кода ответа.

Главное: этого атрибута нет в Git и быть не может. Он живёт только в AWS. Helm о нём не знает, Argo CD не знает, никакой синк его не вернёт.

Как увидеть

Проверить атрибут на всех target groups аккаунта и сопоставить их по NodePort:

for arn in $(aws elbv2 describe-target-groups --query 'TargetGroups[].TargetGroupArn' --output text); do
  pp=$(aws elbv2 describe-target-group-attributes --target-group-arn "$arn" \
        --query 'Attributes[?Key==`proxy_protocol_v2.enabled`].Value' --output text)
  port=$(aws elbv2 describe-target-groups --target-group-arns "$arn" \
          --query 'TargetGroups[0].Port' --output text)
  echo "$(basename "$arn") port=$port proxy_v2=$pp"
done

Если в одном аккаунте несколько кластеров, сопоставляйте группы по NodePort и по адресу за DNS-именем NLB, но никогда по имени. Автоматические имена вида k8s-ingress-ingress-* неотличимы, и правка легко уедет не в то окружение.

Починка

aws elbv2 modify-target-group-attributes --target-group-arn <arn> \
  --attributes Key=proxy_protocol_v2.enabled,Value=true

Применить ко всем target groups обоих балансировщиков, публичного и внутреннего. Цели становятся healthy примерно за 30 секунд. Проверка — любой код ответа вместо сброса: 400 или 403 значит живо, сброс — ещё нет.

Мина, из-за которой всё начинается

Сама правка была попыткой перевести Service на externalTrafficPolicy: Local. С PROXY-протоколом это не работает: Local переносит health-check на healthz-порт kube-proxy, а он отвечает обычным HTTP, тогда как target group ждёт PROXY-заголовок. Все цели уходят в unhealthy, ingress ложится целиком.

Откат на Cluster пересоздаёт target groups второй раз — и они снова теряют атрибут. Одна неудачная правка стоит двух ручных починок. И ведь она даже не нужна: при Cluster IP клиента и так сохраняется самим PROXY-протоколом.

Почему логи и мониторинг промолчали

Причин две, и обе стоит знать.

Контроллер пишет JSON access-лог с большой скоростью, kubelet ротирует файл за минуты. kubectl logs | grep по окну, полному ошибок, возвращает ноль — и это читается как «ошибок никогда не было». Мерить надо живым окном:

timeout 100 kubectl -n ingress logs -f <controller-pod> --tail=0 | grep -c 'broken header'

А на окружении без трафика не жалуется вообще ничего: мониторинг молчит, поды здоровы, цели здоровы. Продакшен простоял так несколько суток, пока его не нашла ручная проверка.

Выводы

  • Любая правка LoadBalancer-сервиса на in-tree провайдере может пересоздать target groups. Считайте её изменением в AWS, а не в Kubernetes.
  • Состояние, которое живёт только в облаке, для GitOps невидимо. Запишите его и проверяйте явно после каждой правки Service.
  • externalTrafficPolicy: Local и PROXY-протокол на NLB несовместимы. Чтобы сохранить IP клиента, Local не нужен.
  • «Connection reset без кода» плюс broken header в nginx — это рассинхрон PROXY-протокола, а не TLS.
  • Если логи ротируются быстрее, чем их читаешь, считайте ошибки в живом окне.