Одна правка LoadBalancer-сервиса — и прод рвёт каждое TLS-соединение
На EKS с nginx-ingress за NLB правка Service пересоздаёт target groups и молча теряет proxy_protocol_v2. Кода ответа нет, цели healthy, в Git ничего — а на тихом окружении это может жить днями.
Симптом был самого неудобного вида: curl на публичный хост падал с OpenSSL SSL_connect: Connection reset by peer. Никакого HTTP-кода. Цели NLB healthy, поды ingress-контроллера Running без рестартов, Argo CD зелёный.
В логе контроллера была одна полезная строка, повторённая много раз: broken header: "" while reading PROXY protocol.
Что произошло
Схема распространённая: nginx-ingress на EKS, наружу через Network Load Balancer, который in-tree cloud provider создаёт из Service типа LoadBalancer. Чтобы сохранить реальный IP клиента, у target groups стоит proxy_protocol_v2.enabled=true, а nginx слушает с use-proxy-protocol: true.
За несколько дней до этого кто-то поправил этот Service. При изменении Service — externalTrafficPolicy, аннотации, порты, селектор — in-tree провайдер пересоздаёт target groups. Новые группы поднимаются с proxy_protocol_v2.enabled=false. Атрибут не переносится.
nginx при этом продолжает ждать PROXY-заголовок. Получает голый TLS ClientHello, пытается разобрать его как заголовок, не может и рвёт соединение. Отсюда сброс без кода ответа.
Главное: этого атрибута нет в Git и быть не может. Он живёт только в AWS. Helm о нём не знает, Argo CD не знает, никакой синк его не вернёт.
Как увидеть
Проверить атрибут на всех target groups аккаунта и сопоставить их по NodePort:
for arn in $(aws elbv2 describe-target-groups --query 'TargetGroups[].TargetGroupArn' --output text); do
pp=$(aws elbv2 describe-target-group-attributes --target-group-arn "$arn" \
--query 'Attributes[?Key==`proxy_protocol_v2.enabled`].Value' --output text)
port=$(aws elbv2 describe-target-groups --target-group-arns "$arn" \
--query 'TargetGroups[0].Port' --output text)
echo "$(basename "$arn") port=$port proxy_v2=$pp"
done
Если в одном аккаунте несколько кластеров, сопоставляйте группы по NodePort и по адресу за DNS-именем NLB, но никогда по имени. Автоматические имена вида k8s-ingress-ingress-* неотличимы, и правка легко уедет не в то окружение.
Починка
aws elbv2 modify-target-group-attributes --target-group-arn <arn> \
--attributes Key=proxy_protocol_v2.enabled,Value=true
Применить ко всем target groups обоих балансировщиков, публичного и внутреннего. Цели становятся healthy примерно за 30 секунд. Проверка — любой код ответа вместо сброса: 400 или 403 значит живо, сброс — ещё нет.
Мина, из-за которой всё начинается
Сама правка была попыткой перевести Service на externalTrafficPolicy: Local. С PROXY-протоколом это не работает: Local переносит health-check на healthz-порт kube-proxy, а он отвечает обычным HTTP, тогда как target group ждёт PROXY-заголовок. Все цели уходят в unhealthy, ingress ложится целиком.
Откат на Cluster пересоздаёт target groups второй раз — и они снова теряют атрибут. Одна неудачная правка стоит двух ручных починок. И ведь она даже не нужна: при Cluster IP клиента и так сохраняется самим PROXY-протоколом.
Почему логи и мониторинг промолчали
Причин две, и обе стоит знать.
Контроллер пишет JSON access-лог с большой скоростью, kubelet ротирует файл за минуты. kubectl logs | grep по окну, полному ошибок, возвращает ноль — и это читается как «ошибок никогда не было». Мерить надо живым окном:
timeout 100 kubectl -n ingress logs -f <controller-pod> --tail=0 | grep -c 'broken header'
А на окружении без трафика не жалуется вообще ничего: мониторинг молчит, поды здоровы, цели здоровы. Продакшен простоял так несколько суток, пока его не нашла ручная проверка.
Выводы
- Любая правка
LoadBalancer-сервиса на in-tree провайдере может пересоздать target groups. Считайте её изменением в AWS, а не в Kubernetes. - Состояние, которое живёт только в облаке, для GitOps невидимо. Запишите его и проверяйте явно после каждой правки Service.
externalTrafficPolicy: Localи PROXY-протокол на NLB несовместимы. Чтобы сохранить IP клиента,Localне нужен.- «Connection reset без кода» плюс
broken headerв nginx — это рассинхрон PROXY-протокола, а не TLS. - Если логи ротируются быстрее, чем их читаешь, считайте ошибки в живом окне.