LoadBalancer სერვისის ერთი ცვლილება — და პროდი ყველა TLS კავშირს წყვეტს
EKS-ზე, სადაც nginx-ingress NLB-ის უკან დგას, Service-ის ცვლილება target group-ებს ხელახლა ქმნის და proxy_protocol_v2 ჩუმად იკარგება. სტატუს-კოდი არ არის, სამიზნეები healthy-ა, Git-ში არაფერია — მშვიდ გარემოში კი ეს დღეობით ცოცხლობს.
სიმპტომი ყველაზე უხერხული სახის იყო: curl საჯარო ჰოსტზე OpenSSL SSL_connect: Connection reset by peer-ით ვარდებოდა. HTTP კოდი საერთოდ არ იყო. NLB-ის სამიზნეები healthy იყო, ingress-კონტროლერის pod-ები Running რესტარტების გარეშე, Argo CD მწვანე.
კონტროლერის ლოგში ერთი სასარგებლო სტრიქონი იყო, ბევრჯერ გამეორებული: broken header: "" while reading PROXY protocol.
რა მოხდა
სქემა გავრცელებულია: nginx-ingress EKS-ზე, გარეთ Network Load Balancer-ით, რომელსაც in-tree cloud provider ქმნის LoadBalancer ტიპის Service-იდან. კლიენტის რეალური IP-ის შესანარჩუნებლად target group-ებზე proxy_protocol_v2.enabled=true დგას, nginx კი use-proxy-protocol: true-ით უსმენს.
რამდენიმე დღით ადრე ვიღაცამ ეს Service შეცვალა. Service-ის ცვლილებისას — externalTrafficPolicy, ანოტაციები, პორტები, სელექტორი — in-tree პროვაიდერი target group-ებს ხელახლა ქმნის. ახალი ჯგუფები proxy_protocol_v2.enabled=false-ით იქმნება. ატრიბუტი არ გადადის.
nginx კი ისევ PROXY-სათაურს ელოდება. იღებს შიშველ TLS ClientHello-ს, ცდილობს მის სათაურად გარჩევას, ვერ ახერხებს და კავშირს წყვეტს. აქედანაა reset სტატუს-კოდის გარეშე.
მთავარი: ეს ატრიბუტი Git-ში არ არის და ვერც იქნება. ის მხოლოდ AWS-ში ცხოვრობს. Helm-მა მის შესახებ არ იცის, Argo CD-მ არ იცის, ვერც ერთი სინქრონიზაცია მას ვერ დააბრუნებს.
როგორ დავინახოთ
შეამოწმეთ ატრიბუტი ანგარიშის ყველა target group-ზე და შეუსაბამეთ ისინი NodePort-ით:
for arn in $(aws elbv2 describe-target-groups --query 'TargetGroups[].TargetGroupArn' --output text); do
pp=$(aws elbv2 describe-target-group-attributes --target-group-arn "$arn" \
--query 'Attributes[?Key==`proxy_protocol_v2.enabled`].Value' --output text)
port=$(aws elbv2 describe-target-groups --target-group-arns "$arn" \
--query 'TargetGroups[0].Port' --output text)
echo "$(basename "$arn") port=$port proxy_v2=$pp"
done
თუ ერთ ანგარიშში რამდენიმე კლასტერია, ჯგუფები NodePort-ით და NLB-ის DNS სახელის უკან მდგარი მისამართით შეუსაბამეთ, მაგრამ არასდროს სახელით. ავტომატური სახელები, როგორიცაა k8s-ingress-ingress-*, ერთმანეთისგან არ განსხვავდება და ცვლილება ადვილად სხვა გარემოში მოხვდება.
გამოსწორება
aws elbv2 modify-target-group-attributes --target-group-arn <arn> \
--attributes Key=proxy_protocol_v2.enabled,Value=true
გამოიყენეთ ორივე ბალანსერის ყველა target group-ზე, საჯაროზეც და შიდაზეც. სამიზნეები დაახლოებით 30 წამში ხდება healthy. შემოწმება — ნებისმიერი სტატუს-კოდი reset-ის ნაცვლად: 400 ან 403 ნიშნავს, რომ ცოცხალია, reset — ჯერ არა.
ნაღმი, საიდანაც ყველაფერი იწყება
თავად ცვლილება Service-ის externalTrafficPolicy: Local-ზე გადაყვანის მცდელობა იყო. PROXY-პროტოკოლთან ეს არ მუშაობს: Local health-check-ს kube-proxy-ის healthz პორტზე გადაიტანს, რომელიც ჩვეულებრივი HTTP-ით პასუხობს, target group კი PROXY-სათაურს ელოდება. ყველა სამიზნე unhealthy ხდება და ingress მთლიანად ვარდება.
Cluster-ზე დაბრუნება target group-ებს მეორედ ქმნის ხელახლა — და ისინი ატრიბუტს ისევ კარგავენ. ერთი წარუმატებელი ცვლილება ორ ხელით შეკეთებად ჯდება. თანაც ის საჭიროც კი არ არის: Cluster-ის დროს კლიენტის IP ისედაც PROXY-პროტოკოლით ნარჩუნდება.
რატომ გაჩუმდნენ ლოგები და მონიტორინგი
ორი მიზეზია და ორივეს ცოდნა ღირს.
კონტროლერი JSON access-ლოგს დიდი სიჩქარით წერს, kubelet კი ფაილს წუთებში აბრუნებს. kubectl logs | grep შეცდომებით სავსე ფანჯარაზე ნულს აბრუნებს — და ეს იკითხება როგორც „შეცდომები არასდროს ყოფილა“. გაზომეთ ცოცხალი ფანჯრით:
timeout 100 kubectl -n ingress logs -f <controller-pod> --tail=0 | grep -c 'broken header'
ტრაფიკის გარეშე გარემოში კი საერთოდ არაფერი ჩივის: მონიტორინგი დუმს, pod-ები ჯანმრთელია, სამიზნეები ჯანმრთელია. პროდაქშენი ასე რამდენიმე დღე იდგა, სანამ ხელით შემოწმებამ არ იპოვა.
დასკვნები
LoadBalancerსერვისის ნებისმიერმა ცვლილებამ in-tree პროვაიდერზე შეიძლება target group-ები ხელახლა შექმნას. ჩათვალეთ ის AWS-ის ცვლილებად და არა Kubernetes-ის.- მდგომარეობა, რომელიც მხოლოდ ღრუბელში ცხოვრობს, GitOps-ისთვის უხილავია. ჩაიწერეთ და Service-ის ყოველი ცვლილების შემდეგ ცალსახად შეამოწმეთ.
externalTrafficPolicy: Localდა PROXY-პროტოკოლი NLB-ზე შეუთავსებელია. კლიენტის IP-ის შესანარჩუნებლადLocalსაჭირო არ არის.- „Connection reset კოდის გარეშე“ პლუს
broken headernginx-ში PROXY-პროტოკოლის შეუსაბამობაა და არა TLS. - თუ ლოგები იმაზე სწრაფად ბრუნდება, ვიდრე კითხულობთ, შეცდომები ცოცხალ ფანჯარაში დათვალეთ.