← ყველა სტატია

LoadBalancer სერვისის ერთი ცვლილება — და პროდი ყველა TLS კავშირს წყვეტს

EKS-ზე, სადაც nginx-ingress NLB-ის უკან დგას, Service-ის ცვლილება target group-ებს ხელახლა ქმნის და proxy_protocol_v2 ჩუმად იკარგება. სტატუს-კოდი არ არის, სამიზნეები healthy-ა, Git-ში არაფერია — მშვიდ გარემოში კი ეს დღეობით ცოცხლობს.

სიმპტომი ყველაზე უხერხული სახის იყო: curl საჯარო ჰოსტზე OpenSSL SSL_connect: Connection reset by peer-ით ვარდებოდა. HTTP კოდი საერთოდ არ იყო. NLB-ის სამიზნეები healthy იყო, ingress-კონტროლერის pod-ები Running რესტარტების გარეშე, Argo CD მწვანე.

კონტროლერის ლოგში ერთი სასარგებლო სტრიქონი იყო, ბევრჯერ გამეორებული: broken header: "" while reading PROXY protocol.

რა მოხდა

სქემა გავრცელებულია: nginx-ingress EKS-ზე, გარეთ Network Load Balancer-ით, რომელსაც in-tree cloud provider ქმნის LoadBalancer ტიპის Service-იდან. კლიენტის რეალური IP-ის შესანარჩუნებლად target group-ებზე proxy_protocol_v2.enabled=true დგას, nginx კი use-proxy-protocol: true-ით უსმენს.

რამდენიმე დღით ადრე ვიღაცამ ეს Service შეცვალა. Service-ის ცვლილებისას — externalTrafficPolicy, ანოტაციები, პორტები, სელექტორი — in-tree პროვაიდერი target group-ებს ხელახლა ქმნის. ახალი ჯგუფები proxy_protocol_v2.enabled=false-ით იქმნება. ატრიბუტი არ გადადის.

nginx კი ისევ PROXY-სათაურს ელოდება. იღებს შიშველ TLS ClientHello-ს, ცდილობს მის სათაურად გარჩევას, ვერ ახერხებს და კავშირს წყვეტს. აქედანაა reset სტატუს-კოდის გარეშე.

მთავარი: ეს ატრიბუტი Git-ში არ არის და ვერც იქნება. ის მხოლოდ AWS-ში ცხოვრობს. Helm-მა მის შესახებ არ იცის, Argo CD-მ არ იცის, ვერც ერთი სინქრონიზაცია მას ვერ დააბრუნებს.

როგორ დავინახოთ

შეამოწმეთ ატრიბუტი ანგარიშის ყველა target group-ზე და შეუსაბამეთ ისინი NodePort-ით:

for arn in $(aws elbv2 describe-target-groups --query 'TargetGroups[].TargetGroupArn' --output text); do
  pp=$(aws elbv2 describe-target-group-attributes --target-group-arn "$arn" \
        --query 'Attributes[?Key==`proxy_protocol_v2.enabled`].Value' --output text)
  port=$(aws elbv2 describe-target-groups --target-group-arns "$arn" \
          --query 'TargetGroups[0].Port' --output text)
  echo "$(basename "$arn") port=$port proxy_v2=$pp"
done

თუ ერთ ანგარიშში რამდენიმე კლასტერია, ჯგუფები NodePort-ით და NLB-ის DNS სახელის უკან მდგარი მისამართით შეუსაბამეთ, მაგრამ არასდროს სახელით. ავტომატური სახელები, როგორიცაა k8s-ingress-ingress-*, ერთმანეთისგან არ განსხვავდება და ცვლილება ადვილად სხვა გარემოში მოხვდება.

გამოსწორება

aws elbv2 modify-target-group-attributes --target-group-arn <arn> \
  --attributes Key=proxy_protocol_v2.enabled,Value=true

გამოიყენეთ ორივე ბალანსერის ყველა target group-ზე, საჯაროზეც და შიდაზეც. სამიზნეები დაახლოებით 30 წამში ხდება healthy. შემოწმება — ნებისმიერი სტატუს-კოდი reset-ის ნაცვლად: 400 ან 403 ნიშნავს, რომ ცოცხალია, reset — ჯერ არა.

ნაღმი, საიდანაც ყველაფერი იწყება

თავად ცვლილება Service-ის externalTrafficPolicy: Local-ზე გადაყვანის მცდელობა იყო. PROXY-პროტოკოლთან ეს არ მუშაობს: Local health-check-ს kube-proxy-ის healthz პორტზე გადაიტანს, რომელიც ჩვეულებრივი HTTP-ით პასუხობს, target group კი PROXY-სათაურს ელოდება. ყველა სამიზნე unhealthy ხდება და ingress მთლიანად ვარდება.

Cluster-ზე დაბრუნება target group-ებს მეორედ ქმნის ხელახლა — და ისინი ატრიბუტს ისევ კარგავენ. ერთი წარუმატებელი ცვლილება ორ ხელით შეკეთებად ჯდება. თანაც ის საჭიროც კი არ არის: Cluster-ის დროს კლიენტის IP ისედაც PROXY-პროტოკოლით ნარჩუნდება.

რატომ გაჩუმდნენ ლოგები და მონიტორინგი

ორი მიზეზია და ორივეს ცოდნა ღირს.

კონტროლერი JSON access-ლოგს დიდი სიჩქარით წერს, kubelet კი ფაილს წუთებში აბრუნებს. kubectl logs | grep შეცდომებით სავსე ფანჯარაზე ნულს აბრუნებს — და ეს იკითხება როგორც „შეცდომები არასდროს ყოფილა“. გაზომეთ ცოცხალი ფანჯრით:

timeout 100 kubectl -n ingress logs -f <controller-pod> --tail=0 | grep -c 'broken header'

ტრაფიკის გარეშე გარემოში კი საერთოდ არაფერი ჩივის: მონიტორინგი დუმს, pod-ები ჯანმრთელია, სამიზნეები ჯანმრთელია. პროდაქშენი ასე რამდენიმე დღე იდგა, სანამ ხელით შემოწმებამ არ იპოვა.

დასკვნები

  • LoadBalancer სერვისის ნებისმიერმა ცვლილებამ in-tree პროვაიდერზე შეიძლება target group-ები ხელახლა შექმნას. ჩათვალეთ ის AWS-ის ცვლილებად და არა Kubernetes-ის.
  • მდგომარეობა, რომელიც მხოლოდ ღრუბელში ცხოვრობს, GitOps-ისთვის უხილავია. ჩაიწერეთ და Service-ის ყოველი ცვლილების შემდეგ ცალსახად შეამოწმეთ.
  • externalTrafficPolicy: Local და PROXY-პროტოკოლი NLB-ზე შეუთავსებელია. კლიენტის IP-ის შესანარჩუნებლად Local საჭირო არ არის.
  • „Connection reset კოდის გარეშე“ პლუს broken header nginx-ში PROXY-პროტოკოლის შეუსაბამობაა და არა TLS.
  • თუ ლოგები იმაზე სწრაფად ბრუნდება, ვიდრე კითხულობთ, შეცდომები ცოცხალ ფანჯარაში დათვალეთ.