← ყველა სტატია

30-წამიანი ქსელური ხარვეზი და შვიდი წუთი Kafka-ს მეტამონაცემების გარეშე: KRaft-ის არჩევნების ქარიშხალი

არც ერთი ბროკერი არ გადატვირთულა, ბექენდები კი NotLeaderForPartition-სა და რებალანსებში იხრჩობოდა. KRaft-ის კვორუმის ნაგულისხმევი ტაიმაუტები კავშირის დამყარების დროზე ხუთჯერ მოკლეა, და ერთი ხელახალი მიერთება არჩევნების თვითშენარჩუნებად ციკლად იქცევა.

ერთ საღამოს პროდაქშენ-პლატფორმის ბექენდებმა მასობრივად დაიწყეს შეცდომების სროლა: NotLeaderForPartitionError, NotControllerException, Heartbeat session expired, კონსიუმერ-ჯგუფები ისევ და ისევ რებალანსდებოდა. Kafka-ს pod-ებს RESTARTS 0 ჰქონდა. გარე 5xx თითქმის არ გაზრდილა — გატყდა მოვლენების შინა და არა HTTP. შვიდი წუთის შემდეგ ყველაფერი თავისით აღდგა.

„თავისით გაიარა“ გამოსწორება არ არის. კითხვა ის კი არ იყო, როგორ შეგვეჩერებინა ქარიშხალი, არამედ ის, რატომ იქცა მოკლე ქსელური ხარვეზი შვიდწუთიან მიუწვდომლობად.

რას აკეთებდნენ კონტროლერები

ბროკერების ლოგებში ათობით Completed transition to CandidateState იყო მზარდი ეპოქით: 52 ეპოქა 100 წამში. სანამ კვორუმი არ შეკრებილა, კონტროლერი მეტამონაცემების ჩაწერას არ იღებს — პარტიციების ლიდერები არ ირჩევა, ISR არ იცვლება. იმ პარტიციების პროდიუსერები და კონსიუმერები, რომელთა ლიდერი დაზარალებულ ნოდაზე იყო, უბრალოდ ჩერდება.

პირველი კითხვა — ვინ იყო იზოლირებული. ნუ ენდობით voteStates={0=UNRECORDED, ...}-ს: UNRECORDED მხოლოდ ნიშნავს „ხმა არ მიღებულა“, რაც ნორმალურია კანდიდატისთვის, რომელმაც უკვე საკუთარ თავს მისცა ხმა. დათვალეთ მიღებული vote-მოთხოვნები კონტროლერების მიხედვით. ორს დაახლოებით 20 ჰქონდა, მესამეს — 2. მოწყვეტილი ზუსტად ერთი კვანძი იყო და არა სამივე.

აირჩიეს — და დაკარგეს

ყველაზე საინტერესო: ლიდერები ირჩეოდა, თანაც მრავალჯერ. ერთი ციკლი მთლიანად:

20:54:39.429  c0  Completed transition to CandidateState(epoch=5879)
20:54:39.457  c0  Completed transition to Leader(localId=0, epoch=5879)   ← ლიდერი 28 მწ-ში
20:54:39.474  c2  FollowerState(fetchTimeoutMs=2000, leaderId=0)
20:54:41.468  c2  Become candidate due to fetch timeout                   ← 1994 მწ შემდეგ
20:54:42.453  c0  Completed transition to ResignedState(epoch=5879)

გვერდით კი — მიზეზი, რის გამოც ფოლოვერმა ვერ მოასწრო:

c2  Disconnecting from node 0 due to socket connection setup timeout. The timeout value is 11429 ms.

რატომ არის ეს ციკლი

KRaft-ის ნაგულისხმევი მნიშვნელობები:

პარამეტრი ნაგულისხმევი
controller.quorum.fetch.timeout.ms 2000
controller.quorum.election.timeout.ms 1000
controller.quorum.request.timeout.ms 2000
socket.connection.setup.timeout.ms 10000 (+ ჯიტერი)

კავშირის ხელახალი დამყარების ბიუჯეტი fetch-ის ბიუჯეტზე ხუთჯერ დიდია. ნებისმიერი მოვლენა, რომელიც კონტროლერებს ხელახლა მიერთებას აიძულებს, არჩევნებს გარანტიას აძლევს: ახალი ლიდერი პირველ fetch-ს 2 წამში ვერ აწვდის, რადგან კავშირი ჯერ კიდევ მყარდება, ფოლოვერი თავს კანდიდატად აცხადებს, ლიდერი უფლებამოსილებას იხსნის — და არჩევნები კავშირებს ისევ წყვეტს. ციკლი თავს თვითონ კვებავს. controller-ლისენერზე SASL-ის დროს ყოველი ხელახალი მიერთება handshake-საც მოიცავს.

ეს არის განსხვავება ტრიგერსა და გამაძლიერებელს შორის. ტრიგერი ერთ ნოდაზე 30-წამიანი ხარვეზი იყო. გამაძლიერებელმა ის შვიდ წუთამდე გაწელა. ერთი დღის შემდეგ ასეთივე ხარვეზი განმეორდა, მაგრამ კავშირები გადარჩა — ერთი არჩევნები, ორი წამი, ვერავინ შეამჩნია.

ეს ცნობილი პრობლემაა (KAFKA-16620) და ნაგულისხმევი მნიშვნელობები ყველგან ერთნაირია. სხვა გარემოების შემოწმებამ აჩვენა, რომ მშვიდი პროდი სინამდვილეში ყველაზე ნაკლებად დაზარალდა: არაპროდუქციულმა კლასტერებმა ხელუხლებელი ნაგულისხმევებით ორ კვირაში ასობით Become candidate დააგროვეს ფონურ ხმაურად.

გამოსწორება

controller.quorum.fetch.timeout.ms=10000
controller.quorum.election.timeout.ms=4000
controller.quorum.request.timeout.ms=5000

ინვარიანტი: fetch.timeout ≥ socket.connection.setup.timeout.ms, ხოლო election.timeout < fetch.timeout. ფასი: ნამდვილად მკვდარი კონტროლერის აღმოჩენა ~2 წამის ნაცვლად ~10 წამს დასჭირდება. 100 წამიან რყევასთან შედარებით ეს მომგებიანი გაცვლაა.

გაშვებისას ორი რამ სხვა ადგილებში უკვე გვიკბინა, ამიტომ ახლა მათ პირველ რიგში ვამოწმებ:

  • podManagementPolicy: Parallel rolling update-ზეც მოქმედებს. Kubernetes-ის დოკუმენტაცია ამბობს, რომ მხოლოდ სკალირებაზე, მაგრამ პრაქტიკაში კონტროლერი pod-ების განახლებებს შორის Ready-ს არ ელოდება (kubernetes#96218). სამკაციანი კვორუმისთვის ეს მთლიანი კვორუმის დაკარგვაა. გაუშვით ეტაპობრივად updateStrategy.rollingUpdate.partition-ით 2 → 1 → 0 და ნაბიჯებს შორის კვორუმი შეამოწმეთ.
  • დარწმუნდით, რომ იმიჯი ჯერ კიდევ იტვირთება. რესტარტი იმიჯს ხელახლა ითხოვს. თუ pod ქეშირებულ იმიჯზე ცხოვრობდა რეესტრიდან, რომელიც მას შემდეგ გაასუფთავეს, ის ImagePullBackOff-ში დაბრუნდება.

და შეამოწმეთ, სად დგას კონტროლერები რეალურად: სამიდან ორი ერთ ხელმისაწვდომობის ზონაში ნიშნავს, რომ ზონის დაკარგვა კვორუმის დაკარგვაა.

დასკვნები

  • RESTARTS 0 და ლიდერობის შეცდომების ქარიშხალი კვორუმია და არა ბროკერები. ლოგებში Become candidate ეძებეთ.
  • იზოლირებულ კვანძს მიღებული vote-მოთხოვნების რაოდენობით პოულობენ და არა voteStates-ით.
  • „აირჩიეს და დაკარგეს“ ნიშნავს, რომ გამაძლიერებელი ტაიმაუტებია. fetch.timeout კავშირის დამყარებაზე მოკლე არ უნდა იყოს.
  • ტრიგერი გამაძლიერებლისგან გამიჯნეთ. მოხსნილი გამაძლიერებელი წუთებს წამებად აქცევს; ტრიგერი მაინც ცალკე გამოძიებას საჭიროებს.
  • სანამ რამეს ინციდენტს დაარქმევთ, ფონი გაზომეთ: ზოგიერთ გარემოში ქარიშხალი ქრონიკული ხმაური იყო.