ნოდის რებუტმა ათეულობით სატესტო გარემო გაყინა: მათი მზადყოფნის გეიტი პოდი იყო, რომელსაც მფლობელი არ ჰყავდა
ვორკერის ადგილზე რებუტის შემდეგ ყველა სატესტო გარემო, რომლის მონაცემებიც ამ ნოდზე იყო, საათობით Init-ში იდგა. ნოდა, ტომები და პლატფორმა წესრიგში იყო. მომზადების ნაბიჯები კონტროლერის გარეშე შიშველ Pod-ებად ეშვებოდა, რებუტმა ისინი წაშალა, აპლიკაციები კი იმ პოდს ელოდნენ, რომელიც აღარ არსებობდა.
სამუშაო კლასტერზე ოპერაციული სისტემის განახლებისას ვორკერებს ადგილზე, თითო-თითოდ ვტვირთავდი. ნოდა Ready დაბრუნდა, პლატფორმის პოდები ჯანმრთელი იყო, ლოკალური ტომები ხელუხლებელი. და მაინც, ყველა სატესტო გარემო, რომლის მონაცემებიც ამ ნოდზე ცხოვრობდა, დაბლა დარჩა: გარემოზე ~60 პოდიდან დაახლოებით 43 Init:0/3-ში ან Init:CrashLoopBackOff-ში იდგა — საათობით.
ერთი გარემო ზუსტად ასევე იყო გატეხილი ერთი დღით ადრე, ნოდაზე მომხდარი შეფერხების შემდეგ. ეს ნოდას არავინ დაუკავშირა.
რას ელოდნენ init-კონტეინერები
აპლიკაციის პოდის init-კონტეინერის ლოგმა პასუხი ერთ ხაზში მოგვცა:
kubectl -n <env-ns> logs <app-pod> -c migrate-completed
# Error from server (NotFound): pods "migrate" not found
ყოველ გარემოს CI-პაიპლაინი ნაბიჯების ჯაჭვით აწყობს: init, ბაზების ინიციალიზაციის რამდენიმე ნაბიჯი, migrate, ready. თითოეული ნაბიჯი კონტროლერის გარეშე შიშველი Pod-ია. აპლიკაციის პოდები არ ეშვება, სანამ ეს პოდები არ დასრულდება: მათი init-კონტეინერები პოდს პატარა ლოდინის სკრიპტით ამოწმებენ — დაახლოებით „დაელოდე, სანამ პოდი migrate Completed გახდება“.
ახალ დეპლოიზე ეს მუშაობს. პირველივე შემთხვევაში იშლება, როცა ნოდა მიდის.
ძირეული მიზეზი: მფლობელის არმქონე პოდს არავინ ქმნის ხელახლა
ნოდის რებუტი kubelet-ის graceful shutdown-ით, eviction ან drain ამ ნოდაზე მყოფ პოდებს შლის. Deployment-ის, StatefulSet-ის ან Job-ის პოდები ბრუნდება — მათ კონტროლერი ქმნის ხელახლა. ownerReferences-ის გარეშე პოდი უბრალოდ ქრება.
ასე დასრულებული პოდი migrate რებუტთან ერთად გაქრა. აპლიკაციის ყოველი პოდის ლოდინის ციკლმა არარსებული პოდის შემოწმება დაიწყო და მთელი გარემო Init-ში იდგა, სანამ ვინმე CI-დეპლოის თავიდან არ გაუშვებდა.
სწრაფი გზა იმის სანახავად, რომელი გარემოებია დაბლოკილი:
kubectl get pods -A -o json | jq -r '
[.items[] | select(.metadata.namespace | test("^test-[0-9]+$"))]
| group_by(.metadata.namespace)[]
| (.[0].metadata.namespace) as $ns
| ([.[] | select(.metadata.name == "migrate")][0].status.phase // "MISSING") as $m
| "\($ns) migrate=\($m)"'
გარემოების დაბრუნება CI-ს გარეშე
შემდეგი ნოდებისთვის პროცედურა შევცვალე: მფლობელის არმქონე პოდებს რებუტამდე ვინახავ და მის შემდეგ ხელახლა ვქმნი.
# რებუტამდე: მფლობელის არმქონე პოდების სპეკების შენახვა
kubectl get pods -A -o json \
| jq -c '.items[] | select(.metadata.namespace | test("^test-")) | select(.metadata.ownerReferences == null)' \
| while read -r p; do
ns=$(jq -r .metadata.namespace <<<"$p"); n=$(jq -r .metadata.name <<<"$p")
jq '{apiVersion:"v1", kind:"Pod",
metadata:{name:.metadata.name, namespace:.metadata.namespace, labels:.metadata.labels},
spec:(.spec | del(.nodeName))}' <<<"$p" > "bare-pods/$ns--$n.json"
done
# ნოდის დაბრუნების შემდეგ: დაკარგული და Failed პოდების ხელახლა შექმნა
for f in bare-pods/*.json; do
ns=$(jq -r .metadata.namespace "$f"); n=$(jq -r .metadata.name "$f")
ph=$(kubectl -n "$ns" get pod "$n" -o jsonpath='{.status.phase}' 2>/dev/null)
[ "$ph" = Failed ] && kubectl -n "$ns" delete pod "$n" --wait=true && ph=""
[ -z "$ph" ] && kubectl create -f "$f"
done
nodeName-ის წაშლა მნიშვნელოვანია: მის გარეშე პოდს ისევ შედულერი განათავსებს და არ მიაჭედებს ნოდას, რომელიც შეიძლება არ არსებობდეს. migrate არსებულ მონაცემებზე ხელახლა სრულდება. ეს უსაფრთხოა მხოლოდ იმიტომ, რომ აპლიკაციის ამ ვერსიის მიგრაციები იდემპოტენტურია — ეს პირველ რიგში შევამოწმე.
შედეგი: სამი გადატვირთული ნოდიდან ორზე მყოფი გარემოები CI-ს გარეშე დაბრუნდა. პირველ ნოდაზე მყოფები, რომლებიც რაიმეს შენახვამდე გატყდა, რედეპლოის საჭიროებდნენ.
ორი პრაქტიკული შენიშვნა:
- შენახულ სპეკებში შეიძლება გარემოს ცვლადების მნიშვნელობები იყოს. შეინახეთ ისინი ნებისმიერი რეპოზიტორიის გარეთ და გაუკეთეთ
chmod 600. - აღდგენის ნაბიჯი მხოლოდ ნოდის cordon-ის შემდეგ მოამზადეთ. პირობა „დაელოდე, სანამ ნოდა Ready და schedulable გახდება“ რებუტის დაწყებამდეც ჭეშმარიტია და მყისვე ამოქმედდება.
ნამდვილი შესწორება ჩარტს ეკუთვნის
გამოსავალი რებუტებს გადასატანს ხდის, მაგრამ დიზაინს არ ასწორებს. მომზადების ნაბიჯები Job-ები ან Helm hooks უნდა იყოს, აპლიკაციები კი Job-ის დასრულებას უნდა ელოდნენ და არა პოდის არსებობას. Job დასრულების სტატუსს მისი პოდის გაქრობის შემდეგაც ინახავს. შიშველი პოდის სტატუსი პოდთან ერთად ქრება.
დასკვნები
ownerReferences-ის არმქონე პოდს სამუდამოდ გაქრობამდე ნოდაზე ერთი მოვლენა აშორებს.kubectl get pods -A -o json | jq '... ownerReferences == null'ღირს გაუშვათ ნებისმიერ კლასტერზე drain-მდე.- „დაელოდე, სანამ პოდი X დასრულდება“ მყიფე კონტრაქტია. დაელოდეთ Job-ს ან მდგომარეობას, რომელიც პოდს გადაურჩება.
- იგივე ხარვეზი ნებისმიერ drain-ზე, eviction-ზე, ნოდის მტყუნებაზე ან kubelet-ის graceful shutdown-ზე იჩენს თავს და არა მხოლოდ დაგეგმილ რებუტებზე. თუ ერთი გარემო უკვე ერთი დღეა „შემთხვევით“ გატეხილია — ნახეთ, რა დაემართა მის ნოდას.
- სრულიად ჯანმრთელი პლატფორმა გაჭედილი აპლიკაციების ფონზე ჩვეულებრივ ნიშნავს, რომ კავშირი აპლიკაციის დონეზეა. ნოდას შეხებამდე init-კონტეინერების ლოგები წაიკითხეთ.