რვა კრიტიკული ალერტიდან ექვსი იმ სერვისზე იყო, რომელიც უკვე გამოვრთეთ
ექსპლუატაციიდან გამოყვანილი პროდაქშენ-კლასტერის blackbox-პრობები თითქმის ერთი თვე ამოქმედდებოდა. პრობები სხვა კლასტერის კონფიგში ცხოვრობდნენ, ექსპლუატაციიდან გამოყვანამ კი მხოლოდ საკუთარი საქაღალდე გაასუფთავა.
მონიტორინგის დაფარვის რევიუს დროს აქტიური კრიტიკული ალერტების სიას შევხედე. რვა იყო. მათგან ექვსი — ProbeFailed, HttpStatusCode_2XX, HttpStatusCode_4XX — იმ პროდაქშენ-კლასტერის საჯარო endpoint-ებზე მიუთითებდა, რომელიც რამდენიმე კვირის წინ ექსპლუატაციიდან გამოიყვანეს.
ისინი თითქმის ერთი თვე ამოქმედდებოდნენ. თან ფლაპავდნენ: startsAt დღეში რამდენჯერმე ნულდებოდა, ამიტომ ალერტები არხში ისევ და ისევ მოდიოდა. ხალხი მიეჩვია, რომ მათ შეუხედავად გადაეფურცლა. ეს არის ხმაურის ნამდვილი ფასი: შემდეგი რეალური კრიტიკული ალერტი იმ არხში მოხვდება, რომელსაც ყველა უგულებელყოფს.
რატომ არაფერი სხვა მიანიშნებდა ამაზე
გამოყვანილი კლასტერი არც ერთ რიგს არ აგზავნიდა. არც ნოდების ალერტები, არც პოდების, არაფერი თავად კლასტერის დაშბორდებზე. ლაპარაკობდნენ მხოლოდ პრობები, რადგან ისინი ამ კლასტერში არ მუშაობდნენ.
კლასტერის მანიფესტები GitOps-რეპოზიტორიაში _old/ საქაღალდეში გადაიტანეს. Blackbox-ჯობები კი, რომლებიც მის დომენებს ამოწმებენ, სხვა კლასტერის vmagent-ის კონფიგში ცხოვრობდნენ: staging-კლასტერი პროდაქშენის edge-ს გარედან ამოწმებს და ეს კარგი სქემაა. ექსპლუატაციიდან გამოყვანა მხოლოდ პროდაქშენის საქაღალდეს შეეხო და პრობებმა სერვისს გადააცილეს.
დარწმუნდით, რომ სერვისი მკვდარია, მეტრიკების დაუჯერებლად
ჩავარდნილი პრობა ამბობს „მიუწვდომელია”. ის არ ამბობს „ექსპლუატაციიდან გამოყვანილია”. სანამ რამეს წავშლიდი, ეს სამი დამოუკიდებელი მხრიდან დავადასტურე: DNS-ში apex ცარიელი იყო, API დუმდა, მფლობელმა გამორთვა დაადასტურა.
ერთ სასარგებლო ფაქტს მაინც იძლევა მეტრიკები: იყო თუ არა პრობა შენახვის პერიოდში ერთხელ მაინც წარმატებული.
max_over_time((timestamp(probe_success{instance=~".*<domain>.*"} == 1))[30d:10m])
ცარიელი შედეგი — 30 დღეში არც ერთი წარმატებული პრობა.
წაშალეთ ფრთხილად
- იპოვეთ ყველა განსაზღვრება. GitOps-რეპოზიტორიაში დომენი და ჯობების სახელები მოვძებნე,
_old/და დაკომენტარებული ასლები უგულებელვყავი. - შეაფასეთ blast radius. ალერტების წესები ზოგადი იყო (
probe_success == 0). არც ერთი დაშბორდი ან წესი ამ ჯობებს არ მიმართავდა, ასე რომ რიგების წაშლა ალერტებს დახურავდა და სხვას არაფერს გატეხდა. - წაშალეთ მხოლოდ მკვდარი. ორი მკვდარი თარგეთი და ერთი ჯობი, რომელშიც მხოლოდ მკვდარი თარგეთები იყო. ცოცხალი თარგეთები და ჯობის საერთო სახელი დარჩა.
- დააკომიტეთ ოპტიმისტური ბლოკირებით. GitLab API-ით
last_commit_id-ით: კომიტი უარყოფილი იქნება, თუ ვინმემ ფაილი ჩემი წაკითხვის შემდეგ შეცვალა.
შეამოწმეთ მონაცემებით და არა სტატუსით
Synced Argo CD-ში მხოლოდ იმას ნიშნავს, რომ ConfigMap git-ს ემთხვევა. ხელახლა წაიკითხა თუ არა ის vmagent-მა — ცალკე კითხვაა. ამიტომ სემპლების ასაკი შევამოწმე:
time() - timestamp(up{job="<job>"}) # დარჩენილ თარგეთებს ყოველ სკრეიპზე ენულებათ
count(up{instance=~".*<domain>.*"}) # წაშლილები lookback-ფანჯრის შემდეგ ქრებიან
რიგები მყისიერი მოთხოვნებიდან მხოლოდ მოძველების ფანჯრის, დაახლოებით ხუთი წუთის, შემდეგ ქრება, ამიტომ ალერტები ამ დაყოვნებით დაიხურა. აქტიური ალერტები 52-დან 43-მდე შემცირდა, კრიტიკული — 8-დან 4-მდე.
უკან დაბრუნება — ერთი git revert, და Argo CD ჯობებს აღადგენდა.
დასკვნები
- სერვისის მონიტორინგი ხშირად სერვისის გარეთ ცხოვრობს. ექსპლუატაციიდან გამოყვანის ჩეკლისტს დაუმატეთ ნაბიჯი: მთელ GitOps-რეპოზიტორიაში სერვისის დომენების ძებნა — პრობები, egress allow-list-ები, DNS-ჩანაწერები.
- ხმაური უწყინარი არ არის. არხი, რომელიც წინასწარ ცნობილი ცრუ კრიტიკული ალერტებით არის სავსე, კრიტიკული ალერტების უგულებელყოფას აჩვევს.
- კითხვაზე „მკვდარია?” პასუხს DNS, API და მფლობელი იძლევიან და არა ჩავარდნილი პრობა.
Syncedgit-ზეა და არა გაშვებულ პროცესზე. შეამოწმეთ სემპლების ასაკით.