მეტრიკები ოთხი საათი არ იყო: კლასტერი ცოცხალი იყო, მონაცემები კი რიგში გაიჭედა
ჯანმრთელი პროდაქშენ-კლასტერისთვის სამი კრიტიკული ServiceAbsent ამოქმედდა. დეგრადირებულმა ქსელურმა გზამ remote-write FIFO-რიგად აქცია. მთავარი გადაწყვეტილება აგენტის გადაუტვირთაობა იყო.
პროდაქშენ-კლასტერისთვის სამი კრიტიკული ServiceAbsent ამოქმედდა. ცენტრალურ VictoriaMetrics-ში ამ კლასტერზე მყისიერი მოთხოვნები საერთოდ არაფერს აბრუნებდა. მასზე ყველა სხვა ალერტი გაჩუმდა, რადგან errors > threshold-ის მსგავსი წესი ცარიელ რიგს „პრობლემის არარსებობად” თვლის.
დაშბორდების მიხედვით კლასტერი მკვდარი ჩანდა. მკვდარი არ იყო.
ჯერ პროდუქტი, მერე მეტრიკები
პირველ ნაბიჯად თავად სერვისს შევხედე და არა მის ტელემეტრიას. საჯარო endpoint-ები 200-ით პასუხობდნენ, ყველა ნოდა Ready იყო. ავარია მხოლოდ დაკვირვებადობაში იყო. ამან პრიორიტეტი შეცვალა: მომხმარებლებთან ყველაფერი რიგზე იყო, ესე იგი, დრო იყო პრობლემის გასაგებად და არა რეაქციისთვის.
ჰკითხეთ აგენტს და არა ცენტრალურ ბაზას
ყოველ კლასტერში vmagent მუშაობს: ლოკალურად აგროვებს და ქსელით remote-write-ით წერს ცენტრალურ VictoriaMetrics-ში, რომელიც სხვა პროვაიდერთან დგას. როცა ცენტრალური მხარე ცარიელია, მიზეზს თავად აგენტის მეტრიკები ყვება:
curl -s localhost:8429/metrics | grep -E \
'^vmagent_remotewrite_(pending_data_bytes|requests_total|send_duration_seconds_total|packets_dropped_total)'
pending_data_bytesიზრდებოდა: პერსისტენტულმა რიგმა 1,1 გბ-ს მიაღწია.- წამები თითო მოთხოვნაზე (Δ
send_duration/ Δrequests) 0,46-დან 6,6-მდე გაიზარდა. - დანაკარგი — ნული, ყველა პასუხი 2XX.
არაფერი ვარდებოდა. ყოველი მოთხოვნა წარმატებით გადიოდა, უბრალოდ ნელა, და გამტარუნარიანობა მონაცემების შემოსვლის ტემპზე დაბლა ჩამოვიდა. რიგი FIFO-თი მუშაობს, ამიტომ ცენტრალური ბაზა სულ უფრო ძველ მონაცემებს იღებდა. „ახლა” დაახლოებით ოთხი საათი ცარიელი რჩებოდა, თუმცა არც ერთი სემპლი არ დაკარგულა.
საკონტროლო ჯგუფი გამოცნობის ნაცვლად
გზის ნელი მონაკვეთის საპოვნელად მსგავსი გზები შევადარე. იმავე რეგიონში სხვა ღრუბლოვანი ანგარიში ზუსტად ისევე დეგრადირდა. ცენტრალური ბაზის პროვაიდერის შიგნით არსებული კლასტერები — არა. ღრუბლის შიგნით მეორე remote-write-თარგეთი სწრაფი რჩებოდა. ესე იგი, ნელი იყო არხი ღრუბლოვან რეგიონსა და სხვა პროვაიდერს შორის და არა vmagent ან ცენტრალური ბაზა.
ერთი მცდარი კვალი აღნიშვნის ღირსია. იმავე წუთს, როცა არხი აღდგა, ცენტრალურ მხარეს ახალი ნოდები გამოჩნდა. ეს კორელაციაა და არა მიზეზი: ტრაფიკი ამ ნოდებზე საერთოდ არ გადიოდა.
გადაწყვეტილება — უმოქმედობა
აშკარა სვლა vmagent-ის გადატვირთვა იყო. და ყველაზე ცუდიც. რიგი emptyDir-ში იდო. იმავე პოდში კონტეინერის გადატვირთვას ის უძლებს, პოდის გადატვირთვა ან გადატანა კი მას შლის — ოთხი საათის მეტრიკებთან ერთად.
ამიტომ არხის აღდგენას დაველოდე და ვუყურებდი, როგორ იწმინდებოდა რიგი. ამის შემდეგ მთელ ფანჯარაზე რიგების უწყვეტობა შევამოწმე:
count(up{cluster="<c>"}) # range-მოთხოვნა, ბიჯი 15m: ცარიელი ბიჯი არ არის — ხვრელი არ არის
რიგი დაახლოებით ოთხ საათში დაიცალა, ალერტები დაიხურა, ხვრელები — ნული.
პატარა ხაფანგი ჩემსავე ინსტრუმენტებში
ჩემმა სადამკვირვებლო სკრიპტმა pending=0 და „რიგი ცარიელია” დაბეჭდა, როცა რიგში ჯერ კიდევ 790 მიბ იდო. სკრეიპი ტაიმაუტით ჩავარდა, ცვლადი ცარიელი დარჩა, printf %d-მა კი სიცარიელე ნულად აქცია. სკრიპტმა უნდა განასხვაოს „ვერ გავზომე” და „0”.
დასკვნები
absent()ვერ არჩევს „მკვდარს” „დაგვიანებულისგან”. დაუწყვილეთ მას ალერტი აგენტის რიგზე (იზრდება pending bytes, იზრდება წამები თითო მოთხოვნაზე), რომ ნამდვილ მიზეზს პირველ ხუთ წუთში ჰქონდეს სახელი.- მდუმარე დაშბორდი მწვანე დაშბორდი არ არის.
absent()-ის გარეშე წესები ბრმაა, სანამ მონაცემები არ არის. - სანამ რამეს გადატვირთავთ, გაარკვიეთ, სად ცხოვრობს ბუფერი. Remote-write-ის რიგი
emptyDir-ში პოდთან ერთად ქრება. თუ არხი არასტაბილურად არის ცნობილი, გამოიყენეთ PVC. - გამოიყენეთ საკონტროლო ჯგუფი. მსგავსი გზების შედარება „ქსელი ნელია”-ს ერთ კონკრეტულ არხად აქცევს.