დისკის ალერტი მუშაობდა. მისი ზღვრები მაინც 19 დღე სიჩუმეს ნიშნავდა
მონაცემთა ბაზის ტომი 64%-ით იყო სავსე და დღეში 3,4 გიბ-ით იზრდებოდა, გუნდს კი არაფერი ესმოდა. ალერტინგის ჯაჭვის ყველა რგოლი ჯანმრთელი იყო. დეფექტი ზღვრებს შორის მანძილში იყო.
კოლეგამ მითხრა, რომ ბაზის თავისუფალი ადგილის ალერტი „არ ამოქმედდება”. მართვადი Postgres-კლასტერის ტომი 64%-ით იყო სავსე, დღეში დაახლოებით 3,4 გიბ-ით იზრდებოდა, საცავის ავტომასშტაბირება კი გამორთული იყო. ამის შესახებ ახალ სიგნალებს არავინ იღებდა.
ველოდი, რომ სადღაც გატეხილ რგოლს ვიპოვიდი. ვერ ვიპოვე.
ჯაჭვის გავლა რგოლ-რგოლ
როცა ალერტი „არ ამოქმედდება”, ის შეიძლება ხუთ ადგილას გატყდეს. თითოეული შევამოწმე:
- მეტრიკა. CloudWatch-ის ექსპორტერის რიგი თავისუფალი ადგილით ახალი იყო.
- გამოსახულება. მეტრიკების საცავზე ხელით გაშვებულმა მოსალოდნელი მნიშვნელობა დააბრუნა.
- წესი. 50%-იანი წესი vmalert-ში
firingმდგომარეობაში იყო. - მარშრუტი. Alertmanager ამ კლასტერის ალერტებს გუნდის არხში აგზავნიდა. არც severity-ის ფილტრი იყო და არც inhibit-წესი, რომელიც მას გადაყლაპავდა.
- მიწოდება. 50%-იანი შეტყობინება მივიდა. ერთხელ.
ყველაფერი მუშაობდა. პრობლემა ჯაჭვში კი არა, განლაგებაში იყო.
სიჩუმის არითმეტიკა
ზღვრები 50 / 75 / 90%-ზე იდგა. 50%-ზე ერთჯერადი პინგის შემდეგ შემდეგი ზღვარი 25 პუნქტში იყო. 256 გიბ ტომზე დღეში 3,4 გიბ ზრდისას ეს დაახლოებით 19 დღეა ერთი სიგნალის გარეშე, სანამ დისკი ივსება. 7-დღიანი predict_linear პროგნოზიც არსებობდა, მაგრამ ის მხოლოდ შევსებამდე ბოლო კვირაში იღვიძებს.
წესები სწორი იყო, გუნდს კი მაინც კვირობით სიჩუმე ჰქონდა. განცდა „ალერტი არ ამოქმედდება” სწორი იყო, თუმცა მის უკან მდგარი დიაგნოზი — არა.
ფორმულა ნებისმიერი სიმძლავრის ალერტისთვის მარტივად მოწმდება:
სიჩუმის დღეები = (ზღვრებს შორის მანძილი %-ში) × ზომა / ზრდა დღეში
თუ ეს რიცხვი იმ დროზე მეტია, რაც რეაგირებისთვის გჭირდებათ (ტომის გაზრდა, გასუფთავება, retention-ის მორგება), განლაგება არასწორია, თუნდაც ყოველი წესი სწორი იყოს.
გასწორება
ახალი ზღვრები: 60 (info) / 70 (warning) / 80 (warning) / 90 (critical), აბსოლუტური წესი „2 გიბ-ზე ნაკლები დარჩა” — უცვლელი. მიმდინარე ზრდისას 10-პუნქტიანი ბიჯი დაახლოებით შვიდ დღეში ერთ პინგს იძლევა.
Push-მდე ყოველი ახალი გამოსახულება ცოცხალ მონაცემებზე გავუშვი. როგორც მოსალოდნელი იყო, მხოლოდ 60%-იანი ზღვარი დაემთხვა. შემდეგ ჩვეულებრივი GitOps-გზა: წესების რეპოზიტორია, სინქრონიზაცია Argo CD-ში, vmalert-ის reload. Reload ცოტა ხნით ჩემს kubeconfig-ში ადმინისტრატორის ვადაგასულმა კლიენტის სერტიფიკატმა დაბლოკა — პატარა შეხსენება, რომ იმ წვდომების ვადებს უნდა ადევნოთ თვალი, რომლებზეც თქვენი runbook-ები დგას. ამის შემდეგ ყველა წესი health=ok იყო, 60%-იანი ზღვარი კი მაშინვე pending-ში გადავიდა.
შენიშვნები
- პროცენტი ჩაშენებული 256 გიბ-იდან ითვლება, რადგან ექსპორტერს გამოყოფილი ზომის მეტრიკა არ აქვს. ტომის ყოველი გაზრდის შემდეგ კონსტანტა უნდა განახლდეს.
- ალერტინგი ზრდას არ აჩერებს. ტომის გაზრდა ან retention-ზე მუშაობა მაინც ჩვენზეა.
დასკვნები
- ზღვრებს შორის მანძილი ზრდის სიჩქარეს შეადარეთ და არა მხოლოდ წესის სისწორე შეამოწმეთ. მანძილი გაყოფილი დღიურ ზრდაზე იმ დღეების რაოდენობაა, როცა გუნდს არაფერი ესმის.
- 7-დღიანი
predict_linearბოლო კვირის მაღვიძარაა და არა სიმძლავრის დაგეგმვა. - როცა ამბობენ „ალერტი არ ამოქმედდება”, მთელი ჯაჭვი გაიარეთ. მეტრიკა, გამოსახულება, წესის მდგომარეობა, მარშრუტი, მიწოდება. ზოგჯერ ყველა რგოლი წესრიგშია, ბაგი კი თავად ჩანაფიქრშია.