← ყველა სტატია

დისკის ალერტი მუშაობდა. მისი ზღვრები მაინც 19 დღე სიჩუმეს ნიშნავდა

მონაცემთა ბაზის ტომი 64%-ით იყო სავსე და დღეში 3,4 გიბ-ით იზრდებოდა, გუნდს კი არაფერი ესმოდა. ალერტინგის ჯაჭვის ყველა რგოლი ჯანმრთელი იყო. დეფექტი ზღვრებს შორის მანძილში იყო.

კოლეგამ მითხრა, რომ ბაზის თავისუფალი ადგილის ალერტი „არ ამოქმედდება”. მართვადი Postgres-კლასტერის ტომი 64%-ით იყო სავსე, დღეში დაახლოებით 3,4 გიბ-ით იზრდებოდა, საცავის ავტომასშტაბირება კი გამორთული იყო. ამის შესახებ ახალ სიგნალებს არავინ იღებდა.

ველოდი, რომ სადღაც გატეხილ რგოლს ვიპოვიდი. ვერ ვიპოვე.

ჯაჭვის გავლა რგოლ-რგოლ

როცა ალერტი „არ ამოქმედდება”, ის შეიძლება ხუთ ადგილას გატყდეს. თითოეული შევამოწმე:

  1. მეტრიკა. CloudWatch-ის ექსპორტერის რიგი თავისუფალი ადგილით ახალი იყო.
  2. გამოსახულება. მეტრიკების საცავზე ხელით გაშვებულმა მოსალოდნელი მნიშვნელობა დააბრუნა.
  3. წესი. 50%-იანი წესი vmalert-ში firing მდგომარეობაში იყო.
  4. მარშრუტი. Alertmanager ამ კლასტერის ალერტებს გუნდის არხში აგზავნიდა. არც severity-ის ფილტრი იყო და არც inhibit-წესი, რომელიც მას გადაყლაპავდა.
  5. მიწოდება. 50%-იანი შეტყობინება მივიდა. ერთხელ.

ყველაფერი მუშაობდა. პრობლემა ჯაჭვში კი არა, განლაგებაში იყო.

სიჩუმის არითმეტიკა

ზღვრები 50 / 75 / 90%-ზე იდგა. 50%-ზე ერთჯერადი პინგის შემდეგ შემდეგი ზღვარი 25 პუნქტში იყო. 256 გიბ ტომზე დღეში 3,4 გიბ ზრდისას ეს დაახლოებით 19 დღეა ერთი სიგნალის გარეშე, სანამ დისკი ივსება. 7-დღიანი predict_linear პროგნოზიც არსებობდა, მაგრამ ის მხოლოდ შევსებამდე ბოლო კვირაში იღვიძებს.

წესები სწორი იყო, გუნდს კი მაინც კვირობით სიჩუმე ჰქონდა. განცდა „ალერტი არ ამოქმედდება” სწორი იყო, თუმცა მის უკან მდგარი დიაგნოზი — არა.

ფორმულა ნებისმიერი სიმძლავრის ალერტისთვის მარტივად მოწმდება:

სიჩუმის დღეები = (ზღვრებს შორის მანძილი %-ში) × ზომა / ზრდა დღეში

თუ ეს რიცხვი იმ დროზე მეტია, რაც რეაგირებისთვის გჭირდებათ (ტომის გაზრდა, გასუფთავება, retention-ის მორგება), განლაგება არასწორია, თუნდაც ყოველი წესი სწორი იყოს.

გასწორება

ახალი ზღვრები: 60 (info) / 70 (warning) / 80 (warning) / 90 (critical), აბსოლუტური წესი „2 გიბ-ზე ნაკლები დარჩა” — უცვლელი. მიმდინარე ზრდისას 10-პუნქტიანი ბიჯი დაახლოებით შვიდ დღეში ერთ პინგს იძლევა.

Push-მდე ყოველი ახალი გამოსახულება ცოცხალ მონაცემებზე გავუშვი. როგორც მოსალოდნელი იყო, მხოლოდ 60%-იანი ზღვარი დაემთხვა. შემდეგ ჩვეულებრივი GitOps-გზა: წესების რეპოზიტორია, სინქრონიზაცია Argo CD-ში, vmalert-ის reload. Reload ცოტა ხნით ჩემს kubeconfig-ში ადმინისტრატორის ვადაგასულმა კლიენტის სერტიფიკატმა დაბლოკა — პატარა შეხსენება, რომ იმ წვდომების ვადებს უნდა ადევნოთ თვალი, რომლებზეც თქვენი runbook-ები დგას. ამის შემდეგ ყველა წესი health=ok იყო, 60%-იანი ზღვარი კი მაშინვე pending-ში გადავიდა.

შენიშვნები

  • პროცენტი ჩაშენებული 256 გიბ-იდან ითვლება, რადგან ექსპორტერს გამოყოფილი ზომის მეტრიკა არ აქვს. ტომის ყოველი გაზრდის შემდეგ კონსტანტა უნდა განახლდეს.
  • ალერტინგი ზრდას არ აჩერებს. ტომის გაზრდა ან retention-ზე მუშაობა მაინც ჩვენზეა.

დასკვნები

  • ზღვრებს შორის მანძილი ზრდის სიჩქარეს შეადარეთ და არა მხოლოდ წესის სისწორე შეამოწმეთ. მანძილი გაყოფილი დღიურ ზრდაზე იმ დღეების რაოდენობაა, როცა გუნდს არაფერი ესმის.
  • 7-დღიანი predict_linear ბოლო კვირის მაღვიძარაა და არა სიმძლავრის დაგეგმვა.
  • როცა ამბობენ „ალერტი არ ამოქმედდება”, მთელი ჯაჭვი გაიარეთ. მეტრიკა, გამოსახულება, წესის მდგომარეობა, მარშრუტი, მიწოდება. ზოგჯერ ყველა რგოლი წესრიგშია, ბაგი კი თავად ჩანაფიქრშია.