← ყველა სტატია

sleep(3)-ის რბოლა, დამტკიცებული ტესტით „დოზა — პასუხი“

ვორქსპეისების მომზადების გაშვებების დაახლოებით მესამედი ორი ერთი შეხედვით დაუკავშირებელი შეცდომით ვარდებოდა, CI-ში retry კი მხოლოდ აუარესებდა. ორივე შეცდომა ერთი ფიქსირებული ტაიმერიდან მოდიოდა, რომელიც LXC-კონტეინერის შიგნით systemd-ს ეჯიბრებოდა. ტაიმერის 3-დან 5, 7 და 10 წამზე შეცვლამ კორელაცია მტკიცებულებად აქცია.

CI-ფერმა სატესტო ვორქსპეისებს აწყობს: ვენდორის ინსტალერი LXC-კონტეინერს ქმნის, უშვებს და შიგნით კონფიგურაციის სკრიპტს ასრულებს. გაშვებების დაახლოებით მესამედი ვარდებოდა. retry-ები ლატარია იყო, ერთ ჰოსტზე კი თითქმის არასდროს შველოდა. ორი შეცდომა ჩნდებოდა, და ისინი ერთმანეთთან დაუკავშირებელს ჰგავდა:

  • პირველ მცდელობაზე: getcwd() failed: No such file or directory;
  • retry-ებზე: chown: cannot access '/run/mysqld'.

ერთს დაუნგრეიდს აბრალებდნენ, მეორეს — იმას, რომ ჰოსტი „განსაკუთრებულია“. ორივე ახსნა მცდარი იყო.

კოდი წაიკითხეთ და არა ლოგები

ინსტალერი კონტეინერს უშვებს და კონფიგურაციის სკრიპტის გაშვებამდე ფიქსირებულ sleep(3)-ს ელოდება. ის არ ელოდება, სანამ კონტეინერის შიგნით systemd ადრეულ ჩატვირთვას დაასრულებს. აქ ადრეული ჩატვირთვის ერთი იუნიტია მნიშვნელოვანი — systemd-tmpfiles-setup. ის ასუფთავებს /tmp-ს და ქმნის /run/mysqld-ს. მისი დაწყება systemd-journal-flush-ის უკან ცურავს, რომელიც 0,7-დან 5 წამამდე გრძელდებოდა.

ამან ორივე შეცდომა ერთ რბოლად ახსნა:

  • პირველი მცდელობა. კონფიგურაციის სკრიპტი ჯერ წამს-ორს ცარიელი ბაზების გახსნაზე ხარჯავს. მერე დაგვიანებით ეშვება tmpfiles, შლის სკრიპტის სამუშაო კატალოგს /tmp-ში, და შვილობილი shell stderr-ში წერს getcwd() failed. ინსტალერი stderr-ში ნებისმიერ გამოტანას შეცდომად თვლის.
  • Retry. მონაცემები უკვე არსებობს, ამიტომ სკრიპტი chown /run/mysqld-მდე წამზე ნაკლებში აღწევს — მანამ, სანამ tmpfiles კატალოგს შექმნის.

CI-ში retry აუარესებდა: ის მხოლოდ გაჩერება → sleep 90 → გაშვებას ასრულებდა, სუფთა ხელახალი ინსტალაციის გარეშე. ყოველი retry სწრაფი გზით პირდაპირ რბოლაში შედიოდა.

კორელაცია მტკიცებულება არ არის

ლოგების ტაიმინგები თეორიას ემთხვეოდა, მაგრამ დამთხვეული ტაიმინგები ისევ კორელაციაა. მიზეზის დასამტკიცებლად დოზას ვცვლიდი: ერთი თავისუფალი ჰოსტი, ინსტალერის ქეშირებული კოდი sleep-ის სხვა მნიშვნელობაზე შესწორებული, თითო გაშვება თითო მნიშვნელობაზე retry-ის გზით, ბოლოს ორიგინალი აღდგენილი და საკონტროლო ჯამით შემოწმებული.

დრო კონტეინერის გაშვებიდან; მარაგი = კონფიგურაციის სკრიპტის დაწყებას გამოკლებული tmpfiles-ის დასრულება:

sleep journal flush მარაგი შედეგი
3, ნულიდან 0,68 წმ +3,14 წმ ✅
3, retry 4,85 წმ ≈ −1,1 წმ ❌ chown /run/mysqld
5, retry 4,79 წმ +0,98 წმ ✅ ზღვარზე
7, retry 2,10 წმ +5,71 წმ ✅
10, retry 5,01 წმ +5,78 წმ ✅ ყველაზე ნელი flush

ვარდნა შეკვეთით ჩნდებოდა 3-ზე და ქრებოდა 5-ზე, 7-ზე და 10-ზე. კონფიგურაციის სკრიპტი ყოველთვის sleep(N) + 1,3 წმ-ზე იწყებოდა, ესე იგი ტაიმერი ერთადერთი ჩამკეტი იყო. ცვლადი journal flush იყო. თითო მნიშვნელობაზე ერთი გაშვებით ეს დემონსტრაციაა და არა ვარდნების სიხშირე, მაგრამ ეს მიზეზობრივი მტკიცებულებაა.

მეორე, დამოუკიდებელი შეფერხება

იმავე გაშვებებმა კიდევ ერთი პრობლემა აჩვენა: ქსელის ინიციალიზაციის იუნიტი კონტეინერის ყოველ ჩატვირთვას სამი წუთით აჩერებდა. ის basic.target-მდეა დალაგებული და netplan apply-ს უშვებს. networkctl reload-ს D-Bus სჭირდება, D-Bus basic.target-ს ელოდება, basic.target კი ქსელის იუნიტს. Deadlock, რომელსაც მხოლოდ 90-წამიანი ტაიმაუტები წყვეტს. თავად ქსელი გაშვებიდან 13,5 წამში იყო მორგებული; მხოლოდ ზედმეტი reload ეკიდა. ეს sleep-თან კავშირში არ იყო: შეფერხება ყველა მნიშვნელობაზე ერთნაირი იყო.

გამოსწორება

გვერდის ავლა sleep(10) მარაგის ხარჯზე მუშაობს, მაგრამ ეს ისევ ტაიმერია. თანაც ქეშირებული კოდი, რომელსაც ის აპატჩებს, ჰოსტის გადატვირთვისას იკარგება, და რბოლა ჩუმად ბრუნდება. ნამდვილი გამოსწორება — მოვლენის ლოდინი და არა დროის: systemctl is-system-running --wait (ან sysinit.target-ის ლოდინი) კონტეინერის შიგნით კონფიგურაციამდე. და კიდევ: cd / და mkdir -p /run/mysqld სკრიპტში, და stderr-ში გამოტანა შეცდომად არ ჩათვალოთ.

დასკვნები

  • ფიქსირებული sleep იმის გამოყენებამდე, რასაც სხვა პროცესი ქმნის, მარაგიანი რბოლაა. ის მუშაობს, სანამ მარაგი არ ამოიწურება.
  • ორი სხვადასხვა შეცდომა შეიძლება ერთი რბოლა იყოს — იმის მიხედვით, რა გზით მიდის კოდი დროის ერთსა და იმავე ფანჯრამდე.
  • Retry, რომელიც გასუფთავებას ტოვებს, შეიძლება ბაგს პირველ მცდელობაზე უფრო საიმედოდ ხვდებოდეს.
  • მიზეზის დასამტკიცებლად შეცვალეთ დოზა და უყურეთ, როგორ ჩნდება და ქრება ეფექტი. ერთი თავისუფალი ჰოსტი და ერთი საათი სჭირდება, და კამათი დასრულებულია.
  • „რატომ ვარდება ეს ჰოსტი უფრო ხშირად“ (აქ — უფრო ნელი journal flush) ძირეული მიზეზისგან ცალკე გაზომეთ. ეს სხვადასხვა კითხვებია.