MySQL-ის ოპერატორმა ერთი მოვლენა გამოტოვა, Git-ის კონფიგი კი mysqld-მდე ვერ მივიდა
Too many connections ყველა საიტზე, კლასტერი 2/3-ზე ორმოცი საათი და Argo CD სტატუსით Synced. ტრიგერი საცავის ერთი შენელება იყო; ოპერატორის ორმა ფარულმა ქცევამ ის გადადებულ ავარიად აქცია.
მოთხოვნა ბუნდოვანი იყო: „ბაზას რაღაც სჭირს“. როცა შევხედე, საიტები 200-ს აბრუნებდნენ. მაგრამ ისტორია მიმდინარე მდგომარეობაზე უარესი იყო:
- წინა საღამოს დაახლოებით საათნახევრის განმავლობაში ამ MySQL InnoDB Cluster-ზე ყველა WordPress-საიტი ლოგში წერდა
Too many connections-ს დაLock wait timeout-ს, საათში ასობით; - კრიტიკული ალერტი „კლასტერი დეგრადირებულია“ და
KubePodNotReadyერთ წევრზე ორმოცი საათი ენთო. კლასტერიONLINE_PARTIAL-ში იყო, 3-დან 2, ნულოვანი მდგრადობით, და არავის არაფერი გაუკეთებია.
სამი ფენა, ერთი ტრიგერი.
ტრიგერი: საცავი ერთ ჰიპერვიზორზე
ერთი ჰიპერვიზორის ორივე VM — control plane-ის ნოდა და ვორკერი primary-ით — დისკის 85–108 % დატვირთვას და 18–23 წამის საშუალო ჩაწერის დაყოვნებას აჩვენებდა. სხვა ჰოსტების VM-ები თანაბარი იყო. primary-ზე InnoDB-მ სემაფორების ლოდინი დააგროვა, მომუშავე ნაკადები 4-დან 144-მდე გაიზარდა და კავშირების ლიმიტი ამოიწურა. იმავე ჰოსტზე მყოფმა etcd-ის წევრმა API-სერვერი შეანელა, და leader election-იანი კონტროლერები მთელ კლასტერში გადაიტვირთა.
მეორე ფენა: ოპერატორმა მოვლენა დაკარგა
იმ შენელების დროს ერთი წევრის პოდი ხელახლა შეიქმნა. ოპერატორი წევრს Group Replication-ში მხოლოდ პოდის შექმნის ან რესტარტის მოვლენაზე ამატებს და არა პერიოდული შემოწმებიდან. API-სერვერი ტაიმაუტებით პასუხობდა და ეს დამმუშავებელი არ გაშვებულა. mysqld სუფთად ჩაირთო, datadir რიგზე იყო, მაგრამ წევრი OFFLINE-ში იდგა და მისი readiness gate არ დაყენებულა. custom resource-ში lastProbeTime დაკარგული მოვლენის მომენტზე გაიყინა.
რამ არ უშველა: ოპერატორის რესტარტმა მისი სტატუსი ისევ პატიოსანი გახადა, მაგრამ წევრი არ დააბრუნა. წევრის პოდის წაშლამ უარესი გახადა: ოპერატორმა წაშლა გაიგო როგორც „ეს ინსტანსი კლასტერის მეტამონაცემებიდან ამოიღე“, ახალი პოდისთვის კი ლოგში ჩაწერა ignored pod event. ასე ნუ მოიქცევით.
ჯერ GTID-ის შემოწმებამ გაჭრა: წევრის gtid_executed primary-ის ქვესიმრავლე იყო, ზედმეტი ტრანზაქციები არ იყო, და primary-ს არაფერი წაეშალა, რაც წევრს ჯერ კიდევ სჭირდებოდა. ესე იგი, ინკრემენტული აღდგენა შესაძლებელი იყო:
dba.getCluster().addInstance(member, {recoveryMethod: 'incremental'})
RECOVERING → ONLINE დაახლოებით ცხრა წუთში. clone-ის და ტომის ხელახალი აწყობის გარეშე.
მესამე ფენა: Git-ის კონფიგი ვერ ჩამოვიდა
რატომ იყო კავშირების ლიმიტი საერთოდ 151? Git-ში კლასტერის spec.mycnf-ში გამოცხადებული იყო max_connections=500, ბინლოგების ერთდღიანი შენახვა და ბინლოგების შეკუმშვა, Argo CD კი Synced-ს აჩვენებდა. მაგრამ ოპერატორი spec.mycnf-ს თავის init-ConfigMap-ში რენდერავს ერთხელ, კლასტერის შექმნისას. ეს პარამეტრები მოგვიანებით დაემატა და ის ფაილი სამნახევარი თვე ცარიელი რჩებოდა.
ჭეშმარიტება ბაზაშია და არა Git-ში:
SELECT VARIABLE_NAME, VARIABLE_SOURCE
FROM performance_schema.variables_info
WHERE VARIABLE_NAME = 'max_connections';
-- COMPILED <- თქვენ მიერ დაყენებულ მნიშვნელობას COMPILED არ უნდა ეწეროს
გვერდითი ეფექტი: ბინლოგების ნაგულისხმევი 30-დღიანი შენახვით ისინი 20 GiB-იან მონაცემთა ტომებზე 15 GB-დან 12-ს იკავებდნენ. შემდეგი ავარია უკვე გზაში იყო.
მხოლოდ კლასტერის 3/3-ზე დაბრუნების შემდეგ: სამი ცვლადის SET PERSIST ყველა წევრზე (რესტარტი არ სჭირდება და რესტარტებს უძლებს), ბინლოგების გაწმენდა, რომელმაც ტომები 76 %-დან 22 %-მდე გაათავისუფლა, და ConfigMap-ის პატჩი, რომ ხელახლა აწყობილი წევრი სწორი კონფიგით ჩაირთოს.
თანმიმდევრობა მნიშვნელოვანია. არასდროს გაწმინდოთ ბინლოგები დონორზე, სანამ წევრი ინკრემენტულად აღდგება: ის სწორედ ამ ფაილებს კითხულობს, და აღდგენა სრულ clone-ზე გადავა.
დასკვნები
- ოპერატორს, რომელიც მოვლენებზე რეაგირებს, შეუძლია მოვლენა დაკარგოს, როცა API-სერვერი ნელა მუშაობს. თუ სტატუსი ერთ მომენტზე გაიყინა, შეამოწმეთ, ზუსტად რა გამოტოვა.
- პოდის წაშლა ყველა ოპერატორისთვის უწყინარი „ბიძგი“ არ არის. ჯერ წაიკითხეთ, რას აკეთებს მისი წაშლის დამმუშავებელი.
Syncedმხოლოდ იმას ამტკიცებს, რომ custom resource Git-ის ტოლია. კონფიგისთვის, რომელსაც ოპერატორი რენდერავს, შეამოწმეთ, რეალურად რით მუშაობს პროცესი.- კავშირების ლიმიტის აწევა საცავის შენელებას არ კურნავს, ის მხოლოდ შეცდომებს უფრო ხანგრძლივ ლოდინად აქცევს. ფესვი კლასტერის ქვემოთ იყო, ჰიპერვიზორის საცავში.
- კრიტიკული ალერტი, რომელიც ორმოცი საათი ანთია, მარშრუტიზაციისა და პასუხისმგებლობის ხვრელია და არა მონიტორინგის წარმატება.