← ყველა სტატია

MySQL-ის ოპერატორმა ერთი მოვლენა გამოტოვა, Git-ის კონფიგი კი mysqld-მდე ვერ მივიდა

Too many connections ყველა საიტზე, კლასტერი 2/3-ზე ორმოცი საათი და Argo CD სტატუსით Synced. ტრიგერი საცავის ერთი შენელება იყო; ოპერატორის ორმა ფარულმა ქცევამ ის გადადებულ ავარიად აქცია.

მოთხოვნა ბუნდოვანი იყო: „ბაზას რაღაც სჭირს“. როცა შევხედე, საიტები 200-ს აბრუნებდნენ. მაგრამ ისტორია მიმდინარე მდგომარეობაზე უარესი იყო:

  • წინა საღამოს დაახლოებით საათნახევრის განმავლობაში ამ MySQL InnoDB Cluster-ზე ყველა WordPress-საიტი ლოგში წერდა Too many connections-ს და Lock wait timeout-ს, საათში ასობით;
  • კრიტიკული ალერტი „კლასტერი დეგრადირებულია“ და KubePodNotReady ერთ წევრზე ორმოცი საათი ენთო. კლასტერი ONLINE_PARTIAL-ში იყო, 3-დან 2, ნულოვანი მდგრადობით, და არავის არაფერი გაუკეთებია.

სამი ფენა, ერთი ტრიგერი.

ტრიგერი: საცავი ერთ ჰიპერვიზორზე

ერთი ჰიპერვიზორის ორივე VM — control plane-ის ნოდა და ვორკერი primary-ით — დისკის 85–108 % დატვირთვას და 18–23 წამის საშუალო ჩაწერის დაყოვნებას აჩვენებდა. სხვა ჰოსტების VM-ები თანაბარი იყო. primary-ზე InnoDB-მ სემაფორების ლოდინი დააგროვა, მომუშავე ნაკადები 4-დან 144-მდე გაიზარდა და კავშირების ლიმიტი ამოიწურა. იმავე ჰოსტზე მყოფმა etcd-ის წევრმა API-სერვერი შეანელა, და leader election-იანი კონტროლერები მთელ კლასტერში გადაიტვირთა.

მეორე ფენა: ოპერატორმა მოვლენა დაკარგა

იმ შენელების დროს ერთი წევრის პოდი ხელახლა შეიქმნა. ოპერატორი წევრს Group Replication-ში მხოლოდ პოდის შექმნის ან რესტარტის მოვლენაზე ამატებს და არა პერიოდული შემოწმებიდან. API-სერვერი ტაიმაუტებით პასუხობდა და ეს დამმუშავებელი არ გაშვებულა. mysqld სუფთად ჩაირთო, datadir რიგზე იყო, მაგრამ წევრი OFFLINE-ში იდგა და მისი readiness gate არ დაყენებულა. custom resource-ში lastProbeTime დაკარგული მოვლენის მომენტზე გაიყინა.

რამ არ უშველა: ოპერატორის რესტარტმა მისი სტატუსი ისევ პატიოსანი გახადა, მაგრამ წევრი არ დააბრუნა. წევრის პოდის წაშლამ უარესი გახადა: ოპერატორმა წაშლა გაიგო როგორც „ეს ინსტანსი კლასტერის მეტამონაცემებიდან ამოიღე“, ახალი პოდისთვის კი ლოგში ჩაწერა ignored pod event. ასე ნუ მოიქცევით.

ჯერ GTID-ის შემოწმებამ გაჭრა: წევრის gtid_executed primary-ის ქვესიმრავლე იყო, ზედმეტი ტრანზაქციები არ იყო, და primary-ს არაფერი წაეშალა, რაც წევრს ჯერ კიდევ სჭირდებოდა. ესე იგი, ინკრემენტული აღდგენა შესაძლებელი იყო:

dba.getCluster().addInstance(member, {recoveryMethod: 'incremental'})

RECOVERING → ONLINE დაახლოებით ცხრა წუთში. clone-ის და ტომის ხელახალი აწყობის გარეშე.

მესამე ფენა: Git-ის კონფიგი ვერ ჩამოვიდა

რატომ იყო კავშირების ლიმიტი საერთოდ 151? Git-ში კლასტერის spec.mycnf-ში გამოცხადებული იყო max_connections=500, ბინლოგების ერთდღიანი შენახვა და ბინლოგების შეკუმშვა, Argo CD კი Synced-ს აჩვენებდა. მაგრამ ოპერატორი spec.mycnf-ს თავის init-ConfigMap-ში რენდერავს ერთხელ, კლასტერის შექმნისას. ეს პარამეტრები მოგვიანებით დაემატა და ის ფაილი სამნახევარი თვე ცარიელი რჩებოდა.

ჭეშმარიტება ბაზაშია და არა Git-ში:

SELECT VARIABLE_NAME, VARIABLE_SOURCE
FROM performance_schema.variables_info
WHERE VARIABLE_NAME = 'max_connections';
-- COMPILED  <- თქვენ მიერ დაყენებულ მნიშვნელობას COMPILED არ უნდა ეწეროს

გვერდითი ეფექტი: ბინლოგების ნაგულისხმევი 30-დღიანი შენახვით ისინი 20 GiB-იან მონაცემთა ტომებზე 15 GB-დან 12-ს იკავებდნენ. შემდეგი ავარია უკვე გზაში იყო.

მხოლოდ კლასტერის 3/3-ზე დაბრუნების შემდეგ: სამი ცვლადის SET PERSIST ყველა წევრზე (რესტარტი არ სჭირდება და რესტარტებს უძლებს), ბინლოგების გაწმენდა, რომელმაც ტომები 76 %-დან 22 %-მდე გაათავისუფლა, და ConfigMap-ის პატჩი, რომ ხელახლა აწყობილი წევრი სწორი კონფიგით ჩაირთოს.

თანმიმდევრობა მნიშვნელოვანია. არასდროს გაწმინდოთ ბინლოგები დონორზე, სანამ წევრი ინკრემენტულად აღდგება: ის სწორედ ამ ფაილებს კითხულობს, და აღდგენა სრულ clone-ზე გადავა.

დასკვნები

  • ოპერატორს, რომელიც მოვლენებზე რეაგირებს, შეუძლია მოვლენა დაკარგოს, როცა API-სერვერი ნელა მუშაობს. თუ სტატუსი ერთ მომენტზე გაიყინა, შეამოწმეთ, ზუსტად რა გამოტოვა.
  • პოდის წაშლა ყველა ოპერატორისთვის უწყინარი „ბიძგი“ არ არის. ჯერ წაიკითხეთ, რას აკეთებს მისი წაშლის დამმუშავებელი.
  • Synced მხოლოდ იმას ამტკიცებს, რომ custom resource Git-ის ტოლია. კონფიგისთვის, რომელსაც ოპერატორი რენდერავს, შეამოწმეთ, რეალურად რით მუშაობს პროცესი.
  • კავშირების ლიმიტის აწევა საცავის შენელებას არ კურნავს, ის მხოლოდ შეცდომებს უფრო ხანგრძლივ ლოდინად აქცევს. ფესვი კლასტერის ქვემოთ იყო, ჰიპერვიზორის საცავში.
  • კრიტიკული ალერტი, რომელიც ორმოცი საათი ანთია, მარშრუტიზაციისა და პასუხისმგებლობის ხვრელია და არა მონიტორინგის წარმატება.