← ყველა სტატია

მიგრაციების ჯობი, როგორც აგდებული მონეტა: ClickHouse სქემის ვერსიას თითოეულ რეპლიკაზე ცალ-ცალკე ინახავდა

alembic_version-იდან SELECT სხვადასხვა რევიზიას აბრუნებდა იმის მიხედვით, რომელი ნოდა უპასუხებდა. ვერსიების ცხრილი არასოდეს რეპლიცირდებოდა, მისი შექმნის თარიღმა კი იწინასწარმეტყველა, რომელი გარემოები დაზიანდა.

ბაგ-რეპორტი მოკლე იყო: SELECT * FROM alembic_version staging-გარემოზე სხვადასხვა რევიზიას აბრუნებს იმის მიხედვით, ClickHouse-ის რომელი ნოდა უპასუხებს. ავტორს აწუხებდა, რომ ერთ დღეს მიგრაციების ჯობი ჩამორჩენილ ნოდაზე დაჯდებოდა და უკვე გამოყენებულ მიგრაციებს თავიდან გაუშვებდა.

თავად ჯობი მონეტასავით იქცეოდა. ზოგი გაშვება მწვანე იყო. ზოგი Can't locate revision identified by '<rev>'-ით ვარდებოდა.

რატომ შეიძლება ვერსიების ცხრილი თითოეულ ნოდაზე თავისი იყოს

ClickHouse-ში ცხრილი მხოლოდ მაშინ რეპლიცირდება, თუ მისი ძრავა Replicated*-ია და ის ON CLUSTER-ით შეიქმნა. Alembic თავის ვერსიების ცხრილს მიგრაციით არ ქმნის. ამ სტეკში მას clickhouse-sqlalchemy აპატჩებს და პატჩი ძრავას ირჩევს:

if 'cluster' in kwargs:
    version.engine = engines.ReplicatedReplacingMergeTree(...)   # ON CLUSTER, რეპლიცირდება
else:
    version.engine = engines.ReplacingMergeTree(...)             # ლოკალური, თითოეულ ნოდაზე თავისი

cluster არგუმენტი მიგრაციების გარემოში რაღაც მომენტში დაემატა. Alembic თავის ვერსიების ცხრილს არასოდეს მიგრირებს, ამიტომ პატჩი მხოლოდ CREATE-ზე მოქმედებს. ყოველი ბაზა, რომელიც ამ ცვლილებამდე შეიქმნა, თითოეულ რეპლიკაზე ცალკე ლოკალურ ვერსიების ცხრილს ინარჩუნებდა და თავის თავს ვერ გაასწორებდა.

მიგრატორი ჩვეულებრივი Kubernetes Service-ით უერთდება, რომელიც რეპლიკებს შორის აბალანსებს. ყოველი გაშვება შემთხვევით ნოდაზე ჯდება, მის ვერსიას კითხულობს, მიგრაციებს იქიდან აგორებს და შედეგს იქვე წერს. ნოდები ერთმანეთს შორდებიან და ყოველი გაშვება მდგომარეობას აუარესებს.

შექმნის თარიღმა ძრავა იწინასწარმეტყველა

ერთმა დეტალმა დიაგნოზი ძალიან დააჩქარა. Alembic ვერსიას ALTER TABLE ... UPDATE version_num-ით ანახლებს. dt სვეტი ReplacingMergeTree-ის ვერსიის სვეტია და ეს მუტაცია მას არ ეხება. ესე იგი, ვერსიის სტრიქონში dt პირველი INSERT-ის თარიღია, ანუ ცხრილის შექმნის თარიღი.

ოთხ გარემოზე წესი გამონაკლისის გარეშე გამართლდა. ერთი ბაზა, რომელიც პატჩამდე შეიქმნა — ლოკალური ძრავა და სხვადასხვა ვერსია. სამი, რომლებიც მის შემდეგ შეიქმნა — რეპლიცირებადი ძრავა და ერთი ვერსია. ავად მხოლოდ ყველაზე ძველი გარემო აღმოჩნდა.

წაიკითხეთ ყველა რეპლიკა და არა Service

Service-ით მოთხოვნა ერთ შემთხვევით ნოდას გაჩვენებთ და მთელი ბაგი სწორედ ამის უკან იმალებოდა. დიაგნოსტიკა clusterAllReplicas-ით უნდა მოხდეს:

SELECT hostName() AS host, engine
FROM clusterAllReplicas('default', system.tables)
WHERE database = '<db>' AND name = 'alembic_version';

SELECT hostName() AS host, version_num, dt
FROM clusterAllReplicas('default', <db>.alembic_version);

ვერსიას რომ შევხებოდი, მანამდე შევამოწმე, რომ რეალური სქემა ყველა რეპლიკაზე ემთხვეოდა — system.columns-ის ანაბეჭდით:

SELECT hostName() AS host, count() AS cols,
       sum(cityHash64(table, name, type)) AS fingerprint
FROM clusterAllReplicas('default', system.columns)
WHERE database = '<db>' GROUP BY host;

1 147 სვეტი და ერთნაირი ჰეში ყველა ნოდაზე. სქემა იდენტური იყო. მხოლოდ ვერსიის სტრიქონი იტყუებოდა.

კიდევ ერთი სიურპრიზი იყო. ჩამორჩენილ რეპლიკაზე ისეთი რევიზია იდო, რომელიც რეპოზიტორიის ისტორიაში არსად არ იყო. Alembic უცნობი რევიზიიდან გზას ვერ აგებს, ამიტომ ნებისმიერი DDL-ის შესრულებამდე ვარდებოდა. ეს იღბლიანი შემთხვევა იყო. ვალიდური ძველი რევიზიით alembic მიგრაციებს ჩუმად თავიდან გაუშვებდა, ზოგიერთი მათგანი კი materialized view-ებს არაატომურად ქმნის თავიდან.

შეკეთება

  1. შექმენით ახალი ვერსიების ცხრილი ReplicatedReplacingMergeTree ON CLUSTER-ით, იმავე სვეტებით.
  2. ჩასვით head-რევიზია ერთხელ, ON CLUSTER-ის გარეშე. დანარჩენს რეპლიკაცია გაავრცელებს.
  3. დაელოდეთ, სანამ სტრიქონი ყველა რეპლიკაზე გამოჩნდება. ჩასმისთანავე ის მხოლოდ ერთ ნოდაზე ჩანდა. ეს ასინქრონული რეპლიკაციის წამობრივი ლაგია და არა Keeper-ში გატეხილი გზა.
  4. EXCHANGE TABLES ძველი და ახალი ცხრილებისთვის ON CLUSTER-ით. ბაზის ძრავა Atomic უნდა იყოს.

ძველი ლოკალური ცხრილი ახლის სახელით რჩება. ეს ერთადერთი უკან დაბრუნებაა: იგივე EXCHANGE კიდევ ერთხელ. ორ მწვანე დეპლოიმდე მას არ წავშლიდი. შეკეთების შემდეგ მიგრაციების ჯობი ზედიზედ ორჯერ მწვანედ დასრულდა.

დასკვნები

  • მიგრაციების მდგომარეობა თითოეულ რეპლიკაზე შეამოწმეთ. დაბალანსებული კავშირი შემთხვევით ნოდას აჩვენებს და განსხვავებას მალავს.
  • მწვანე მიგრაციების ჯობი არ ამტკიცებს, რომ head-ზე ხართ, სანამ ვერსიების ცხრილი ლოკალურია.
  • ცხრილები, რომლებსაც ბიბლიოთეკა თქვენ მაგივრად ქმნის, თქვენი მიგრაციებით არ მიგრირდება. კოდის გასწორება მხოლოდ ახალ გარემოებს კურნავს. ძველებს ერთჯერადი შეკეთება სჭირდებათ.
  • დაამატეთ preflight, რომელიც ჯობს upgrade head-მდე ჩააგდებს, თუ ვერსიების ცხრილის ძრავა Replicated* არ არის ან რეპლიკები ვერსიაში ერთმანეთს არ ემთხვევიან.