RabbitMQ Kubernetes-ში: მეხსიერების განგაში, რომელიც ვერ ამოქმედდება, და კონფიგი, რომელიც არ იტვირთება
RabbitMQ-ის Helm-ჩარტის სამი ჩუმი ნაგულისხმევი მნიშვნელობა: მეხსიერების ზღვარი ნოდიდან ითვლება და არა კონტეინერიდან, ამიტომ OOM killer ყოველთვის პირველია; ConfigMap-ის ცვლილება ბროკერს არ რესტარტავს; ტომი PVC-სთან ერთად იშლება.
ვამოწმებდი RabbitMQ ბროკერს, რომელიც Kubernetes-კლასტერის შიგნით community Helm-ჩარტიდან მუშაობს, სანამ გარემო ექსპლუატაციაში შევიდოდა. ჯერ არაფერი გატეხილა. ეს დათვალიერებისთვის საუკეთესო მომენტია: ქვემოთ მოცემული სამივე აღმოჩენა უხილავია იმ დღემდე, როცა მათ შეტყობინებების შინა დაგიჯდებათ.
მეხსიერების განგაში, რომელიც ვერ ამოქმედდება
RabbitMQ-ს აქვს memory high watermark: მასთან მიღწევისას ბროკერი გამომცემლებს ბლოკავს, რომ მომხმარებლებმა რიგების დაცლა მოასწრონ. ეს დამცავი სარქველია, რომელიც მეხსიერების ამოწურვამდე უნდა ამოქმედდეს.
ამ ჩარტში memoryHighWatermark ნაგულისხმევად გამორთულია. მის გარეშე RabbitMQ იმ მეხსიერების 0,6-ს იღებს, რომელსაც ხედავს — კონტეინერის შიგნით კი ის ნოდის მეხსიერებას ხედავს. 8 GB-იან ნოდაზე ეს დაახლოებით 4,9 GB-ია, მაშინ როცა კონტეინერის ლიმიტი 2 GB იყო.
ანუ სარქველი ჭერზე მაღლა დგას. ბირთვის OOM killer ყოველთვის პირველი ასწრებს და ბროკერი კვდება, ნაცვლად იმისა, რომ გამომცემლები შეანელოს.
config:
memoryHighWatermark:
enabled: true
type: relative
value: 0.6
ორი დეტალი ყველაფერს წყვეტს:
- გასაღები
config-ის ქვეშაა და არა ზედა დონეზე. ჩარტისvalues.yaml-ში ის სექციის კომენტარის ქვეშ დგას, რის გამოც ძირეულს ჰგავს. არასწორი ჩადგმისას Helm ბლოკს ჩუმად აიგნორებს: რენდერი არ იცვლება, Argo CDSynced-ს აჩვენებს, ქცევა იგივე რჩება. სიმართლეს მხოლოდ დარენდერებული მანიფესტების diff ამბობს. type: relative-ის დროს ჩარტიtotal_memory_available_override_value-საც წერსresources.limits.memory-დან. ლიმიტი არ არის — ეს სტრიქონიც არ არის, და ზღვარი ისევ ნოდის მეხსიერებას უბრუნდება.
შემოწმება თავად ბროკერზე:
kubectl exec rabbitmq-0 -c rabbitmq -- rabbitmq-diagnostics status | grep -i 'high watermark'
კონფიგის ცვლილება, რომელიც არ მოქმედებს
StatefulSet-ს არ აქვს checksum-ანოტაცია ConfigMap-ზე და არც reloader უყურებს მას, rabbitmq.conf კი მხოლოდ პროცესის გაშვებისას იკითხება. სინქრონიზაციის შემდეგ დისკზე ფაილი ახალია, ბროკერი კი ძველით მუშაობს — და ეს ზუსტად ისე გამოიყურება, როგორც „ჩემი ცვლილება არ ამოქმედდა“.
kubectl rollout restart sts rabbitmq
ერთი რეპლიკის დროს ასეთი რესტარტი შინის გაწყვეტაა: გამომცემლები და მომხმარებლები ხელახლა უერთდებიან. ტრაფიკის გარეშე გარემოში ფასი ნულია, ამიტომ ასეთ ცვლილებებს გაშვებამდე აქვს ადგილი. Durable-რიგებმა რესტარტი დანაკარგის გარეშე გადაიტანეს; non-durable რიგების შეტყობინებები ვერ გადაიტანს.
ტომი, რომელიც მოთხოვნასთან ერთად მიდის
ბროკერის PVC შექმნილი იყო StorageClass-ზე reclaimPolicy: Delete-ით. PVC-ის წაშლა — დაუდევარი helm uninstall, prune Argo CD-ში — დისკს შინასთან ერთად შლის.
პოლიტიკის შეცვლა არსებულ PV-ზე შეიძლება, შეფერხების და ხელახლა შექმნის გარეშე:
pv=$(kubectl get pvc data-rabbitmq-0 -o jsonpath='{.spec.volumeName}')
kubectl patch pv "$pv" -p '{"spec":{"persistentVolumeReclaimPolicy":"Retain"}}'
მეორე მხარე: შენახული ტომი ღრუბელში რჩება და ფული უჯდება, სანამ ვინმე ხელით არ წაშლის. შინისა და ლოგებისთვის ეს სწორი გაცვლაა, მაგრამ ასეთი ტომების სია უნდა აწარმოოთ. იგივე გავაკეთე ამ გარემოს დანარჩენი stateful-ტომებისთვისაც.
რას არ წყვეტს ეს
ერთი რეპლიკა classic-რიგებით კვლავ მარცხის ერთადერთ წერტილად რჩება. quorum-რიგებზე გადასვლა აპლიკაციის საქმეა: რიგის ტიპს კლიენტი აცხადებს და არა ჩარტი. ეს დეველოპერებს ცალკე ამოცანად გადაეცათ.
დასკვნები
- ნოდიდან დათვლილი მეხსიერების ზღვარი კონტეინერში ზღვარი არ არის. ცალსახად დააყენეთ და კონტეინერის ლიმიტს მიაბით.
SyncedArgo CD-ში მხოლოდ იმას ნიშნავს, რომ რენდერი Git-ს ემთხვევა. არასწორ ადგილას მდგარი values-გასაღები არაფრად რენდერდება და მწვანედ რჩება. რენდერის diff ნახეთ.- თუ კონფიგი მხოლოდ გაშვებისას იკითხება და მისი ცვლილებისას pod-ს არაფერი რესტარტავს, კონფიგის ყოველი ცვლილება შეგნებულ რესტარტს მოითხოვს.
- გაშვებამდე ყველა stateful-ტომზე
reclaimPolicyშეამოწმეთ.Retainცოცხალ PV-ზე ერთი ბრძანებით ყენდება. - ასეთი ცვლილებები მაშინ გააკეთეთ, როცა გარემოში ტრაფიკი არ არის: იგივე რესტარტი დღეს უფასოა, ერთ თვეში კი — ინციდენტი.