← ყველა სტატია

სახლის Kubernetes-კლასტერი სუფთა kubeadm-ზე გადავაწყვე. აი, რა გამოაჩინა გადაწყობამ

ძველი kubespray-კლასტერი ერთ დღეში სუფთა kubeadm-ზე გადავაწყვე. გეგმამ იმუშავა, გაკვეთილი კი ექვსი რამ გახდა, რაც მხოლოდ შემთხვევით მუშაობდა.

ჩემს სახლის ლაბორატორიაში შვიდნოდიანი Kubernetes-კლასტერი მუშაობს: სამი control-plane და ოთხი worker, ყველა ერთ ჰიპერვიზორზე გაშვებული VM. ის kubespray-ით ავაწყვე, მაგრამ kubespray-ის ის ასლი, რომლითაც ავაწყვე, დიდი ხანია დაიკარგა. მას შემდეგ ყველა აპგრეიდი ხელით კეთდებოდა იმაზე, რაც kubespray-მა დატოვა:

  • etcd გარე systemd-სერვისად მუშაობდა საკუთარი სერტიფიკატებით, რომლებსაც kubeadm upgrade არ ეხება;
  • API-ის მისამართი პირველი მასტერის IP იყო, ასე რომ „მაღალი ხელმისაწვდომობის“ control plane-ს ერთი წერტილი ჰქონდა, რომლის გათიშვაც ყველაფერს აჩერებდა;
  • CoreDNS-ს ხელით შესწორებული Corefile ჰქონდა და ყოველ აპგრეიდზე CoreDNS-ის ფაზის გამოტოვება იყო საჭირო, რომ შესწორებები გადარჩენილიყო;
  • kube-dns-ის, სერვისებისა და პოდების დიაპაზონები kubespray-ის ნაგულისხმევი მნიშვნელობები იყო, რომლებიც არავის ახსოვდა, როგორ აირჩია.

არაფერი ამათგან გაფუჭებული არ იყო. ყველაფერი ეს შემდეგი აპგრეიდისთვის ხაფანგი იყო. ამიტომ გადავწყვიტე, ადგილზე გადამეწყო: ძველი კლასტერის წაშლა, VM-ების თავიდან შექმნა cloud-იმიჯიდან იმავე MAC-მისამართებით (მაშინ DHCP იმავე IP-ებს გასცემს) და მათზე სუფთა kubeadm-კლასტერის აწყობა. დატვირთვებს GitOps დააბრუნებდა, საიდუმლოებს კი Vault-ის raft-სნეპშოტი.

გეგმამ თავად გაუძლო. ერთი გრძელი დღე დასჭირდა. ჩაწერა მინდა იმ ექვსი რამისა, რაც გადაწყობამ გამოაჩინა, რადგან თითოეული მათგანი მხოლოდ შემთხვევით მუშაობდა.

ჯერ ბექაპები, რადგან უკან დასაბრუნებელი გზა არ არსებობს

ადგილზე გადაწყობას „უკან დაბრუნების“ ღილაკი არ აქვს. როგორც კი ძველი VM-ები განადგურდება, ბექაპები ერთადერთი გზაა უკან. ამიტომ ყველაფრამდე ავიღე Vault-ის სნეპშოტი, etcd-ის სნეპშოტი, კლასტერის ყველა ობიექტის დამპი ტიპების მიხედვით, ყველა საიდუმლო, GitOps-რეპოზიტორიის სარკე ტეგით ზუსტად იმ კომიტზე, რომელზეც ძველი კლასტერი ცხოვრობდა, და ერთი მასტერის სრული იმიჯი. ორი ასლი, არცერთი კლასტერის VM-ზე. ორი საჯარო საიტი, რომელსაც კლასტერი ემსახურება, დაუნთაიმის დროს ჩვეულებრივ Docker-ჰოსტზე გადავიდა ტუნელის კონექტორის იმავე ტოკენით.

პირველი ხაფანგი სწორედ აქ გამოჩნდა.

ხაფანგი 1: Vault-ის სნეპშოტი follower-ზე სნეპშოტი არ არის

Error taking the snapshot: incomplete snapshot, unable to read SHA256SUMS.sealed file

vault operator raft snapshot save vault-0-ზე გავუშვი, როგორც ყოველთვის. ამჯერად vault-0 follower იყო. Follower მოთხოვნას ლიდერს გადაუგზავნის და გადაგზავნილი ნაკადი წყდება. vault operator raft list-peers-მა აჩვენა, რომ ლიდერი vault-2 იყო; იქ იმავე ბრძანებამ ისეთი სნეპშოტი მოგვცა, რომელსაც snapshot inspect კითხულობს, ასლის საკონტროლო ჯამი კი პოდში არსებულ ფაილს დაემთხვა.

გაკვეთილი: raft-სნეპშოტები ლიდერზე აიღე და ყოველთვის შეამოწმე და ჰეშით შეადარე ის ასლი, რომელსაც დაეყრდნობი.

ხაფანგი 2: თავისუფალი IP, რომელიც თავისუფალი არ იყო

ახალი control plane ვირტუალურ IP-ს kube-vip-ით იღებს, რომ master1-ის დაკარგვამ API აღარ გათიშოს. ერთი თავისუფალი მისამართი მჭირდებოდა. მასტერებსა და worker-ებს შორის ხუთი კანდიდატი ping-ს არ პასუხობდა და ARP მათზე ვერ ხერხდებოდა. თავისუფალია, ვიფიქრე.

მერე როუტერის DHCP-პულს შევხედე. ხუთივე მის შიგნით იყო. დღეს მათ არავინ იკავებდა, მაგრამ ადრე თუ გვიან როუტერი ერთ-ერთს ტელეფონს გასცემდა და control plane-ის VIP მასთან ARP-ისთვის დაიწყებდა ბრძოლას. ეს ის ტიპის ავარიაა, რომელიც რამდენიმე კვირის შემდეგ მოდის და ქსელის მოჩვენებას ჰგავს. VIP პულის ზემოთ დავაყენე, ბალანსერების მისამართების გვერდით.

გაკვეთილი: „არავინ პასუხობს“ არაფერს ნიშნავს, სანამ არ იცი, ვის აქვს ამ მისამართის გაცემის უფლება.

ხაფანგი 3: ინტერფეისის სახელი შეიცვალა და შესასვლელის IP ჩუმად გაქრა

როცა VM-ები ავიდა, შევნიშნე, რომ ექვს ნოდას ens18 ინტერფეისი ჰქონდა, ერთს კი eth0. cloud-init-ის ქსელის კონფიგი MAC-ით აფიქსირებს set-name: eth0-ს, მაგრამ პირველ ჩატვირთვაზე udev-მა ინტერფეისს სახელი უფრო ადრე დაარქვა, ვიდრე ეს კონფიგი გაჩნდებოდა. ერთ VM-ზე eth0-ზე უკან გადარქმევამ რბოლა მოიგო, ექვსზე — არა. ერთი გადატვირთვის შემდეგ შვიდივე eth0 გახდა, დეტერმინისტულად.

ეს მაშინვე გავასწორე, რადგან kube-vip VIP-ს ინტერფეისზე სახელით კიდებს. ის, რაზეც არ ვიფიქრე, ძველი GitOps-რეპოზიტორია იყო. რამდენიმე საათის შემდეგ, როცა ყველაფერი მწვანე იყო, შესასვლელის IP საერთოდ არ პასუხობდა. Cilium-ის L2-ანონსის პოლიტიკა, რომელიც მასზე ARP-ს პასუხობს, ^ens18$-ს ეძებდა. არც შეცდომა, არც მოვლენა — ანონსს უბრალოდ ინტერფეისი არ ჰქონდა.

გაკვეთილი: ინტერფეისის სახელი კონფიგურაციაა. როცა OS მას ცვლის, მთელ რეპოზიტორიაში მოძებნე ძველი სახელი.

ხაფანგი 4: ცივ სტარტზე შექმნილ ტომებს ფაილური სისტემა არ ჰქონდათ

საცავი LINSTOR/DRBD-ია თითოეული worker-ის ცალკე დისკზე. ახალ ნოდებზე DRBD-ის ბირთვის მოდული ჯერ არ არსებობს, ამიტომ ჩამტვირთავი მას წყაროებიდან აგებს მიმდინარე ბირთვისთვის. ეს ნოდაზე რამდენიმე წუთს იღებს.

ყველა PVC ჯერ Pending-ში იყო, მერე Bound გახდა. შემდეგ კი სამმა პოდმა გაშვებაზე უარი თქვა:

mount: wrong fs type, bad option, bad superblock on /dev/drbd1001

blkid-მა ნოდაზე ვერაფერი იპოვა, ext4-ის სუპერბლოკის არე ნულებით იყო სავსე. ტომები მაშინ შეიქმნა, როცა სატელიტები ჯერ კიდევ იწყებდნენ მუშაობას, და ფაილური სისტემა არავინ შექმნა. ყველა ტომი შევამოწმე და არა მხოლოდ გაფუჭებულები: ათიდან სამს ფაილური სისტემა არ ჰქონდა. ყველა ცარიელი იყო, ამიტომ გამოსავალი იყო PVC-ისა და პოდის წაშლა, რომ პროვიჟენერს ახალი, სწორად დაფორმატებული ტომი შეექმნა.

გაკვეთილი: ცივ LINSTOR-კლასტერზე დაელოდე, სანამ ყველა საცავის პული Ok-ს აჩვენებს, სანამ რამე ტომს მოითხოვს.

ხაფანგი 5: დამცავი პოლიტიკა თვითაღდგენადი GitOps-ის წინააღმდეგ

შესასვლელი Cilium-ის ჩაშენებული Gateway API-კონტროლერიდან Envoy Gateway-ზე გადავიყვანე. მის ჩარტს experimental-არხის Gateway API CRD-ები სჭირდება (ერთი passthrough-მარშრუტისთვის TLSRoute მჭირდება), კლასტერში კი standard-არხი იყო.

Upstream-ბანდლს მოჰყვება ValidatingAdmissionPolicy safe-upgrades, რომელიც standard-ზე experimental CRD-ების დაყენებას კრძალავს. დოკუმენტირებული გამოსავალი პოლიტიკის წაშლაა. წავშალე და სინქი ისევ ჩავარდა. ArgoCD-ის self-heal-მა პოლიტიკა დააბრუნა — ახალ ჩარტსაც მოჰყვება — უფრო სწრაფად, ვიდრე იმავე სინქმა CRD-ები გამოიყენა. ვცადე მხოლოდ ბაინდინგის წაშლა და CRD-ების იმავე ბრძანებით გამოყენება; კონტროლერმა მაინც მოიგო.

იმუშავა სხვამ: რბოლის მოგება კი არა, მისი მოშორება. ArgoCD-ის აპლიკაციების კონტროლერი წუთით ნულამდე დავამცირე, პოლიტიკა წავშალე, CRD-ები გამოვიყენე და კონტროლერი დავაბრუნე. პოლიტიკა მაშინვე დაბრუნდა და ახლა experimental-ინსტალაციას იცავს და არა ბლოკავს.

გაკვეთილი: თვითაღდგენად სისტემას ვერ გაასწრებ. დააპაუზე.

ხაფანგი 6: კონექტორი, რომელიც ყოველთვის მხოლოდ ხელით არსებობდა

ბოლო ნაბიჯი იყო საჯარო ტუნელის დაბრუნება დროებითი Docker-ჰოსტიდან ახალ კლასტერზე. გადართვამდე კლასტერში ტუნელის კონექტორი შევამოწმე. ის არ იყო.

რეპოზიტორიაში მისთვის ArgoCD Application ნამდვილად იყო, რამდენიმე თვის წინ დამატებული კომიტით „adopt the connector“. მაგრამ ის არასდროს ჩაურთავთ kustomization-ში, რომელსაც ArgoCD კითხულობს. ძველ კლასტერში კონექტორი მთელი ამ დროის განმავლობაში ხელით შექმნილი Deployment იყო და კლასტერთან ერთად მოკვდა. ტუნელი პირველ რიგში რომ გადამერთო, ორივე საიტი დაეცემოდა: კლასტერში ტრაფიკის მიმღები არაფერი იქნებოდა.

Application ჩავრთე, დაველოდე ორივე რეპლიკის რეგისტრაციას, დროებითი კონექტორი გავაჩერე, ტუნელი გადავრთე და მონიშნული User-Agent-ით დავრწმუნდი, რომ მოთხოვნები კლასტერის პოდებამდე აღწევს, დროებით კონტეინერებამდე კი — არცერთი. მხოლოდ ამის შემდეგ წავშალე ისინი.

გაკვეთილი: „ძველ კლასტერში მუშაობდა“ არ ნიშნავს „Git-შია“. ნულიდან გადაწყობა შენი GitOps-ის ყველაზე პატიოსანი აუდიტია.

რა გახდა უკეთესი

  • etcd stacked-ია და kubeadm upgrade-ით ახლდება ყველაფერ დანარჩენთან ერთად;
  • API VIP-ის უკანაა. VIP-ის მფლობელი მასტერი გავთიშე: VIP გადავიდა და kubectl-ს მოთხოვნის გამეორებაც არ დასჭირდა;
  • კლასტერი უახლეს სტაბილურ Kubernetes-ზეა, პაკეტებიდან hold-ით დაყენებულზე და არა კატალოგში ჩაგდებულ ბინარებზე;
  • სერვისების ბალანსირებას თავად Cilium აკეთებს;
  • შესასვლელი Envoy Gateway-ია ორ რეპლიკაში, ასე რომ CNI-აგენტის გადატვირთვა შესასვლელს აღარ აგდებს;
  • CoreDNS, Gateway API-ის CRD-ები და ტუნელის კონექტორი Git-შია, სადაც ყოველთვის უნდა ყოფილიყვნენ.

გეგმა სწორი იყო. ამ დღის ღირებულება იმ ექვს ადგილშია, სადაც რეალობა მას ჩუმად დაშორდა.