← ყველა სტატია

CI წითელია, CI-ის კოდი კი არაფერ შუაშია: ორი ჩუმი ვადის ამოწურვა ერთი Vault-ის უკან

პაიპლაინი პირველივე ეტაპზე ჩავარდა, ყველა შემდეგი კი გამოტოვებული იყო. CI-ის კოდი არც გაშვებულა: Vault auto-unseal-ის ვადაგასული ტოკენის გამო crashloop-ში ტრიალებდა, ხოლო როცა ადგა, აღმოჩნდა, რომ მისი სერვერული სერტიფიკატის ვადაც ამოწურული იყო.

პაიპლაინი სულ პირველ ეტაპზე ჩავარდა. მისი ერთადერთი კარიბჭე — Vault-ის smoke-ტესტი, რომელიც AppRole-ით შედის, — ტაიმაუტში წავიდა, ყველა შემდეგმა ეტაპმა (აწყობა, ვორქსპეისები, ტესტები, მომსახურება) კი skipped სტატუსი მიიღო:

curl: (28) Failed to connect to vault.example.com port 8200 after 133008 ms

ეს „CI გაფუჭდა“-ს ჰგავდა. მაგრამ საქმე CI-ში არ იყო: ჯობმა საკუთარი არაფრის გაშვება ვერ მოასწრო.

პირველი ფენა: Vault პორტს არ უსმენდა

მხოლოდ კითხვა, თითო ნაბიჯით:

getent hosts vault.example.com                      # რეზოლვდება: DNS არ არის
ping -c2 <vault-host>                               # ჰოსტი ცოცხალია
: < /dev/tcp/<vault-host>/8200 && echo open || echo refused
# refused: პორტზე არავინ უსმენს
docker ps -a | grep vault                           # Restarting (1)
docker logs --tail 20 vault                         # 403 invalid token transit/encrypt-ზე

ეს Vault ჩვეულებრივ Docker-კონტეინერად მუშაობს და ავტომატურად იხსნება სხვა Vault-ის transit-ძრავით. მის seal-სექციაში ტოკენმა თავის TTL-ს მიაღწია. ზემდგომი Vault 403 invalid token-ით პასუხობდა, კონტეინერი ვერ იხსნებოდა, ვარდებოდა და თავიდან იწყებოდა — უსასრულოდ. CI-რანერი 133-წამიან ტაიმაუტს ხედავდა, ჩემი ლეპტოპი — Connection refused-ს. ფაირვოლში სხვადასხვა გზა, ერთი ფაქტი: Vault გათიშული იყო.

გამოსწორება — ახალი ტოკენი იმავე ვიწრო პოლიტიკით (update მხოლოდ transit-ის encrypt და decrypt გზებზე), პერიოდული და orphan, რომ აღარ ამოიწუროს. ვამოწმე მანამ, სანამ ვენდობოდი: ახალი ტოკენით encrypt → decrypt transit-გასაღებზე. შემდეგ კონფიგის ბექაპი, ტოკენის შეცვლა, კონტეინერის რესტარტი. Vault თავად გაიხსნა.

მეორე ფენა: განმეორება სხვაგვარად ჩავარდა

გადატვირთული პაიპლაინი ისევ ჩავარდა, ახლა ასე:

curl: (60) SSL certificate problem: certificate has expired

8200-ზე ლისენერი ჯერ კიდევ wildcard-სერტიფიკატს აძლევდა, რომლის ვადა ორი კვირის წინ ამოიწურა. ყველა ჰოსტი გეგმური ჩანაცვლებით ახალ სერტიფიკატზე გადაიყვანეს, მაგრამ ეს გამორჩათ: ის ინვენტარში არასდროს ყოფილა. სანამ Vault გათიშული იყო, ამის შემჩნევა არავის შეეძლო. როგორც კი ადგა, CI-ის მკაცრმა TLS-მა ეს წამებში შენიშნა.

ახალი სერტიფიკატის დაყენებამდე შევამოწმე SAN-ები და თარიღები, ასევე ის, რომ გასაღების modulus სერტიფიკატს ემთხვევა:

diff <(openssl x509 -noout -modulus -in fullchain.pem) \
     <(openssl rsa  -noout -modulus -in privkey.pem)

ბექაპი, ჩანაცვლება, რესტარტი. შემდეგ შემოწმება ისე, როგორც CI უკავშირდება — მკაცრი TLS, -k-ს გარეშე: sealed: false. პაიპლაინი გამწვანდა.

health check -k-ით იტყუება

ჩვეულებრივი სწრაფი შემოწმება — curl -sk .../v1/sys/health. ის იტყოდა „Vault ცოცხალია“, მაშინ როცა ყველა რეალური კლიენტი სერტიფიკატს უარყოფდა. შეამოწმეთ ისე, როგორც თქვენი რეალური მომხმარებელი უკავშირდება.

რას ვიხდით

ვადაუმთავრებელი ტოკენი კომპრომისია: მოპარული bearer-ტოკენი სამუდამოდ ცოცხლობს. პოლიტიკა მას მხოლოდ transit-ით გახსნით ზღუდავს, ის orphan-ია და მისი გაუქმება accessor-ით შეიძლება, რომელიც შევინახე. უკეთესი გრძელვადიანი ვარიანტი — AppRole secret_id-ის მოკლე TTL-ით და CIDR-ზე მიბმით, დისკზე შიშველი ტოკენის ნაცვლად.

დასკვნები

  • CI წითელია ≠ CI გაფუჭებულია. თუ პირველი კარიბჭე ვარდება, დანარჩენი კი გამოტოვებულია, პრობლემა დამოკიდებულებაშია და არა კოდში.
  • ორი ვადის ამოწურვა ერთმანეთს დაედო: ერთი მეორეს მალავდა. პირველის გამოსწორების შემდეგ ელოდეთ, რომ მეორე მაშინვე გამოჩნდება.
  • ტოკენები და სერტიფიკატები, რომლებიც ჩუმად იწურება, პრობლემების ერთი კლასია. ნამდვილი ფესვი — ვადის ამოწურვაზე ალერტები არ არის: არც ტოკენის TTL-ზე, არც სერტიფიკატის თარიღზე. ინციდენტის გამოსწორება კლასს არ ასწორებს.
  • Auto-unseal სხვა Vault-ის გავლით ფარული დამოკიდებულებაა: ამ CI-ის ჯანმრთელობა ახლა იმაზეა დამოკიდებული, ხელმისაწვდომი და გახსნილია თუ არა სულ სხვა გარემოს Vault.
  • ყოველი საიდუმლო გამოყენებამდე შეამოწმეთ და ყოველი ფაილის ბექაპი ცვლილებამდე გააკეთეთ. ორივე ჩანაცვლება აგებულებით შექცევადი იყო.