CI წითელია, CI-ის კოდი კი არაფერ შუაშია: ორი ჩუმი ვადის ამოწურვა ერთი Vault-ის უკან
პაიპლაინი პირველივე ეტაპზე ჩავარდა, ყველა შემდეგი კი გამოტოვებული იყო. CI-ის კოდი არც გაშვებულა: Vault auto-unseal-ის ვადაგასული ტოკენის გამო crashloop-ში ტრიალებდა, ხოლო როცა ადგა, აღმოჩნდა, რომ მისი სერვერული სერტიფიკატის ვადაც ამოწურული იყო.
პაიპლაინი სულ პირველ ეტაპზე ჩავარდა. მისი ერთადერთი კარიბჭე — Vault-ის smoke-ტესტი, რომელიც AppRole-ით შედის, — ტაიმაუტში წავიდა, ყველა შემდეგმა ეტაპმა (აწყობა, ვორქსპეისები, ტესტები, მომსახურება) კი skipped სტატუსი მიიღო:
curl: (28) Failed to connect to vault.example.com port 8200 after 133008 ms
ეს „CI გაფუჭდა“-ს ჰგავდა. მაგრამ საქმე CI-ში არ იყო: ჯობმა საკუთარი არაფრის გაშვება ვერ მოასწრო.
პირველი ფენა: Vault პორტს არ უსმენდა
მხოლოდ კითხვა, თითო ნაბიჯით:
getent hosts vault.example.com # რეზოლვდება: DNS არ არის
ping -c2 <vault-host> # ჰოსტი ცოცხალია
: < /dev/tcp/<vault-host>/8200 && echo open || echo refused
# refused: პორტზე არავინ უსმენს
docker ps -a | grep vault # Restarting (1)
docker logs --tail 20 vault # 403 invalid token transit/encrypt-ზე
ეს Vault ჩვეულებრივ Docker-კონტეინერად მუშაობს და ავტომატურად იხსნება სხვა Vault-ის transit-ძრავით. მის seal-სექციაში ტოკენმა თავის TTL-ს მიაღწია. ზემდგომი Vault 403 invalid token-ით პასუხობდა, კონტეინერი ვერ იხსნებოდა, ვარდებოდა და თავიდან იწყებოდა — უსასრულოდ. CI-რანერი 133-წამიან ტაიმაუტს ხედავდა, ჩემი ლეპტოპი — Connection refused-ს. ფაირვოლში სხვადასხვა გზა, ერთი ფაქტი: Vault გათიშული იყო.
გამოსწორება — ახალი ტოკენი იმავე ვიწრო პოლიტიკით (update მხოლოდ transit-ის encrypt და decrypt გზებზე), პერიოდული და orphan, რომ აღარ ამოიწუროს. ვამოწმე მანამ, სანამ ვენდობოდი: ახალი ტოკენით encrypt → decrypt transit-გასაღებზე. შემდეგ კონფიგის ბექაპი, ტოკენის შეცვლა, კონტეინერის რესტარტი. Vault თავად გაიხსნა.
მეორე ფენა: განმეორება სხვაგვარად ჩავარდა
გადატვირთული პაიპლაინი ისევ ჩავარდა, ახლა ასე:
curl: (60) SSL certificate problem: certificate has expired
8200-ზე ლისენერი ჯერ კიდევ wildcard-სერტიფიკატს აძლევდა, რომლის ვადა ორი კვირის წინ ამოიწურა. ყველა ჰოსტი გეგმური ჩანაცვლებით ახალ სერტიფიკატზე გადაიყვანეს, მაგრამ ეს გამორჩათ: ის ინვენტარში არასდროს ყოფილა. სანამ Vault გათიშული იყო, ამის შემჩნევა არავის შეეძლო. როგორც კი ადგა, CI-ის მკაცრმა TLS-მა ეს წამებში შენიშნა.
ახალი სერტიფიკატის დაყენებამდე შევამოწმე SAN-ები და თარიღები, ასევე ის, რომ გასაღების modulus სერტიფიკატს ემთხვევა:
diff <(openssl x509 -noout -modulus -in fullchain.pem) \
<(openssl rsa -noout -modulus -in privkey.pem)
ბექაპი, ჩანაცვლება, რესტარტი. შემდეგ შემოწმება ისე, როგორც CI უკავშირდება — მკაცრი TLS, -k-ს გარეშე: sealed: false. პაიპლაინი გამწვანდა.
health check -k-ით იტყუება
ჩვეულებრივი სწრაფი შემოწმება — curl -sk .../v1/sys/health. ის იტყოდა „Vault ცოცხალია“, მაშინ როცა ყველა რეალური კლიენტი სერტიფიკატს უარყოფდა. შეამოწმეთ ისე, როგორც თქვენი რეალური მომხმარებელი უკავშირდება.
რას ვიხდით
ვადაუმთავრებელი ტოკენი კომპრომისია: მოპარული bearer-ტოკენი სამუდამოდ ცოცხლობს. პოლიტიკა მას მხოლოდ transit-ით გახსნით ზღუდავს, ის orphan-ია და მისი გაუქმება accessor-ით შეიძლება, რომელიც შევინახე. უკეთესი გრძელვადიანი ვარიანტი — AppRole secret_id-ის მოკლე TTL-ით და CIDR-ზე მიბმით, დისკზე შიშველი ტოკენის ნაცვლად.
დასკვნები
- CI წითელია ≠ CI გაფუჭებულია. თუ პირველი კარიბჭე ვარდება, დანარჩენი კი გამოტოვებულია, პრობლემა დამოკიდებულებაშია და არა კოდში.
- ორი ვადის ამოწურვა ერთმანეთს დაედო: ერთი მეორეს მალავდა. პირველის გამოსწორების შემდეგ ელოდეთ, რომ მეორე მაშინვე გამოჩნდება.
- ტოკენები და სერტიფიკატები, რომლებიც ჩუმად იწურება, პრობლემების ერთი კლასია. ნამდვილი ფესვი — ვადის ამოწურვაზე ალერტები არ არის: არც ტოკენის TTL-ზე, არც სერტიფიკატის თარიღზე. ინციდენტის გამოსწორება კლასს არ ასწორებს.
- Auto-unseal სხვა Vault-ის გავლით ფარული დამოკიდებულებაა: ამ CI-ის ჯანმრთელობა ახლა იმაზეა დამოკიდებული, ხელმისაწვდომი და გახსნილია თუ არა სულ სხვა გარემოს Vault.
- ყოველი საიდუმლო გამოყენებამდე შეამოწმეთ და ყოველი ფაილის ბექაპი ცვლილებამდე გააკეთეთ. ორივე ჩანაცვლება აგებულებით შექცევადი იყო.