სერტიფიკატი ვალიდური იყო. CI-ის იმიჯმა უბრალოდ არ იცოდა მისი ახალი ფესვი
ერთ ღამეში CI-ის ჯობმა „self signed certificate in certificate chain“-ით დაიწყო ვარდნა, თუმცა ბრაუზერში იგივე URL იხსნებოდა. სერვერი ახალ ძირეულ CA-ზე გადავიდა, ჯობის იმიჯი კი მხარდაჭერამოხსნილ Debian-ზე იდგა, რომლის trust store ამ ფესვზე ძველი იყო.
ერთ დილას GitLab CI-ში სარელიზო ჯობი 3,3 წამში ჩავარდა. აწყობა არც დაწყებულა: პირველი ნაბიჯი ამოცანების ტრეკერს თიკეტის სათაურს ეკითხება, და curl სწორედ იქ გაჩერდა:
curl: (60) SSL certificate problem: self signed certificate in certificate chain
დეველოპერმა, რომელმაც ეს შეგვატყობინა, გონივრული ერთი შეხედვით არგუმენტი დაამატა: „ბრაუზერში ტრეკერი ნორმალურად იხსნება“. ჟღერს როგორც მტკიცებულება, რომ სერტიფიკატი რიგზეა. სინამდვილეში ეს სერტიფიკატის პრობლემას ადასტურებს: ბრაუზერს საკუთარი trust store აქვს, ჯობი კი მას არ იყენებს.
ფორმულირება არასწორი მიმართულებით გიშვებს
„Self signed“ ისე ჟღერს, თითქოს ვიღაცამ ყალბი სერტიფიკატი შემოაპარა: TLS-ის მაინსპექტირებელი პროქსი, შეიძლება MITM. მაგრამ ნებისმიერი ძირეული სერტიფიკატი განმარტებით თვითხელმოწერილია. შეტყობინება ზუსტად ერთს ნიშნავს: ჯაჭვი მიებჯინა ფესვს, რომელიც ჩემს trust store-ში არ არის.
საკონტროლო ჯობი ნებისმიერ მსჯელობაზე უკეთესია
სამი ჰიპოთეზა, თანმიმდევრობით:
- ტრეკერი გაფუჭდა. სამუშაო სადგურიდან ჯაჭვი სრული და ვალიდური იყო: leaf, intermediate, root,
verify=0, HTTP 200. გამორიცხულია. - ქსელი გაფუჭდა ან პროქსი გაჩნდა. იმავე პაიპლაინში სხვა ჯობი იმავე URL-ზე იმავე curl-ით დადიოდა და ვარდნების დაწყების შემდეგაც გაიარა. ერთმა მწვანე ჯობმა ერთბაშად გამორიცხა ქსელი, DNS, ტრეკერი და ავტორიზაციის მონაცემები.
- იმიჯი. ერთადერთი განსხვავება: მწვანე ჯობი საერთო შაბლონიდან Alpine-ის იმიჯს იღებდა, წითელი კი პროექტის ნაგულისხმევ იმიჯს იღებდა მემკვიდრეობით — Node-ს Debian 11 „bullseye“-ზე.
როცა პაიპლაინში არის ჯობი, რომელიც იგივეს აკეთებს და მწვანე რჩება, ყველაფერი საერთო ეჭვს გარეშე რჩება და მხოლოდ განსხვავებები გრჩება.
რა შეიცვალა ღამით
GitLab-ის API-ით ჯობების ისტორიამ საზღვარი აჩვენა: ბოლო წარმატება დღისით, პირველი ვარდნა მეორე დილას, შუაში კომიტები არ ყოფილა. რეპოზიტორიის გარეთ რაღაც შეიცვალა.
ეს ტრეკერის wildcard-სერტიფიკატი იყო. ის ხელახლა გაიცა და მასთან ერთად ნდობის ჯაჭვი შეიცვალა: ძველი გამცემი GlobalSign Root CA R3-მდე მიდიოდა (2009 წელი, თითქმის ყველგან არის), ახალი — GlobalSign Root R46-მდე (2019 წელი, მხოლოდ ახალ CA-ბანდლებში). იმიჯში 2021 წლის იანვრის ca-certificates იდო. R3 მასში იყო, R46 — არა.
მტკიცებულება რეპროდუქციით
იმიჯის ბაზა საჯაროა, ამიტომ ჰიპოთეზა ლოკალურად ერთ წუთში მოწმდება:
docker run --rm node:22.16-bullseye \
curl -fsS https://tracker.example.com/
# curl: (60) SSL certificate problem: self signed certificate in certificate chain
docker run --rm alpine:3 sh -c \
'apk add -q ca-certificates curl; curl -so /dev/null -w "verify=%{ssl_verify_result}\n" https://tracker.example.com/'
# verify=0
docker run --rm node:22.16-bullseye sh -c \
'ls /usr/share/ca-certificates/mozilla/ | grep -i "R46\|Root_CA_-_R3"'
# GlobalSign_Root_CA_-_R3.crt <- R46 არ არის
გამოსწორება ერთი ხაზია, და სამი ხაფანგი
FROM node:22-bookworm # იყო: node:22.16-bullseye
ამ ხაზის პროდაქშენამდე მისვლის გზაზე სამი ხაფანგი იყო:
- იგივე თეგი — იგივე ვარდნა. რანერი იმიჯებს
if-not-present-ით იღებს. ძველი იმიჯი მას უკვე ლოკალურად აქვს და იმავე თეგით ხელახლა აწყობილს არასდროს წამოიღებს. გამოსწორება „არ შველის“. იმიჯს ახალი თეგი სჭირდება. main-ში ცვლილება პაიპლაინამდე არ აღწევს. პროექტი CI-შაბლონს დაფიქსირებული თეგით აკავშირებდა და არა ტოტით. კომიტი არაფერს ცვლის, სანამ ახალი თეგი არ გამოვა და მომხმარებელიref-ს არ აწევს.- trust store-ს apt-ით ვერ დააკერებ. Debian 11 მხარდაჭერის გარეთაა, პაკეტები სარკეებიდან წაშლილია.
apt-get updateამ დროს გადის (მეტამონაცემები ჯერ კიდევ გაიცემა), რაც კიდევ უფრო აბნევს: 404-ს მხოლოდ ინსტალაცია აბრუნებს. მხოლოდ ახალი ბაზა შველის.
და --insecure აქ ვარიანტი არ არის, თუმცა შაბლონი სხვაგან უკვე იყენებდა მას: ეს curl სერვისული ანგარიშის ავტორიზაციის მონაცემებს ატარებდა. თუ გვერდის ავლა აუცილებელია — --cacert საჭირო ფესვით, შემოწმება კი ჩართული რჩება.
დასკვნები
- ძირეული CA-ის შეცვლა გამტეხი ცვლილებაა ყველა კლიენტისთვის ძველი trust store-ით, მაშინაც კი, თუ თავად სერტიფიკატი იდეალურია. EOL-ბაზებზე მდგარი იმიჯები სერტიფიკატების შეცვლამდე აღრიცხეთ.
- კლიენტის მხრიდან „self signed certificate in certificate chain“ ნიშნავს, რომ კლიენტს ფესვი აკლია, და არა იმას, რომ სერტიფიკატი ყალბია.
- იპოვეთ მწვანე მეზობელი ჯობი, რომელიც იგივეს აკეთებს. ის ერთბაშად ხსნის ეჭვს ყველა საერთო ეჭვმიტანილს.
- რეპროდუქცია მოახდინეთ იმიჯის საჯარო ბაზაზე ლოკალურად. ეს ერთი წუთია, და ვარაუდი მტკიცებულებად იქცევა.
- CI-იმიჯში გამოსწორებას ახალი თეგი სჭირდება, ვერსიონირებულ CI-შაბლონში გამოსწორებას კი — ახალი რელიზი. თორემ „გამოასწორეთ“, მაგრამ არაფერი შეიცვალა.