← ყველა სტატია

სერტიფიკატი ვალიდური იყო. CI-ის იმიჯმა უბრალოდ არ იცოდა მისი ახალი ფესვი

ერთ ღამეში CI-ის ჯობმა „self signed certificate in certificate chain“-ით დაიწყო ვარდნა, თუმცა ბრაუზერში იგივე URL იხსნებოდა. სერვერი ახალ ძირეულ CA-ზე გადავიდა, ჯობის იმიჯი კი მხარდაჭერამოხსნილ Debian-ზე იდგა, რომლის trust store ამ ფესვზე ძველი იყო.

ერთ დილას GitLab CI-ში სარელიზო ჯობი 3,3 წამში ჩავარდა. აწყობა არც დაწყებულა: პირველი ნაბიჯი ამოცანების ტრეკერს თიკეტის სათაურს ეკითხება, და curl სწორედ იქ გაჩერდა:

curl: (60) SSL certificate problem: self signed certificate in certificate chain

დეველოპერმა, რომელმაც ეს შეგვატყობინა, გონივრული ერთი შეხედვით არგუმენტი დაამატა: „ბრაუზერში ტრეკერი ნორმალურად იხსნება“. ჟღერს როგორც მტკიცებულება, რომ სერტიფიკატი რიგზეა. სინამდვილეში ეს სერტიფიკატის პრობლემას ადასტურებს: ბრაუზერს საკუთარი trust store აქვს, ჯობი კი მას არ იყენებს.

ფორმულირება არასწორი მიმართულებით გიშვებს

„Self signed“ ისე ჟღერს, თითქოს ვიღაცამ ყალბი სერტიფიკატი შემოაპარა: TLS-ის მაინსპექტირებელი პროქსი, შეიძლება MITM. მაგრამ ნებისმიერი ძირეული სერტიფიკატი განმარტებით თვითხელმოწერილია. შეტყობინება ზუსტად ერთს ნიშნავს: ჯაჭვი მიებჯინა ფესვს, რომელიც ჩემს trust store-ში არ არის.

საკონტროლო ჯობი ნებისმიერ მსჯელობაზე უკეთესია

სამი ჰიპოთეზა, თანმიმდევრობით:

  1. ტრეკერი გაფუჭდა. სამუშაო სადგურიდან ჯაჭვი სრული და ვალიდური იყო: leaf, intermediate, root, verify=0, HTTP 200. გამორიცხულია.
  2. ქსელი გაფუჭდა ან პროქსი გაჩნდა. იმავე პაიპლაინში სხვა ჯობი იმავე URL-ზე იმავე curl-ით დადიოდა და ვარდნების დაწყების შემდეგაც გაიარა. ერთმა მწვანე ჯობმა ერთბაშად გამორიცხა ქსელი, DNS, ტრეკერი და ავტორიზაციის მონაცემები.
  3. იმიჯი. ერთადერთი განსხვავება: მწვანე ჯობი საერთო შაბლონიდან Alpine-ის იმიჯს იღებდა, წითელი კი პროექტის ნაგულისხმევ იმიჯს იღებდა მემკვიდრეობით — Node-ს Debian 11 „bullseye“-ზე.

როცა პაიპლაინში არის ჯობი, რომელიც იგივეს აკეთებს და მწვანე რჩება, ყველაფერი საერთო ეჭვს გარეშე რჩება და მხოლოდ განსხვავებები გრჩება.

რა შეიცვალა ღამით

GitLab-ის API-ით ჯობების ისტორიამ საზღვარი აჩვენა: ბოლო წარმატება დღისით, პირველი ვარდნა მეორე დილას, შუაში კომიტები არ ყოფილა. რეპოზიტორიის გარეთ რაღაც შეიცვალა.

ეს ტრეკერის wildcard-სერტიფიკატი იყო. ის ხელახლა გაიცა და მასთან ერთად ნდობის ჯაჭვი შეიცვალა: ძველი გამცემი GlobalSign Root CA R3-მდე მიდიოდა (2009 წელი, თითქმის ყველგან არის), ახალი — GlobalSign Root R46-მდე (2019 წელი, მხოლოდ ახალ CA-ბანდლებში). იმიჯში 2021 წლის იანვრის ca-certificates იდო. R3 მასში იყო, R46 — არა.

მტკიცებულება რეპროდუქციით

იმიჯის ბაზა საჯაროა, ამიტომ ჰიპოთეზა ლოკალურად ერთ წუთში მოწმდება:

docker run --rm node:22.16-bullseye \
  curl -fsS https://tracker.example.com/
# curl: (60) SSL certificate problem: self signed certificate in certificate chain

docker run --rm alpine:3 sh -c \
  'apk add -q ca-certificates curl; curl -so /dev/null -w "verify=%{ssl_verify_result}\n" https://tracker.example.com/'
# verify=0

docker run --rm node:22.16-bullseye sh -c \
  'ls /usr/share/ca-certificates/mozilla/ | grep -i "R46\|Root_CA_-_R3"'
# GlobalSign_Root_CA_-_R3.crt   <- R46 არ არის

გამოსწორება ერთი ხაზია, და სამი ხაფანგი

FROM node:22-bookworm   # იყო: node:22.16-bullseye

ამ ხაზის პროდაქშენამდე მისვლის გზაზე სამი ხაფანგი იყო:

  • იგივე თეგი — იგივე ვარდნა. რანერი იმიჯებს if-not-present-ით იღებს. ძველი იმიჯი მას უკვე ლოკალურად აქვს და იმავე თეგით ხელახლა აწყობილს არასდროს წამოიღებს. გამოსწორება „არ შველის“. იმიჯს ახალი თეგი სჭირდება.
  • main-ში ცვლილება პაიპლაინამდე არ აღწევს. პროექტი CI-შაბლონს დაფიქსირებული თეგით აკავშირებდა და არა ტოტით. კომიტი არაფერს ცვლის, სანამ ახალი თეგი არ გამოვა და მომხმარებელი ref-ს არ აწევს.
  • trust store-ს apt-ით ვერ დააკერებ. Debian 11 მხარდაჭერის გარეთაა, პაკეტები სარკეებიდან წაშლილია. apt-get update ამ დროს გადის (მეტამონაცემები ჯერ კიდევ გაიცემა), რაც კიდევ უფრო აბნევს: 404-ს მხოლოდ ინსტალაცია აბრუნებს. მხოლოდ ახალი ბაზა შველის.

და --insecure აქ ვარიანტი არ არის, თუმცა შაბლონი სხვაგან უკვე იყენებდა მას: ეს curl სერვისული ანგარიშის ავტორიზაციის მონაცემებს ატარებდა. თუ გვერდის ავლა აუცილებელია — --cacert საჭირო ფესვით, შემოწმება კი ჩართული რჩება.

დასკვნები

  • ძირეული CA-ის შეცვლა გამტეხი ცვლილებაა ყველა კლიენტისთვის ძველი trust store-ით, მაშინაც კი, თუ თავად სერტიფიკატი იდეალურია. EOL-ბაზებზე მდგარი იმიჯები სერტიფიკატების შეცვლამდე აღრიცხეთ.
  • კლიენტის მხრიდან „self signed certificate in certificate chain“ ნიშნავს, რომ კლიენტს ფესვი აკლია, და არა იმას, რომ სერტიფიკატი ყალბია.
  • იპოვეთ მწვანე მეზობელი ჯობი, რომელიც იგივეს აკეთებს. ის ერთბაშად ხსნის ეჭვს ყველა საერთო ეჭვმიტანილს.
  • რეპროდუქცია მოახდინეთ იმიჯის საჯარო ბაზაზე ლოკალურად. ეს ერთი წუთია, და ვარაუდი მტკიცებულებად იქცევა.
  • CI-იმიჯში გამოსწორებას ახალი თეგი სჭირდება, ვერსიონირებულ CI-შაბლონში გამოსწორებას კი — ახალი რელიზი. თორემ „გამოასწორეთ“, მაგრამ არაფერი შეიცვალა.