Сертификат был валиден. Просто CI-образ не знал его новый корень
За ночь CI-джоба начала падать с «self signed certificate in certificate chain», хотя в браузере тот же URL открывался. Сервер перешёл на более новый корневой CA, а образ джобы стоял на Debian с истёкшей поддержкой, чей trust store был старше этого корня.
Однажды утром релизная джоба в GitLab CI упала за 3,3 секунды. Сборка даже не началась: первый шаг запрашивает у трекера задач заголовок тикета, и curl остановился прямо там:
curl: (60) SSL certificate problem: self signed certificate in certificate chain
Разработчик, который об этом сообщил, добавил разумный на вид аргумент: «в браузере трекер открывается нормально». Звучит как доказательство, что с сертификатом всё хорошо. На деле это подтверждает проблему с сертификатом: у браузера свой trust store, и джоба его не использует.
Формулировка уводит не туда
«Self signed» звучит так, будто кто-то подсунул поддельный сертификат: TLS-инспектирующий прокси, может быть, MITM. Но любой корневой сертификат самоподписан по определению. Сообщение значит ровно одно: цепочка упёрлась в корень, которого нет в моём trust store.
Контрольная джоба лучше любых рассуждений
Три гипотезы по порядку:
- Сломался трекер. С рабочей станции цепочка полная и валидная: leaf, intermediate, root,
verify=0, HTTP 200. Исключено. - Сломалась сеть или появился прокси. В том же пайплайне другая джоба ходила в тот же URL тем же curl’ом и прошла уже после начала падений. Одна зелёная джоба разом исключила сеть, DNS, трекер и учётные данные.
- Образ. Единственное различие: зелёная джоба брала Alpine-образ из общего шаблона, а красная наследовала образ проекта по умолчанию — Node на Debian 11 «bullseye».
Когда в пайплайне есть джоба, которая делает то же самое и остаётся зелёной, всё общее снимается с подозрения, и остаются только различия.
Что поменялось за ночь
История джоб через API GitLab дала границу: последний успех днём, первое падение на следующее утро, коммитов между ними нет. Изменилось что-то вне репозитория.
Это был wildcard-сертификат трекера. Его перевыпустили, и вместе с ним сменилась цепочка доверия: старый издатель вёл к GlobalSign Root CA R3 (2009 год, есть практически везде), новый — к GlobalSign Root R46 (2019 год, только в свежих CA-бандлах). В образе лежал ca-certificates от января 2021 года. R3 в нём был, R46 не было.
Доказательство воспроизведением
База образа публичная, поэтому гипотеза проверяется локально за минуту:
docker run --rm node:22.16-bullseye \
curl -fsS https://tracker.example.com/
# curl: (60) SSL certificate problem: self signed certificate in certificate chain
docker run --rm alpine:3 sh -c \
'apk add -q ca-certificates curl; curl -so /dev/null -w "verify=%{ssl_verify_result}\n" https://tracker.example.com/'
# verify=0
docker run --rm node:22.16-bullseye sh -c \
'ls /usr/share/ca-certificates/mozilla/ | grep -i "R46\|Root_CA_-_R3"'
# GlobalSign_Root_CA_-_R3.crt <- R46 нет
Фикс — одна строка, и три ловушки
FROM node:22-bookworm # было: node:22.16-bullseye
На пути этой строки в прод было три ловушки:
- Тот же тег — то же падение. Раннер тянет образы с
if-not-present. Старый образ у него уже лежит локально, и пересобранный под тем же тегом он не заберёт никогда. Фикс «не помогает». Образу нужен новый тег. - Правка в
mainне доходит до пайплайна. Проект подключал CI-шаблон по закреплённому тегу, а не по ветке. Коммит ничего не меняет, пока не выпущен новый тег и потребитель не поднялref. - Trust store не залатать через apt. Debian 11 вне поддержки, пакеты из зеркал вычищены.
apt-get updateпри этом проходит (метаданные ещё отдаются), что сбивает с толку ещё сильнее: 404 возвращает только установка. Помогает только новая база.
И --insecure здесь не вариант, хотя шаблон уже использовал его в других местах: этот curl нёс учётные данные сервисного аккаунта. Если обход совсем нужен — --cacert с нужным корнем, а проверку оставляем включённой.
Выводы
- Смена корневого CA — ломающее изменение для всех клиентов со старым trust store, даже если сам сертификат идеален. Инвентаризируйте образы на EOL-базах до замены сертификатов.
- «Self signed certificate in certificate chain» со стороны клиента значит, что у клиента нет корня, а не что сертификат подделан.
- Найдите зелёную соседнюю джобу, которая делает то же самое. Она разом снимает всех общих подозреваемых.
- Воспроизведите на публичной базе образа локально. Это минута, и догадка превращается в доказательство.
- Фиксу в CI-образе нужен новый тег, а фиксу в версионированном CI-шаблоне — новый релиз. Иначе вы «починили», а ничего не поменялось.