CI красный, а код CI ни при чём: два тихих истечения за одним Vault
Пайплайн упал на первом же этапе, все следующие были пропущены. Код CI даже не запускался: Vault крутился в крашлупе из-за истёкшего токена auto-unseal, а когда поднялся, оказалось, что истёк и его серверный сертификат.
Пайплайн упал на самом первом этапе. Его единственный гейт — smoke-тест Vault, который логинится через AppRole, — ушёл в таймаут, а все следующие этапы (сборка, воркспейсы, тесты, обслуживание) получили статус skipped:
curl: (28) Failed to connect to vault.example.com port 8200 after 133008 ms
Выглядело как «CI сломался». Но дело было не в CI: джоба так и не успела запустить ничего своего.
Слой первый: Vault не слушал порт
Только чтение, по одному шагу:
getent hosts vault.example.com # резолвится: не DNS
ping -c2 <vault-host> # хост жив
: < /dev/tcp/<vault-host>/8200 && echo open || echo refused
# refused: на порту никто не слушает
docker ps -a | grep vault # Restarting (1)
docker logs --tail 20 vault # 403 invalid token на transit/encrypt
Этот Vault работает как обычный Docker-контейнер и распечатывается автоматически через transit-движок другого Vault. Токен в его seal-секции дожил до своего TTL. Вышестоящий Vault отвечал 403 invalid token, контейнер не мог распечататься, падал и перезапускался — бесконечно. CI-раннер видел таймаут в 133 секунды, мой ноутбук — Connection refused. Разные пути через файрвол, один факт: Vault лежал.
Фикс — новый токен с той же узкой политикой (update только на пути transit encrypt и decrypt), периодический и orphan, чтобы больше не истекал. Проверил его до того, как ему доверять: encrypt → decrypt на transit-ключе новым токеном. Потом бэкап конфига, замена токена, рестарт контейнера. Vault распечатался сам.
Слой второй: повтор упал по-другому
Перезапущенный пайплайн снова упал, теперь с:
curl: (60) SSL certificate problem: certificate has expired
Листенер на 8200 всё ещё отдавал wildcard-сертификат, истёкший две недели назад. Все хосты перевели на новый сертификат плановой заменой, но этот пропустили: его никогда не было в инвентаре. Пока Vault лежал, заметить это было некому. Как только он поднялся, строгий TLS в CI заметил это за секунды.
Перед установкой нового сертификата проверил SAN и даты, а также что modulus ключа совпадает с сертификатом:
diff <(openssl x509 -noout -modulus -in fullchain.pem) \
<(openssl rsa -noout -modulus -in privkey.pem)
Бэкап, замена, рестарт. Затем проверка так, как подключается CI — строгий TLS, без -k: sealed: false. Пайплайн позеленел.
Health check с -k врёт
Обычная быстрая проверка — curl -sk .../v1/sys/health. Она сказала бы «Vault жив», пока каждый настоящий клиент отвергал сертификат. Проверяйте так, как подключается ваш реальный потребитель.
Чем платим
Неистекающий токен — компромисс: украденный bearer-токен живёт вечно. Политика ограничивает его только transit-распечаткой, он orphan, и его можно отозвать по accessor’у, который я сохранил. Лучший долгосрочный вариант — AppRole с коротким TTL у secret_id и привязкой к CIDR вместо голого токена на диске.
Выводы
- CI красный ≠ CI сломан. Если падает первый гейт, а всё остальное пропущено, проблема в зависимости, а не в коде.
- Два истечения наложились: одно прятало другое. Починив первое, ждите, что второе вылезет сразу.
- Токены и сертификаты, которые истекают молча, — один класс проблем. Настоящий корень — нет алертов на истечение: ни на TTL токена, ни на дату сертификата. Починка инцидента не чинит класс.
- Auto-unseal через другой Vault — скрытая зависимость: здоровье этого CI теперь зависит от того, доступен ли и распечатан ли Vault совсем другой среды.
- Проверяйте каждый секрет до использования и бэкапьте каждый файл до правки. Обе замены были обратимы по построению.