← Все статьи

CI красный, а код CI ни при чём: два тихих истечения за одним Vault

Пайплайн упал на первом же этапе, все следующие были пропущены. Код CI даже не запускался: Vault крутился в крашлупе из-за истёкшего токена auto-unseal, а когда поднялся, оказалось, что истёк и его серверный сертификат.

Пайплайн упал на самом первом этапе. Его единственный гейт — smoke-тест Vault, который логинится через AppRole, — ушёл в таймаут, а все следующие этапы (сборка, воркспейсы, тесты, обслуживание) получили статус skipped:

curl: (28) Failed to connect to vault.example.com port 8200 after 133008 ms

Выглядело как «CI сломался». Но дело было не в CI: джоба так и не успела запустить ничего своего.

Слой первый: Vault не слушал порт

Только чтение, по одному шагу:

getent hosts vault.example.com                      # резолвится: не DNS
ping -c2 <vault-host>                               # хост жив
: < /dev/tcp/<vault-host>/8200 && echo open || echo refused
# refused: на порту никто не слушает
docker ps -a | grep vault                           # Restarting (1)
docker logs --tail 20 vault                         # 403 invalid token на transit/encrypt

Этот Vault работает как обычный Docker-контейнер и распечатывается автоматически через transit-движок другого Vault. Токен в его seal-секции дожил до своего TTL. Вышестоящий Vault отвечал 403 invalid token, контейнер не мог распечататься, падал и перезапускался — бесконечно. CI-раннер видел таймаут в 133 секунды, мой ноутбук — Connection refused. Разные пути через файрвол, один факт: Vault лежал.

Фикс — новый токен с той же узкой политикой (update только на пути transit encrypt и decrypt), периодический и orphan, чтобы больше не истекал. Проверил его до того, как ему доверять: encrypt → decrypt на transit-ключе новым токеном. Потом бэкап конфига, замена токена, рестарт контейнера. Vault распечатался сам.

Слой второй: повтор упал по-другому

Перезапущенный пайплайн снова упал, теперь с:

curl: (60) SSL certificate problem: certificate has expired

Листенер на 8200 всё ещё отдавал wildcard-сертификат, истёкший две недели назад. Все хосты перевели на новый сертификат плановой заменой, но этот пропустили: его никогда не было в инвентаре. Пока Vault лежал, заметить это было некому. Как только он поднялся, строгий TLS в CI заметил это за секунды.

Перед установкой нового сертификата проверил SAN и даты, а также что modulus ключа совпадает с сертификатом:

diff <(openssl x509 -noout -modulus -in fullchain.pem) \
     <(openssl rsa  -noout -modulus -in privkey.pem)

Бэкап, замена, рестарт. Затем проверка так, как подключается CI — строгий TLS, без -k: sealed: false. Пайплайн позеленел.

Health check с -k врёт

Обычная быстрая проверка — curl -sk .../v1/sys/health. Она сказала бы «Vault жив», пока каждый настоящий клиент отвергал сертификат. Проверяйте так, как подключается ваш реальный потребитель.

Чем платим

Неистекающий токен — компромисс: украденный bearer-токен живёт вечно. Политика ограничивает его только transit-распечаткой, он orphan, и его можно отозвать по accessor’у, который я сохранил. Лучший долгосрочный вариант — AppRole с коротким TTL у secret_id и привязкой к CIDR вместо голого токена на диске.

Выводы

  • CI красный ≠ CI сломан. Если падает первый гейт, а всё остальное пропущено, проблема в зависимости, а не в коде.
  • Два истечения наложились: одно прятало другое. Починив первое, ждите, что второе вылезет сразу.
  • Токены и сертификаты, которые истекают молча, — один класс проблем. Настоящий корень — нет алертов на истечение: ни на TTL токена, ни на дату сертификата. Починка инцидента не чинит класс.
  • Auto-unseal через другой Vault — скрытая зависимость: здоровье этого CI теперь зависит от того, доступен ли и распечатан ли Vault совсем другой среды.
  • Проверяйте каждый секрет до использования и бэкапьте каждый файл до правки. Обе замены были обратимы по построению.