← Все статьи

Гонка на sleep(3), доказанная тестом «доза — ответ»

Примерно треть прогонов подготовки воркспейсов падала с двумя на вид не связанными ошибками, а ретрай в CI делал только хуже. Обе ошибки шли от одного фиксированного таймера, который гонялся с systemd внутри LXC-контейнера. Смена таймера с 3 на 5, 7 и 10 секунд превратила корреляцию в доказательство.

CI-ферма собирает тестовые воркспейсы: инсталлятор от вендора создаёт LXC-контейнер, запускает его и выполняет внутри скрипт настройки. Примерно треть прогонов падала. Ретраи были лотереей, а на одном хосте почти никогда не помогали. Появлялись две ошибки, и выглядели они не связанными:

  • на первой попытке: getcwd() failed: No such file or directory;
  • на ретраях: chown: cannot access '/run/mysqld'.

Одну списывали на даунгрейд, другую — на то, что хост «особенный». Оба объяснения были неверными.

Читать код, а не логи

Инсталлятор запускает контейнер и ждёт фиксированный sleep(3) перед запуском скрипта настройки. Он не ждёт, пока systemd внутри контейнера закончит ранний старт. Здесь важен один юнит раннего старта — systemd-tmpfiles-setup. Он чистит /tmp и создаёт /run/mysqld. Его старт плавает за systemd-journal-flush, который занимал от 0,7 до 5 секунд.

Это объяснило обе ошибки как одну гонку:

  • Первая попытка. Скрипт настройки сначала секунду-две распаковывает пустые базы. Потом с опозданием запускается tmpfiles, стирает рабочий каталог скрипта в /tmp, и дочерний shell пишет в stderr getcwd() failed. Инсталлятор считает любой вывод в stderr ошибкой.
  • Ретрай. Данные уже есть, поэтому скрипт доходит до chown /run/mysqld меньше чем за секунду — раньше, чем tmpfiles создал каталог.

Ретрай в CI делал хуже: он выполнял только стоп → sleep 90 → старт, без чистой переустановки. Каждый ретрай шёл по быстрому пути прямо в гонку.

Корреляция — не доказательство

Тайминги в логах совпадали с теорией, но совпадающие тайминги — всё ещё корреляция. Чтобы доказать причину, я менял дозу: один свободный хост, закешированный код инсталлятора правится под другое значение sleep, один прогон на значение по пути ретрая, в конце оригинал восстановлен и сверен по контрольной сумме.

Время от старта контейнера; запас = старт скрипта настройки минус завершение tmpfiles:

sleep journal flush запас результат
3, с нуля 0,68 с +3,14 с ✅
3, ретрай 4,85 с ≈ −1,1 с ❌ chown /run/mysqld
5, ретрай 4,79 с +0,98 с ✅ на грани
7, ретрай 2,10 с +5,71 с ✅
10, ретрай 5,01 с +5,78 с ✅ самый медленный flush

Падение появлялось по заказу на 3 и исчезало на 5, 7 и 10. Скрипт настройки всегда стартовал в sleep(N) + 1,3 с, значит таймер был единственным затвором. Переменной был journal flush. При одном прогоне на значение это демонстрация, а не частота отказов, но это причинное доказательство.

Вторая, независимая задержка

Те же прогоны показали ещё одну проблему: юнит инициализации сети подвешивал каждый старт контейнера на три минуты. Он упорядочен до basic.target и запускает netplan apply. networkctl reload нужен D-Bus, D-Bus ждёт basic.target, а basic.target ждёт сетевой юнит. Дедлок, который разрывают только 90-секундные таймауты. Сама сеть была настроена через 13,5 секунды после старта; висел только лишний reload. С sleep это не связано: задержка была одинаковой на всех значениях.

Фикс

Обход sleep(10) работает за счёт запаса, но это всё ещё таймер. А закешированный код, который он патчит, теряется при перезагрузке хоста, и гонка молча возвращается. Настоящий фикс — ждать событие, а не время: systemctl is-system-running --wait (или ожидание sysinit.target) внутри контейнера перед настройкой. И ещё: cd / и mkdir -p /run/mysqld в скрипте, и не считать вывод в stderr ошибкой.

Выводы

  • Фиксированный sleep перед использованием того, что создаёт другой процесс, — это гонка с запасом. Она работает, пока запас не кончится.
  • Две разные ошибки могут быть одной гонкой — в зависимости от того, каким путём код приходит к одному и тому же окну времени.
  • Ретрай, который пропускает очистку, может попадать в баг надёжнее, чем первая попытка.
  • Чтобы доказать причину, меняйте дозу и смотрите, как эффект появляется и исчезает. Нужен один свободный хост и час, и спор закончен.
  • «Почему этот хост падает чаще» (здесь — медленнее journal flush) измеряйте отдельно от первопричины. Это разные вопросы.