Гонка на sleep(3), доказанная тестом «доза — ответ»
Примерно треть прогонов подготовки воркспейсов падала с двумя на вид не связанными ошибками, а ретрай в CI делал только хуже. Обе ошибки шли от одного фиксированного таймера, который гонялся с systemd внутри LXC-контейнера. Смена таймера с 3 на 5, 7 и 10 секунд превратила корреляцию в доказательство.
CI-ферма собирает тестовые воркспейсы: инсталлятор от вендора создаёт LXC-контейнер, запускает его и выполняет внутри скрипт настройки. Примерно треть прогонов падала. Ретраи были лотереей, а на одном хосте почти никогда не помогали. Появлялись две ошибки, и выглядели они не связанными:
- на первой попытке:
getcwd() failed: No such file or directory; - на ретраях:
chown: cannot access '/run/mysqld'.
Одну списывали на даунгрейд, другую — на то, что хост «особенный». Оба объяснения были неверными.
Читать код, а не логи
Инсталлятор запускает контейнер и ждёт фиксированный sleep(3) перед запуском скрипта настройки. Он не ждёт, пока systemd внутри контейнера закончит ранний старт. Здесь важен один юнит раннего старта — systemd-tmpfiles-setup. Он чистит /tmp и создаёт /run/mysqld. Его старт плавает за systemd-journal-flush, который занимал от 0,7 до 5 секунд.
Это объяснило обе ошибки как одну гонку:
- Первая попытка. Скрипт настройки сначала секунду-две распаковывает пустые базы. Потом с опозданием запускается tmpfiles, стирает рабочий каталог скрипта в
/tmp, и дочерний shell пишет в stderrgetcwd() failed. Инсталлятор считает любой вывод в stderr ошибкой. - Ретрай. Данные уже есть, поэтому скрипт доходит до
chown /run/mysqldменьше чем за секунду — раньше, чем tmpfiles создал каталог.
Ретрай в CI делал хуже: он выполнял только стоп → sleep 90 → старт, без чистой переустановки. Каждый ретрай шёл по быстрому пути прямо в гонку.
Корреляция — не доказательство
Тайминги в логах совпадали с теорией, но совпадающие тайминги — всё ещё корреляция. Чтобы доказать причину, я менял дозу: один свободный хост, закешированный код инсталлятора правится под другое значение sleep, один прогон на значение по пути ретрая, в конце оригинал восстановлен и сверен по контрольной сумме.
Время от старта контейнера; запас = старт скрипта настройки минус завершение tmpfiles:
| sleep | journal flush | запас | результат |
|---|---|---|---|
| 3, с нуля | 0,68 с | +3,14 с | ✅ |
| 3, ретрай | 4,85 с | ≈ −1,1 с | ❌ chown /run/mysqld |
| 5, ретрай | 4,79 с | +0,98 с | ✅ на грани |
| 7, ретрай | 2,10 с | +5,71 с | ✅ |
| 10, ретрай | 5,01 с | +5,78 с | ✅ самый медленный flush |
Падение появлялось по заказу на 3 и исчезало на 5, 7 и 10. Скрипт настройки всегда стартовал в sleep(N) + 1,3 с, значит таймер был единственным затвором. Переменной был journal flush. При одном прогоне на значение это демонстрация, а не частота отказов, но это причинное доказательство.
Вторая, независимая задержка
Те же прогоны показали ещё одну проблему: юнит инициализации сети подвешивал каждый старт контейнера на три минуты. Он упорядочен до basic.target и запускает netplan apply. networkctl reload нужен D-Bus, D-Bus ждёт basic.target, а basic.target ждёт сетевой юнит. Дедлок, который разрывают только 90-секундные таймауты. Сама сеть была настроена через 13,5 секунды после старта; висел только лишний reload. С sleep это не связано: задержка была одинаковой на всех значениях.
Фикс
Обход sleep(10) работает за счёт запаса, но это всё ещё таймер. А закешированный код, который он патчит, теряется при перезагрузке хоста, и гонка молча возвращается. Настоящий фикс — ждать событие, а не время: systemctl is-system-running --wait (или ожидание sysinit.target) внутри контейнера перед настройкой. И ещё: cd / и mkdir -p /run/mysqld в скрипте, и не считать вывод в stderr ошибкой.
Выводы
- Фиксированный
sleepперед использованием того, что создаёт другой процесс, — это гонка с запасом. Она работает, пока запас не кончится. - Две разные ошибки могут быть одной гонкой — в зависимости от того, каким путём код приходит к одному и тому же окну времени.
- Ретрай, который пропускает очистку, может попадать в баг надёжнее, чем первая попытка.
- Чтобы доказать причину, меняйте дозу и смотрите, как эффект появляется и исчезает. Нужен один свободный хост и час, и спор закончен.
- «Почему этот хост падает чаще» (здесь — медленнее journal flush) измеряйте отдельно от первопричины. Это разные вопросы.