MySQL-оператор пропустил одно событие, а конфиг из Git так и не дошёл до mysqld
Too many connections на всех сайтах, кластер в 2/3 сорок часов и Argo CD со статусом Synced. Спусковым крючком стала одна просадка хранилища; два скрытых поведения оператора превратили её в отложенную аварию.
Запрос был расплывчатым: «что-то не так с базой». Когда я посмотрел, сайты отвечали 200. Но история была хуже текущего состояния:
- накануне вечером около полутора часов все WordPress-сайты на этом MySQL InnoDB Cluster писали в логи
Too many connectionsиLock wait timeout, сотнями в час; - критический алерт «кластер деградировал» и
KubePodNotReadyпо одному участнику горели сорок часов. Кластер был вONLINE_PARTIAL, 2 из 3, с нулевой отказоустойчивостью, и никто ничего не делал.
Три слоя, один спусковой крючок.
Триггер: хранилище на одном гипервизоре
Обе VM на одном хосте гипервизора — нода control plane и воркер с primary — показывали 85–108 % загрузки диска и 18–23 секунды средней задержки записи. VM на остальных хостах были ровными. InnoDB на primary накопил ожидания семафоров, число работающих потоков выросло с 4 до 144, и лимит соединений кончился. Член etcd на том же хосте замедлил API-сервер, и контроллеры с leader election перезапустились по всему кластеру.
Слой второй: оператор потерял событие
Во время той просадки под одного участника пересоздался. Оператор добавляет участника в Group Replication только по событию создания или рестарта пода, а не из периодической проверки. API-сервер отвечал таймаутами, и этот обработчик так и не отработал. mysqld стартовал чисто, datadir был в порядке, но участник висел в OFFLINE, и его readiness gate так и не выставился. lastProbeTime в custom resource застыл на моменте потерянного события.
Что не помогло: рестарт оператора сделал его статус снова честным, но участника не вернул. Удаление пода участника сделало хуже: оператор понял удаление как «убери этот инстанс из метаданных кластера», а для нового пода записал в лог ignored pod event. Так делать не надо.
Сработала сначала проверка GTID: gtid_executed участника был подмножеством primary, лишних транзакций не было, и primary не вычистил ничего, что ещё нужно участнику. Значит, возможно инкрементальное восстановление:
dba.getCluster().addInstance(member, {recoveryMethod: 'incremental'})
RECOVERING → ONLINE примерно за девять минут. Без clone и без пересборки тома.
Слой третий: конфиг из Git так и не приехал
Почему лимит соединений вообще был 151? В Git в spec.mycnf кластера были объявлены max_connections=500, хранение бинлогов один день и сжатие бинлогов, а Argo CD показывал Synced. Но оператор рендерит spec.mycnf в свой init-ConfigMap один раз, при создании кластера. Эти настройки добавили позже, и тот файл три с половиной месяца оставался пустым.
Истина — в базе, а не в Git:
SELECT VARIABLE_NAME, VARIABLE_SOURCE
FROM performance_schema.variables_info
WHERE VARIABLE_NAME = 'max_connections';
-- COMPILED <- у значения, которое вы задали, не должно быть COMPILED
Побочный эффект: с хранением бинлогов по умолчанию 30 дней они занимали 12 из 15 ГБ на томах данных по 20 GiB. Следующая авария уже была в пути.
Только после возврата кластера в 3/3: SET PERSIST трёх переменных на каждом участнике (рестарт не нужен, и значение переживает рестарты), сброс бинлогов, который освободил тома с 76 % до 22 %, и патч ConfigMap, чтобы пересобранный участник стартовал с правильным конфигом.
Порядок важен. Никогда не чистите бинлоги на доноре, пока участник восстанавливается инкрементально: он читает именно эти файлы, и восстановление откатится на полный clone.
Выводы
- Оператор, который реагирует на события, может потерять событие, когда API-сервер тормозит. Если статус застыл на одном моменте, проверьте, что именно он пропустил.
- Удаление пода — не безобидный «пинок» для любого оператора. Сначала прочитайте, что делает его обработчик удаления.
Syncedдоказывает только, что custom resource равен Git. Для конфига, который рендерит оператор, проверяйте, с чем процесс реально работает.- Поднятие лимита соединений не лечит просадку хранилища, оно лишь превращает ошибки в более долгие ожидания. Корень был ниже кластера, в хранилище гипервизора.
- Критический алерт, горящий сорок часов, — это дыра в маршрутизации и владении, а не успех мониторинга.