← Все статьи

MySQL-оператор пропустил одно событие, а конфиг из Git так и не дошёл до mysqld

Too many connections на всех сайтах, кластер в 2/3 сорок часов и Argo CD со статусом Synced. Спусковым крючком стала одна просадка хранилища; два скрытых поведения оператора превратили её в отложенную аварию.

Запрос был расплывчатым: «что-то не так с базой». Когда я посмотрел, сайты отвечали 200. Но история была хуже текущего состояния:

  • накануне вечером около полутора часов все WordPress-сайты на этом MySQL InnoDB Cluster писали в логи Too many connections и Lock wait timeout, сотнями в час;
  • критический алерт «кластер деградировал» и KubePodNotReady по одному участнику горели сорок часов. Кластер был в ONLINE_PARTIAL, 2 из 3, с нулевой отказоустойчивостью, и никто ничего не делал.

Три слоя, один спусковой крючок.

Триггер: хранилище на одном гипервизоре

Обе VM на одном хосте гипервизора — нода control plane и воркер с primary — показывали 85–108 % загрузки диска и 18–23 секунды средней задержки записи. VM на остальных хостах были ровными. InnoDB на primary накопил ожидания семафоров, число работающих потоков выросло с 4 до 144, и лимит соединений кончился. Член etcd на том же хосте замедлил API-сервер, и контроллеры с leader election перезапустились по всему кластеру.

Слой второй: оператор потерял событие

Во время той просадки под одного участника пересоздался. Оператор добавляет участника в Group Replication только по событию создания или рестарта пода, а не из периодической проверки. API-сервер отвечал таймаутами, и этот обработчик так и не отработал. mysqld стартовал чисто, datadir был в порядке, но участник висел в OFFLINE, и его readiness gate так и не выставился. lastProbeTime в custom resource застыл на моменте потерянного события.

Что не помогло: рестарт оператора сделал его статус снова честным, но участника не вернул. Удаление пода участника сделало хуже: оператор понял удаление как «убери этот инстанс из метаданных кластера», а для нового пода записал в лог ignored pod event. Так делать не надо.

Сработала сначала проверка GTID: gtid_executed участника был подмножеством primary, лишних транзакций не было, и primary не вычистил ничего, что ещё нужно участнику. Значит, возможно инкрементальное восстановление:

dba.getCluster().addInstance(member, {recoveryMethod: 'incremental'})

RECOVERING → ONLINE примерно за девять минут. Без clone и без пересборки тома.

Слой третий: конфиг из Git так и не приехал

Почему лимит соединений вообще был 151? В Git в spec.mycnf кластера были объявлены max_connections=500, хранение бинлогов один день и сжатие бинлогов, а Argo CD показывал Synced. Но оператор рендерит spec.mycnf в свой init-ConfigMap один раз, при создании кластера. Эти настройки добавили позже, и тот файл три с половиной месяца оставался пустым.

Истина — в базе, а не в Git:

SELECT VARIABLE_NAME, VARIABLE_SOURCE
FROM performance_schema.variables_info
WHERE VARIABLE_NAME = 'max_connections';
-- COMPILED  <- у значения, которое вы задали, не должно быть COMPILED

Побочный эффект: с хранением бинлогов по умолчанию 30 дней они занимали 12 из 15 ГБ на томах данных по 20 GiB. Следующая авария уже была в пути.

Только после возврата кластера в 3/3: SET PERSIST трёх переменных на каждом участнике (рестарт не нужен, и значение переживает рестарты), сброс бинлогов, который освободил тома с 76 % до 22 %, и патч ConfigMap, чтобы пересобранный участник стартовал с правильным конфигом.

Порядок важен. Никогда не чистите бинлоги на доноре, пока участник восстанавливается инкрементально: он читает именно эти файлы, и восстановление откатится на полный clone.

Выводы

  • Оператор, который реагирует на события, может потерять событие, когда API-сервер тормозит. Если статус застыл на одном моменте, проверьте, что именно он пропустил.
  • Удаление пода — не безобидный «пинок» для любого оператора. Сначала прочитайте, что делает его обработчик удаления.
  • Synced доказывает только, что custom resource равен Git. Для конфига, который рендерит оператор, проверяйте, с чем процесс реально работает.
  • Поднятие лимита соединений не лечит просадку хранилища, оно лишь превращает ошибки в более долгие ожидания. Корень был ниже кластера, в хранилище гипервизора.
  • Критический алерт, горящий сорок часов, — это дыра в маршрутизации и владении, а не успех мониторинга.