← Все статьи

Autovacuum отработал 443 863 раза и ничего не почистил: сиротские запросы на реплике

Платежи зачислялись с опозданием на 85 минут. Relay outbox был жив, трафик в норме, vacuum не останавливался ни на минуту. А xmin horizon на primary держали девять забытых запросов на реплике.

Ночью депозиты в платёжном сервисе начали зависать в pending. Платёжный провайдер деньги уже списал, webhook был принят, а баланс не пополнялся. Задержка росла и на пике дошла до 85 минут. В итоге ничего не потерялось. Но для саппорта и игроков ночь вышла долгой.

Конвейер и первая ложь

Сервис построен на transactional outbox. Обработчик webhook’а пишет событие в таблицу outbox в той же транзакции, что и бизнес-изменение. Relay-воркер читает таблицу по порядку, публикует события в Kafka и удаляет отправленные строки. Кошелёк получает событие и зачисляет деньги.

Метрика здоровья relay всю ночь показывала alive = 1, пока очередь росла до 560 000 событий. Жив — не значит справляется. Значение имели возраст самого старого события в очереди (норма — 1–2 секунды, дошёл до 5 100) и темп публикации в сравнении с тем же часом прошлых ночей. Темп был вдвое ниже обычного, входящий поток — ровный. Значит, это не флуд: замедлился сам relay.

В логах relay его собственные запросы к таблице outbox падали по таймауту.

Таблица, которую vacuum не может почистить

Всю историю рассказала статистика таблицы на primary:

select n_live_tup, n_dead_tup, autovacuum_count,
       pg_size_pretty(pg_total_relation_size(relid))
from pg_stat_user_tables where relname = 'outbox_message';

Около 0,5 миллиона живых строк, 10,8 миллиона мёртвых и 9,7 ГБ на диске у таблицы, которая обычно весит пару сотен мегабайт. autovacuum_count показывал 443 863 и рос при каждом взгляде. Vacuum работал без остановки и всё равно не мог ничего удалить.

Если vacuum работает, но ничего не удаляет, кто-то держит xmin horizon: старый снимок, которому эти версии строк ещё могут понадобиться. Таблица, в которую каждую секунду пишут и из которой каждую секунду удаляют, превращается в поле мёртвых кортежей. Через это поле приходится продираться каждому упорядоченному SELECT.

Три места, по порядку

  1. Долгие сессии или idle in transaction на primary (pg_stat_activity, backend_xmin).
  2. Слоты репликации (pg_replication_slots, age(xmin)).
  3. Забытые двухфазные транзакции (pg_prepared_xacts).

На primary было чисто. Со слотами — нет: у обоих физических слотов, по одному на реплику, age(xmin) был около 9,3 миллиона. База работала с hot_standby_feedback. Каждая реплика сообщает primary самый старый снимок, который ей ещё нужен, поэтому долгий запрос на реплике останавливает vacuum на primary.

На репликах нашлись девять запросов SELECT count(*), которые выполнялись уже 17 часов. Их application_name указывал на ReplicaSet, которого больше не было. Запросы пришли из конструктора сегментов в админке: оператор собрал фильтр, под который попадали почти все пользователи. HTTP-запрос через 60 секунд возвращал 500, оператор пробовал снова, и каждая попытка запускала ещё один запрос. Приложение сдавалось, но запрос в базе не отменяло. Рестарт или замена пода тоже не останавливает запрос, который уже выполняется на сервере.

Сама починка заняла секунды

select pid, pg_cancel_backend(pid) from pg_stat_activity
 where application_name like '<dead-replicaset>-%'
   and xact_start < now() - interval '1 hour';

Я запустил это на каждой реплике с узким фильтром, предварительно записав pid’ы и тексты запросов. age(xmin) у слотов упал с 9,3 миллиона до двузначных чисел. Следующий проход vacuum завершился, и очередь сократилась с 510 000 до 11 примерно за две минуты. Все задержанные депозиты были опубликованы.

Чего я сознательно не делал: не рестартовал relay (очередь лежит в таблице, а прерванный батч может продублировать сообщения), не запускал VACUUM FULL (эксклюзивная блокировка, relay встал бы полностью), не удалял строки из outbox (это недоставленные платежи).

Почему мониторинг это пропустил

Postgres exporter собирал метрики только с primary. Его метрика самой долгой транзакции показывала 30–57 секунд, пока реплики держали 17-часовые запросы. Первым сработал алерт на возраст outbox — через несколько часов после того, как horizon застрял.

Выводы

  • Vacuum, который работает и ничего не удаляет, — это зажатый horizon, а не медленный vacuum. Проверяйте сессии, слоты и prepared-транзакции.
  • С hot_standby_feedback реплика может заблокировать vacuum на primary. Мониторьте реплики, а не только writer, и поставьте алерт на age(xmin) слотов.
  • Таймаут клиента не отменяет запрос на сервере. Задайте statement_timeout для read-only ролей. SQL-запрос не должен жить дольше HTTP-запроса, который его породил.
  • «Жив» — не пропускная способность. Для очередей алертите на возраст самого старого элемента и сравнивайте темп со вчерашним, а не с нулём.