← Все статьи

RabbitMQ в Kubernetes: тревога по памяти, которая не может сработать, и конфиг, который не загружается

Три тихих дефолта Helm-чарта RabbitMQ: порог памяти считается от ноды, а не от контейнера, и OOM killer всегда успевает первым; правка ConfigMap не перезапускает брокер; том удаляется вместе с PVC.

Я разбирал брокер RabbitMQ, который живёт внутри Kubernetes-кластера из community Helm-чарта, до того как окружение пошло в работу. Ничего ещё не сломалось. Это лучший момент для осмотра: все три находки ниже не видны до того дня, когда они стоят вам шины сообщений.

Тревога по памяти, которая не может сработать

У RabbitMQ есть memory high watermark: дойдя до него, брокер блокирует издателей, чтобы потребители успели разобрать очереди. Это предохранительный клапан, который должен сработать до того, как кончится память.

В этом чарте memoryHighWatermark по умолчанию выключен. Без него RabbitMQ берёт 0,6 от памяти, которую видит, — а внутри контейнера он видит память ноды. На узле 8 ГБ это около 4,9 ГБ, при лимите контейнера 2 ГБ.

То есть клапан выставлен выше потолка. OOM killer ядра всегда успевает первым, и брокер умирает вместо того, чтобы притормозить издателей.

config:
  memoryHighWatermark:
    enabled: true
    type: relative
    value: 0.6

Две детали решают всё:

  • Ключ лежит под config, а не на верхнем уровне. В values.yaml чарта он стоит под комментарием секции, из-за которого похож на корневой. При неверной вложенности Helm молча игнорирует блок: рендер не меняется, Argo CD показывает Synced, поведение прежнее. Правду говорит только diff отрендеренных манифестов.
  • При type: relative чарт ещё пишет total_memory_available_override_value из resources.limits.memory. Нет лимита — нет этой строки, и порог снова уезжает к памяти ноды.

Проверка на самом брокере:

kubectl exec rabbitmq-0 -c rabbitmq -- rabbitmq-diagnostics status | grep -i 'high watermark'

Правка конфига, которая не применяется

У StatefulSet нет checksum-аннотации на ConfigMap и нет reloader’а, а rabbitmq.conf читается только при старте процесса. После синка файл на диске новый, брокер работает со старым — и выглядит это ровно как «моя правка не применилась».

kubectl rollout restart sts rabbitmq

При одной реплике такой рестарт — это обрыв шины: издатели и потребители переподключаются. На окружении без трафика цена нулевая, поэтому подобным правкам место до запуска. Durable-очереди пережили рестарт без потерь; сообщения в non-durable — не переживут.

Том, который уходит вместе с заявкой

PVC брокера был создан на StorageClass с reclaimPolicy: Delete. Удаление PVC — неаккуратный helm uninstall, prune в Argo CD — уносит диск вместе с шиной.

Политику можно поменять у существующего PV, без простоя и без пересоздания:

pv=$(kubectl get pvc data-rabbitmq-0 -o jsonpath='{.spec.volumeName}')
kubectl patch pv "$pv" -p '{"spec":{"persistentVolumeReclaimPolicy":"Retain"}}'

Обратная сторона: сохранённый том остаётся в облаке и стоит денег, пока его не удалят руками. Для шины и логов это правильный размен, но список таких томов надо вести. Я сделал то же самое для остальных stateful-томов этого окружения.

Чего это не решает

Одна реплика с classic-очередями остаётся единой точкой отказа. Переход на quorum-очереди — работа приложения: тип очереди объявляет клиент, а не чарт. Это ушло разработчикам отдельной задачей.

Выводы

  • Порог памяти, посчитанный от ноды, в контейнере не порог. Задавайте его явно и привязывайте к лимиту контейнера.
  • Synced в Argo CD значит лишь, что рендер совпадает с Git. Ключ values не на своём месте рендерится в ничто и остаётся зелёным. Смотрите diff рендера.
  • Если конфиг читается только при старте и ничто не перезапускает под при его изменении, каждая правка конфига требует осознанного рестарта.
  • Проверяйте reclaimPolicy у каждого stateful-тома до запуска. Retain ставится на живой PV одной командой.
  • Делайте такие правки, пока на окружении нет трафика: тот же рестарт сегодня бесплатен, а через месяц — инцидент.