RabbitMQ в Kubernetes: тревога по памяти, которая не может сработать, и конфиг, который не загружается
Три тихих дефолта Helm-чарта RabbitMQ: порог памяти считается от ноды, а не от контейнера, и OOM killer всегда успевает первым; правка ConfigMap не перезапускает брокер; том удаляется вместе с PVC.
Я разбирал брокер RabbitMQ, который живёт внутри Kubernetes-кластера из community Helm-чарта, до того как окружение пошло в работу. Ничего ещё не сломалось. Это лучший момент для осмотра: все три находки ниже не видны до того дня, когда они стоят вам шины сообщений.
Тревога по памяти, которая не может сработать
У RabbitMQ есть memory high watermark: дойдя до него, брокер блокирует издателей, чтобы потребители успели разобрать очереди. Это предохранительный клапан, который должен сработать до того, как кончится память.
В этом чарте memoryHighWatermark по умолчанию выключен. Без него RabbitMQ берёт 0,6 от памяти, которую видит, — а внутри контейнера он видит память ноды. На узле 8 ГБ это около 4,9 ГБ, при лимите контейнера 2 ГБ.
То есть клапан выставлен выше потолка. OOM killer ядра всегда успевает первым, и брокер умирает вместо того, чтобы притормозить издателей.
config:
memoryHighWatermark:
enabled: true
type: relative
value: 0.6
Две детали решают всё:
- Ключ лежит под
config, а не на верхнем уровне. Вvalues.yamlчарта он стоит под комментарием секции, из-за которого похож на корневой. При неверной вложенности Helm молча игнорирует блок: рендер не меняется, Argo CD показываетSynced, поведение прежнее. Правду говорит только diff отрендеренных манифестов. - При
type: relativeчарт ещё пишетtotal_memory_available_override_valueизresources.limits.memory. Нет лимита — нет этой строки, и порог снова уезжает к памяти ноды.
Проверка на самом брокере:
kubectl exec rabbitmq-0 -c rabbitmq -- rabbitmq-diagnostics status | grep -i 'high watermark'
Правка конфига, которая не применяется
У StatefulSet нет checksum-аннотации на ConfigMap и нет reloader’а, а rabbitmq.conf читается только при старте процесса. После синка файл на диске новый, брокер работает со старым — и выглядит это ровно как «моя правка не применилась».
kubectl rollout restart sts rabbitmq
При одной реплике такой рестарт — это обрыв шины: издатели и потребители переподключаются. На окружении без трафика цена нулевая, поэтому подобным правкам место до запуска. Durable-очереди пережили рестарт без потерь; сообщения в non-durable — не переживут.
Том, который уходит вместе с заявкой
PVC брокера был создан на StorageClass с reclaimPolicy: Delete. Удаление PVC — неаккуратный helm uninstall, prune в Argo CD — уносит диск вместе с шиной.
Политику можно поменять у существующего PV, без простоя и без пересоздания:
pv=$(kubectl get pvc data-rabbitmq-0 -o jsonpath='{.spec.volumeName}')
kubectl patch pv "$pv" -p '{"spec":{"persistentVolumeReclaimPolicy":"Retain"}}'
Обратная сторона: сохранённый том остаётся в облаке и стоит денег, пока его не удалят руками. Для шины и логов это правильный размен, но список таких томов надо вести. Я сделал то же самое для остальных stateful-томов этого окружения.
Чего это не решает
Одна реплика с classic-очередями остаётся единой точкой отказа. Переход на quorum-очереди — работа приложения: тип очереди объявляет клиент, а не чарт. Это ушло разработчикам отдельной задачей.
Выводы
- Порог памяти, посчитанный от ноды, в контейнере не порог. Задавайте его явно и привязывайте к лимиту контейнера.
Syncedв Argo CD значит лишь, что рендер совпадает с Git. Ключ values не на своём месте рендерится в ничто и остаётся зелёным. Смотрите diff рендера.- Если конфиг читается только при старте и ничто не перезапускает под при его изменении, каждая правка конфига требует осознанного рестарта.
- Проверяйте
reclaimPolicyу каждого stateful-тома до запуска.Retainставится на живой PV одной командой. - Делайте такие правки, пока на окружении нет трафика: тот же рестарт сегодня бесплатен, а через месяц — инцидент.