Я переставил один NVMe в другой слот, и проброс GPU украл диск чужой VM
После аппаратного окна две VM на хосте Proxmox отказались стартовать. Одна ошибка выглядела как поломка хранилища. На деле VM пробрасывала GPU по PCI-адресу, шина перенумеровалась, и vfio забрал NVMe с volume group другой VM.
Моя домашняя лаборатория живёт на одном хосте Proxmox. В аппаратное окно я переставил NVMe в другой слот и добавил вторую видеокарту. Хост поднялся нормально, но две VM с автозапуском остались stopped:
- медиа-VM:
start failed: QEMU exited with code 1; - VM с GitLab:
can't activate LV '/dev/<vg>/vm-...-disk-0': Cannot process volume group <vg>.
Без GitLab в лабе не работали ни push, ни сборки. Вторая ошибка читалась как умирающий диск, и первый инстинкт идёт именно туда. А NVMe был полностью исправен.
Два отказа, одна причина
Медиа-VM пробрасывает гостю видеокарту, и делает это по PCI-адресу:
hostpci0: 0000:02:00
Перестановка карт перенумеровала шину. Лог ядра прошлой и текущей загрузки всё показывает:
journalctl -k -b -1 --no-pager | grep -E "pci 0000:0[23]:00\.0: \["
# pci 0000:02:00.0: [1002:67df] <- видеокарта
journalctl -k -b 0 --no-pager | grep -E "pci 0000:0[23]:00\.0: \["
# pci 0000:02:00.0: [126f:2263] <- теперь здесь NVMe-контроллер
# pci 0000:03:00.0: [1002:67df] <- видеокарта переехала сюда
Остальное решил порядок старта. Медиа-VM загрузилась первой. vfio-pci отобрал 02:00.0 у драйвера nvme хоста — ведь именно этот адрес был в конфиге VM. Физический том на этом NVMe пропал с хоста, и volume group для VM с GitLab не смогла активироваться. А сама медиа-VM всё равно упала: вместо видеокарты ей достался дисковый контроллер.
VM, которой принадлежит проброшенное устройство, стартует первой и молча забирает всё, что теперь сидит по этому адресу. Даже устройство, на котором живёт хранилище другой VM.
Исправление
Сначала я убедился, что 03:00 — действительно та же видеокарта: её vendor:device ID встречается на новой шине ровно один раз (вторая карта другого производителя и используется хостом). Затем:
cp /etc/pve/qemu-server/<vmid>.conf /root/<vmid>.conf.pre-pci-fix
qm set <vmid> --hostpci0 0000:03:00
D=/sys/bus/pci/devices/0000:02:00.0
echo -n > $D/driver_override
[ -e $D/driver ] && echo 0000:02:00.0 > $D/driver/unbind
echo 0000:02:00.0 > /sys/bus/pci/drivers/nvme/bind
pvscan --cache && vgchange -ay <vg>
qm start <gitlab-vmid> && qm start <media-vmid>
Порядок важен: NVMe возвращается драйверу хоста, volume group активируется, и только потом стартуют VM — GitLab первым.
Детали, которые стоили времени
- NVMe вернулся под другим именем устройства (
nvme0n2вместоnvme0n1): контроллер сообщает странные ID неймспейсов. LVM ищет физические тома по UUID, так что это безвредно. Никогда не хардкодьте имена/dev/nvme*. Cannot reset device ...:00.1при старте VM — это HDMI-аудио видеокарты. Сама карта сбросилась нормально. Не ошибка.- Прежде чем винить пропадание питания, поищите в журнале
Power key pressed short. Короткое нажатие — это чистыйpoweroff.
Долгосрочное исправление
Новый адрес продержится только до следующей перестановки. В Proxmox есть Resource Mappings (Datacenter → Resource Mappings → PCI): именованный маппинг, привязанный к vendor и device ID устройства, а VM ссылается на него как hostpci0: mapping=<name>. Тогда перенумерованная шина приводит к безопасному отказу, а не к выдаче случайного устройства.
Выводы
- Проброс по PCI-адресу — это контракт с раскладкой слотов. Любое изменение PCIe может его сломать, и громко это заметит только VM-владелец.
- Ошибка LVM — не доказательство плохого диска. Сначала спросите, владеет ли хост устройством:
lspci -nnkпокажет, какой драйвер к нему привязан. - Сравнивайте перечисление устройств ядром между загрузками:
journalctl -k -b -1против-b 0. Так быстрее всего видно, что переехало. - Когда после одного изменения падают две вещи, сначала ищите одну причину, а не разбирайте два инцидента.