← Все статьи

Я переставил один NVMe в другой слот, и проброс GPU украл диск чужой VM

После аппаратного окна две VM на хосте Proxmox отказались стартовать. Одна ошибка выглядела как поломка хранилища. На деле VM пробрасывала GPU по PCI-адресу, шина перенумеровалась, и vfio забрал NVMe с volume group другой VM.

Моя домашняя лаборатория живёт на одном хосте Proxmox. В аппаратное окно я переставил NVMe в другой слот и добавил вторую видеокарту. Хост поднялся нормально, но две VM с автозапуском остались stopped:

  • медиа-VM: start failed: QEMU exited with code 1;
  • VM с GitLab: can't activate LV '/dev/<vg>/vm-...-disk-0': Cannot process volume group <vg>.

Без GitLab в лабе не работали ни push, ни сборки. Вторая ошибка читалась как умирающий диск, и первый инстинкт идёт именно туда. А NVMe был полностью исправен.

Два отказа, одна причина

Медиа-VM пробрасывает гостю видеокарту, и делает это по PCI-адресу:

hostpci0: 0000:02:00

Перестановка карт перенумеровала шину. Лог ядра прошлой и текущей загрузки всё показывает:

journalctl -k -b -1 --no-pager | grep -E "pci 0000:0[23]:00\.0: \["
# pci 0000:02:00.0: [1002:67df]   <- видеокарта
journalctl -k -b 0  --no-pager | grep -E "pci 0000:0[23]:00\.0: \["
# pci 0000:02:00.0: [126f:2263]   <- теперь здесь NVMe-контроллер
# pci 0000:03:00.0: [1002:67df]   <- видеокарта переехала сюда

Остальное решил порядок старта. Медиа-VM загрузилась первой. vfio-pci отобрал 02:00.0 у драйвера nvme хоста — ведь именно этот адрес был в конфиге VM. Физический том на этом NVMe пропал с хоста, и volume group для VM с GitLab не смогла активироваться. А сама медиа-VM всё равно упала: вместо видеокарты ей достался дисковый контроллер.

VM, которой принадлежит проброшенное устройство, стартует первой и молча забирает всё, что теперь сидит по этому адресу. Даже устройство, на котором живёт хранилище другой VM.

Исправление

Сначала я убедился, что 03:00 — действительно та же видеокарта: её vendor:device ID встречается на новой шине ровно один раз (вторая карта другого производителя и используется хостом). Затем:

cp /etc/pve/qemu-server/<vmid>.conf /root/<vmid>.conf.pre-pci-fix
qm set <vmid> --hostpci0 0000:03:00

D=/sys/bus/pci/devices/0000:02:00.0
echo -n > $D/driver_override
[ -e $D/driver ] && echo 0000:02:00.0 > $D/driver/unbind
echo 0000:02:00.0 > /sys/bus/pci/drivers/nvme/bind

pvscan --cache && vgchange -ay <vg>
qm start <gitlab-vmid> && qm start <media-vmid>

Порядок важен: NVMe возвращается драйверу хоста, volume group активируется, и только потом стартуют VM — GitLab первым.

Детали, которые стоили времени

  • NVMe вернулся под другим именем устройства (nvme0n2 вместо nvme0n1): контроллер сообщает странные ID неймспейсов. LVM ищет физические тома по UUID, так что это безвредно. Никогда не хардкодьте имена /dev/nvme*.
  • Cannot reset device ...:00.1 при старте VM — это HDMI-аудио видеокарты. Сама карта сбросилась нормально. Не ошибка.
  • Прежде чем винить пропадание питания, поищите в журнале Power key pressed short. Короткое нажатие — это чистый poweroff.

Долгосрочное исправление

Новый адрес продержится только до следующей перестановки. В Proxmox есть Resource Mappings (Datacenter → Resource Mappings → PCI): именованный маппинг, привязанный к vendor и device ID устройства, а VM ссылается на него как hostpci0: mapping=<name>. Тогда перенумерованная шина приводит к безопасному отказу, а не к выдаче случайного устройства.

Выводы

  • Проброс по PCI-адресу — это контракт с раскладкой слотов. Любое изменение PCIe может его сломать, и громко это заметит только VM-владелец.
  • Ошибка LVM — не доказательство плохого диска. Сначала спросите, владеет ли хост устройством: lspci -nnk покажет, какой драйвер к нему привязан.
  • Сравнивайте перечисление устройств ядром между загрузками: journalctl -k -b -1 против -b 0. Так быстрее всего видно, что переехало.
  • Когда после одного изменения падают две вещи, сначала ищите одну причину, а не разбирайте два инцидента.