← ყველა სტატია

ერთი NVMe სხვა სლოტში გადავიტანე და GPU-ს passthrough-მა სხვა VM-ის დისკი მოიპარა

აპარატული ფანჯრის შემდეგ Proxmox-ის ჰოსტზე ორმა VM-მა გაშვებაზე უარი თქვა. ერთი შეცდომა საცავის გაფუჭებას ჰგავდა. სინამდვილეში VM თავის GPU-ს PCI-მისამართით აწვდიდა, შინა გადაინომრა და vfio-მ ის NVMe წაიღო, რომელზეც მეორე VM-ის volume group იყო.

ჩემი სახლის ლაბორატორია ერთ Proxmox-ის ჰოსტზე ცხოვრობს. აპარატულ ფანჯარაში NVMe სხვა სლოტში გადავიტანე და მეორე ვიდეობარათი დავამატე. ჰოსტი ნორმალურად ავიდა, მაგრამ ორი VM, რომლებიც ჩატვირთვისას უნდა ეშვებოდეს, stopped დარჩა:

  • მედია-VM: start failed: QEMU exited with code 1;
  • GitLab-ის VM: can't activate LV '/dev/<vg>/vm-...-disk-0': Cannot process volume group <vg>.

GitLab-ის გარეშე ლაბში არც push მუშაობდა და არც აწყობა. მეორე შეცდომა მომაკვდავ დისკს ჰგავდა და პირველი ინსტინქტიც იქით მიდის. NVMe კი სრულიად გამართული იყო.

ორი მტყუნება, ერთი მიზეზი

მედია-VM სტუმარს ვიდეობარათს აწვდის და ამას PCI-მისამართით აკეთებს:

hostpci0: 0000:02:00

ბარათების გადაადგილებამ შინა გადანომრა. წინა და მიმდინარე ჩატვირთვის ბირთვის ლოგი ყველაფერს აჩვენებს:

journalctl -k -b -1 --no-pager | grep -E "pci 0000:0[23]:00\.0: \["
# pci 0000:02:00.0: [1002:67df]   <- ვიდეობარათი
journalctl -k -b 0  --no-pager | grep -E "pci 0000:0[23]:00\.0: \["
# pci 0000:02:00.0: [126f:2263]   <- ახლა აქ NVMe-კონტროლერია
# pci 0000:03:00.0: [1002:67df]   <- ვიდეობარათი აქ გადავიდა

დანარჩენი გაშვების თანმიმდევრობამ გადაწყვიტა. მედია-VM პირველი ჩაიტვირთა. vfio-pci-მ 02:00.0 ჰოსტის nvme დრაივერს წაართვა — ხომ სწორედ ეს მისამართი ეწერა VM-ის კონფიგში. ამ NVMe-ზე არსებული ფიზიკური ტომი ჰოსტიდან გაქრა და GitLab-ის VM-ის volume group ვერ გააქტიურდა. თავად მედია-VM-იც მაინც დაეცა: ვიდეობარათის ნაცვლად დისკის კონტროლერი შეხვდა.

VM, რომელსაც passthrough-მოწყობილობა ეკუთვნის, პირველი ეშვება და ჩუმად იღებს ყველაფერს, რაც ახლა ამ მისამართზე ზის. თუნდაც მოწყობილობას, რომელზეც სხვა VM-ის საცავი ცხოვრობს.

შესწორება

ჯერ დავრწმუნდი, რომ 03:00 ნამდვილად იგივე ვიდეობარათია: მისი vendor:device ID ახალ შინაზე ზუსტად ერთხელ გვხვდება (მეორე ბარათი სხვა მწარმოებლისაა და ჰოსტი იყენებს). შემდეგ:

cp /etc/pve/qemu-server/<vmid>.conf /root/<vmid>.conf.pre-pci-fix
qm set <vmid> --hostpci0 0000:03:00

D=/sys/bus/pci/devices/0000:02:00.0
echo -n > $D/driver_override
[ -e $D/driver ] && echo 0000:02:00.0 > $D/driver/unbind
echo 0000:02:00.0 > /sys/bus/pci/drivers/nvme/bind

pvscan --cache && vgchange -ay <vg>
qm start <gitlab-vmid> && qm start <media-vmid>

თანმიმდევრობა მნიშვნელოვანია: NVMe ჰოსტის დრაივერს უბრუნდება, volume group აქტიურდება და მხოლოდ ამის შემდეგ ეშვება VM-ები — GitLab პირველი.

დეტალები, რომლებმაც დრო წაიღო

  • NVMe სხვა სახელით დაბრუნდა (nvme0n2 და არა nvme0n1): კონტროლერი უცნაურ namespace ID-ებს აცხადებს. LVM ფიზიკურ ტომებს UUID-ით პოულობს, ამიტომ ეს უვნებელია. /dev/nvme* სახელები არასოდეს ჩაწეროთ ხისტად.
  • Cannot reset device ...:00.1 VM-ის გაშვებისას ვიდეობარათის HDMI-აუდიოა. თავად ბარათი ნორმალურად განულდა. შეცდომა არ არის.
  • სანამ კვების გაქრობას დააბრალებთ, ჟურნალში მოძებნეთ Power key pressed short. მოკლე დაჭერა სუფთა poweroff-ია.

გრძელვადიანი შესწორება

ახალი მისამართი მხოლოდ შემდეგ აპარატულ ცვლილებამდე გაძლებს. Proxmox-ს აქვს Resource Mappings (Datacenter → Resource Mappings → PCI): სახელიანი მეპინგი, მიბმული მოწყობილობის vendor და device ID-ზე, VM კი მას hostpci0: mapping=<name>-ით მიმართავს. მაშინ გადანომრილი შინა უსაფრთხო მტყუნებას იწვევს და არა შემთხვევითი მოწყობილობის გადაცემას.

დასკვნები

  • PCI-მისამართით passthrough სლოტების განლაგებასთან კონტრაქტია. PCIe-ს ნებისმიერ ცვლილებას შეუძლია მისი გატეხვა და ხმამაღლა ამას მხოლოდ მფლობელი VM შეამჩნევს.
  • LVM-ის შეცდომა ცუდი დისკის მტკიცებულება არ არის. ჯერ იკითხეთ, ფლობს თუ არა ჰოსტი მოწყობილობას: lspci -nnk აჩვენებს, რომელი დრაივერია მიბმული.
  • შეადარეთ ბირთვის მიერ მოწყობილობების ჩამოთვლა ჩატვირთვებს შორის: journalctl -k -b -1 და -b 0. ასე ყველაზე სწრაფად ჩანს, რა გადაადგილდა.
  • როცა ერთი ცვლილების შემდეგ ორი რამ ეცემა, ჯერ ერთ მიზეზს ეძებეთ და არა ორ ინციდენტს.