ერთი NVMe სხვა სლოტში გადავიტანე და GPU-ს passthrough-მა სხვა VM-ის დისკი მოიპარა
აპარატული ფანჯრის შემდეგ Proxmox-ის ჰოსტზე ორმა VM-მა გაშვებაზე უარი თქვა. ერთი შეცდომა საცავის გაფუჭებას ჰგავდა. სინამდვილეში VM თავის GPU-ს PCI-მისამართით აწვდიდა, შინა გადაინომრა და vfio-მ ის NVMe წაიღო, რომელზეც მეორე VM-ის volume group იყო.
ჩემი სახლის ლაბორატორია ერთ Proxmox-ის ჰოსტზე ცხოვრობს. აპარატულ ფანჯარაში NVMe სხვა სლოტში გადავიტანე და მეორე ვიდეობარათი დავამატე. ჰოსტი ნორმალურად ავიდა, მაგრამ ორი VM, რომლებიც ჩატვირთვისას უნდა ეშვებოდეს, stopped დარჩა:
- მედია-VM:
start failed: QEMU exited with code 1; - GitLab-ის VM:
can't activate LV '/dev/<vg>/vm-...-disk-0': Cannot process volume group <vg>.
GitLab-ის გარეშე ლაბში არც push მუშაობდა და არც აწყობა. მეორე შეცდომა მომაკვდავ დისკს ჰგავდა და პირველი ინსტინქტიც იქით მიდის. NVMe კი სრულიად გამართული იყო.
ორი მტყუნება, ერთი მიზეზი
მედია-VM სტუმარს ვიდეობარათს აწვდის და ამას PCI-მისამართით აკეთებს:
hostpci0: 0000:02:00
ბარათების გადაადგილებამ შინა გადანომრა. წინა და მიმდინარე ჩატვირთვის ბირთვის ლოგი ყველაფერს აჩვენებს:
journalctl -k -b -1 --no-pager | grep -E "pci 0000:0[23]:00\.0: \["
# pci 0000:02:00.0: [1002:67df] <- ვიდეობარათი
journalctl -k -b 0 --no-pager | grep -E "pci 0000:0[23]:00\.0: \["
# pci 0000:02:00.0: [126f:2263] <- ახლა აქ NVMe-კონტროლერია
# pci 0000:03:00.0: [1002:67df] <- ვიდეობარათი აქ გადავიდა
დანარჩენი გაშვების თანმიმდევრობამ გადაწყვიტა. მედია-VM პირველი ჩაიტვირთა. vfio-pci-მ 02:00.0 ჰოსტის nvme დრაივერს წაართვა — ხომ სწორედ ეს მისამართი ეწერა VM-ის კონფიგში. ამ NVMe-ზე არსებული ფიზიკური ტომი ჰოსტიდან გაქრა და GitLab-ის VM-ის volume group ვერ გააქტიურდა. თავად მედია-VM-იც მაინც დაეცა: ვიდეობარათის ნაცვლად დისკის კონტროლერი შეხვდა.
VM, რომელსაც passthrough-მოწყობილობა ეკუთვნის, პირველი ეშვება და ჩუმად იღებს ყველაფერს, რაც ახლა ამ მისამართზე ზის. თუნდაც მოწყობილობას, რომელზეც სხვა VM-ის საცავი ცხოვრობს.
შესწორება
ჯერ დავრწმუნდი, რომ 03:00 ნამდვილად იგივე ვიდეობარათია: მისი vendor:device ID ახალ შინაზე ზუსტად ერთხელ გვხვდება (მეორე ბარათი სხვა მწარმოებლისაა და ჰოსტი იყენებს). შემდეგ:
cp /etc/pve/qemu-server/<vmid>.conf /root/<vmid>.conf.pre-pci-fix
qm set <vmid> --hostpci0 0000:03:00
D=/sys/bus/pci/devices/0000:02:00.0
echo -n > $D/driver_override
[ -e $D/driver ] && echo 0000:02:00.0 > $D/driver/unbind
echo 0000:02:00.0 > /sys/bus/pci/drivers/nvme/bind
pvscan --cache && vgchange -ay <vg>
qm start <gitlab-vmid> && qm start <media-vmid>
თანმიმდევრობა მნიშვნელოვანია: NVMe ჰოსტის დრაივერს უბრუნდება, volume group აქტიურდება და მხოლოდ ამის შემდეგ ეშვება VM-ები — GitLab პირველი.
დეტალები, რომლებმაც დრო წაიღო
- NVMe სხვა სახელით დაბრუნდა (
nvme0n2და არაnvme0n1): კონტროლერი უცნაურ namespace ID-ებს აცხადებს. LVM ფიზიკურ ტომებს UUID-ით პოულობს, ამიტომ ეს უვნებელია./dev/nvme*სახელები არასოდეს ჩაწეროთ ხისტად. Cannot reset device ...:00.1VM-ის გაშვებისას ვიდეობარათის HDMI-აუდიოა. თავად ბარათი ნორმალურად განულდა. შეცდომა არ არის.- სანამ კვების გაქრობას დააბრალებთ, ჟურნალში მოძებნეთ
Power key pressed short. მოკლე დაჭერა სუფთაpoweroff-ია.
გრძელვადიანი შესწორება
ახალი მისამართი მხოლოდ შემდეგ აპარატულ ცვლილებამდე გაძლებს. Proxmox-ს აქვს Resource Mappings (Datacenter → Resource Mappings → PCI): სახელიანი მეპინგი, მიბმული მოწყობილობის vendor და device ID-ზე, VM კი მას hostpci0: mapping=<name>-ით მიმართავს. მაშინ გადანომრილი შინა უსაფრთხო მტყუნებას იწვევს და არა შემთხვევითი მოწყობილობის გადაცემას.
დასკვნები
- PCI-მისამართით passthrough სლოტების განლაგებასთან კონტრაქტია. PCIe-ს ნებისმიერ ცვლილებას შეუძლია მისი გატეხვა და ხმამაღლა ამას მხოლოდ მფლობელი VM შეამჩნევს.
- LVM-ის შეცდომა ცუდი დისკის მტკიცებულება არ არის. ჯერ იკითხეთ, ფლობს თუ არა ჰოსტი მოწყობილობას:
lspci -nnkაჩვენებს, რომელი დრაივერია მიბმული. - შეადარეთ ბირთვის მიერ მოწყობილობების ჩამოთვლა ჩატვირთვებს შორის:
journalctl -k -b -1და-b 0. ასე ყველაზე სწრაფად ჩანს, რა გადაადგილდა. - როცა ერთი ცვლილების შემდეგ ორი რამ ეცემა, ჯერ ერთ მიზეზს ეძებეთ და არა ორ ინციდენტს.