# Ручная установка ВМ с RTX 4070 Mobile (Proxmox → Ubuntu 24.04) Цель: после этих шагов я подключаюсь к ВМ через Portainer и сам ставлю Strata и копирую модель с server1. Все команды выполняются на ВМ от root (`sudo -i`). --- ## 0. Proxmox (на хосте, коротко) - В ВМ: **Machine `q35`**, **BIOS `OVMF (UEFI)`**, CPU `host`, RAM 60 ГБ, **Ballooning выключен** (с пробросом GPU память должна быть закреплена), диск ≥ 150 ГБ. - PCI-устройство: `0000:01:00.0` (10de:2860), галочки **All Functions**, **PCI-Express**. Primary GPU — **не** ставить (карта под вычисления, консоль остаётся на виртуальном дисплее). - Мобильные GPU часто требуют VBIOS: если в ВМ `nvidia-smi` видит карту, но драйвер падает с `RmInitAdapter failed` — дампните VBIOS на хосте и укажите `romfile=` в `hostpci0`. --- ## 1. Базовая система ```bash apt update && apt -y full-upgrade apt -y install build-essential dkms linux-headers-$(uname -r) git curl wget ca-certificates gnupg pciutils lspci -nn | grep -i nvidia # должна быть строка 10de:2860 ``` ## 2. Драйвер NVIDIA (open, ≥ 580) + CUDA ```bash # 2.1 отключить nouveau cat >/etc/modprobe.d/blacklist-nouveau.conf <<'X' blacklist nouveau options nouveau modeset=0 X # 2.2 не давать драйверу усыплять карту (иначе gpu-unlock слетает, как на ноутбуке) echo 'options nvidia NVreg_DynamicPowerManagement=0x00' >/etc/modprobe.d/nvidia-pm.conf update-initramfs -u # 2.3 драйвер из репозитория Ubuntu apt update apt -y install nvidia-driver-590-open || apt -y install nvidia-driver-580-open # 2.4 CUDA toolkit из репозитория NVIDIA (без метапакета "cuda", чтобы не тянуть второй драйвер) wget -O /tmp/cuda-keyring.deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb dpkg -i /tmp/cuda-keyring.deb && apt update apt -y install cuda-toolkit echo 'export PATH=/usr/local/cuda/bin:$PATH' >/etc/profile.d/cuda.sh reboot ``` Проверка после перезагрузки: ```bash nvidia-smi # GeForce RTX 4070 Laptop GPU, 8 ГБ, Driver ≥ 580 lsmod | grep nouveau # пусто /usr/local/cuda/bin/nvcc --version ``` ## 3. gpu-unlock (Zagitta/gpu-unlock) Важно: в официальном списке (`kernel/gpu_unlock/recipes.c`) **нет** 4070 Mobile `0x2860` — ни в `main`, ни в `ada-beta`. Возьмите тот же форк/патч, что стоит у вас на ноутбуке. Если его нет под рукой — добавьте ID вручную (экспериментально, на свой риск): ```bash cd /opt && git clone https://github.com/Zagitta/gpu-unlock && cd gpu-unlock # добавить AD106(0x2860) в строку с AD106: sed -i 's/AD106(0x2803), AD106(0x2805),/AD106(0x2803), AD106(0x2805), AD106(0x2860),/' kernel/gpu_unlock/recipes.c grep -n 'AD106(' kernel/gpu_unlock/recipes.c make install # на Ubuntu соберёт и поставит .deb, пересоберёт initramfs (нужен интернет) ``` Включить через параметр ядра (адрес — как в ВМ показывает `lspci -D | grep -i nvidia`, обычно не 01:00.0): ```bash lspci -D | grep -i nvidia # например 0000:01:00.0 или 0000:06:10.0 nano /etc/default/grub # GRUB_CMDLINE_LINUX_DEFAULT="... gpu_unlock.targets=<адрес_из_lspci>" update-grub && reboot ``` Проверка: ```bash dmesg | grep -i gpu_unlock # должно быть сообщение об успешной разблокировке карты nvidia-smi # драйвер по-прежнему видит карту ``` Если в dmesg «unsupported» или карта пропала — уберите параметр из GRUB, `update-grub`, перезагрузка. Внутри ВМ модуль ещё не проверялся (на ноутбуке он работал на голом железе). ## 4. Docker ```bash install -m 0755 -d /etc/apt/keyrings curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc echo "deb [arch=amd64 signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu $(. /etc/os-release; echo $VERSION_CODENAME) stable" >/etc/apt/sources.list.d/docker.list apt update apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin systemctl enable --now docker ``` ## 5. NVIDIA Container Toolkit ```bash curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \ | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \ >/etc/apt/sources.list.d/nvidia-container-toolkit.list apt update && apt -y install nvidia-container-toolkit nvidia-ctk runtime configure --runtime=docker systemctl restart docker docker run --rm --gpus all nvidia/cuda:13.0.1-base-ubuntu24.04 nvidia-smi # должна показаться карта ``` ## 6. Доступ для Portainer **Вариант A (рекомендую): Portainer Agent** — не открывает голый Docker API: ```bash docker run -d -p 9001:9001 --name portainer_agent --restart=always \ -v /var/run/docker.sock:/var/run/docker.sock \ -v /var/lib/docker/volumes:/var/lib/docker/volumes \ -v /:/host portainer/agent:lts ``` В Portainer: Environments → Add → Docker Standalone → Agent → `IP-ВМ:9001`. **Вариант B: TCP-сокет Docker 2375** (как вы планировали). Без TLS это полный root-доступ к ВМ для любого, кто достучится до порта, поэтому ограничьте firewall'ом адресом сервера Portainer (server1, 192.168.31.240): ```bash mkdir -p /etc/systemd/system/docker.service.d cat >/etc/systemd/system/docker.service.d/tcp.conf <<'X' [Service] ExecStart= ExecStart=/usr/bin/dockerd -H fd:// -H tcp://0.0.0.0:2375 --containerd=/run/containerd/containerd.sock X systemctl daemon-reload && systemctl restart docker ufw allow from 192.168.31.240 to any port 2375 proto tcp ufw allow OpenSSH && ufw enable ``` В Portainer: Environments → Add → Docker Standalone → API → `tcp://IP-ВМ:2375`. ## 7. Что прислать мне - IP ВМ и имя окружения в Portainer; - вывод `nvidia-smi`, `dmesg | grep -i gpu_unlock`, `free -h`, `df -h /srv`; - пользователь SSH на server1 для копирования модели и ваше «да» на чтение модели с server1. Дальше я: создаю стек Strata (`ghcr.io/niko1221/strata:0.2.13-cuda13`, IQ2_XS, порт 8081, том `/srv/strata-data`), копирую модель с server1 и запускаю. Копирование модели с ВМ — по SSH (rsync), для этого понадобится доступ к shell ВМ (или я подготовлю для этого одноразовый контейнер через Portainer).