Ручная установка ВМ с RTX 4070 Mobile (Proxmox → Ubuntu 24.04)
Цель: после этих шагов я подключаюсь к ВМ через Portainer и сам ставлю Strata и копирую модель с server1.
Все команды выполняются на ВМ от root (sudo -i).
0. Proxmox (на хосте, коротко)
- В ВМ: Machine
q35, BIOSOVMF (UEFI), CPUhost, RAM 60 ГБ, Ballooning выключен (с пробросом GPU память должна быть закреплена), диск ≥ 150 ГБ. - PCI-устройство:
0000:01:00.0(10de:2860), галочки All Functions, PCI-Express. Primary GPU — не ставить (карта под вычисления, консоль остаётся на виртуальном дисплее). - Мобильные GPU часто требуют VBIOS: если в ВМ
nvidia-smiвидит карту, но драйвер падает сRmInitAdapter failed— дампните VBIOS на хосте и укажитеromfile=вhostpci0.
1. Базовая система
apt update && apt -y full-upgrade
apt -y install build-essential dkms linux-headers-$(uname -r) git curl wget ca-certificates gnupg pciutils
lspci -nn | grep -i nvidia # должна быть строка 10de:2860
2. Драйвер NVIDIA (open, ≥ 580) + CUDA
# 2.1 отключить nouveau
cat >/etc/modprobe.d/blacklist-nouveau.conf <<'X'
blacklist nouveau
options nouveau modeset=0
X
# 2.2 не давать драйверу усыплять карту (иначе gpu-unlock слетает, как на ноутбуке)
echo 'options nvidia NVreg_DynamicPowerManagement=0x00' >/etc/modprobe.d/nvidia-pm.conf
update-initramfs -u
# 2.3 драйвер из репозитория Ubuntu
apt update
apt -y install nvidia-driver-590-open || apt -y install nvidia-driver-580-open
# 2.4 CUDA toolkit из репозитория NVIDIA (без метапакета "cuda", чтобы не тянуть второй драйвер)
wget -O /tmp/cuda-keyring.deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
dpkg -i /tmp/cuda-keyring.deb && apt update
apt -y install cuda-toolkit
echo 'export PATH=/usr/local/cuda/bin:$PATH' >/etc/profile.d/cuda.sh
reboot
Проверка после перезагрузки:
nvidia-smi # GeForce RTX 4070 Laptop GPU, 8 ГБ, Driver ≥ 580
lsmod | grep nouveau # пусто
/usr/local/cuda/bin/nvcc --version
3. gpu-unlock (Zagitta/gpu-unlock)
Важно: в официальном списке (kernel/gpu_unlock/recipes.c) нет 4070 Mobile 0x2860 — ни в main, ни в ada-beta. Возьмите тот же форк/патч, что стоит у вас на ноутбуке. Если его нет под рукой — добавьте ID вручную (экспериментально, на свой риск):
cd /opt && git clone https://github.com/Zagitta/gpu-unlock && cd gpu-unlock
# добавить AD106(0x2860) в строку с AD106:
sed -i 's/AD106(0x2803), AD106(0x2805),/AD106(0x2803), AD106(0x2805), AD106(0x2860),/' kernel/gpu_unlock/recipes.c
grep -n 'AD106(' kernel/gpu_unlock/recipes.c
make install # на Ubuntu соберёт и поставит .deb, пересоберёт initramfs (нужен интернет)
Включить через параметр ядра (адрес — как в ВМ показывает lspci -D | grep -i nvidia, обычно не 01:00.0):
lspci -D | grep -i nvidia # например 0000:01:00.0 или 0000:06:10.0
nano /etc/default/grub
# GRUB_CMDLINE_LINUX_DEFAULT="... gpu_unlock.targets=<адрес_из_lspci>"
update-grub && reboot
Проверка:
dmesg | grep -i gpu_unlock # должно быть сообщение об успешной разблокировке карты
nvidia-smi # драйвер по-прежнему видит карту
Если в dmesg «unsupported» или карта пропала — уберите параметр из GRUB, update-grub, перезагрузка. Внутри ВМ модуль ещё не проверялся (на ноутбуке он работал на голом железе).
4. Docker
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
echo "deb [arch=amd64 signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu $(. /etc/os-release; echo $VERSION_CODENAME) stable" >/etc/apt/sources.list.d/docker.list
apt update
apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
systemctl enable --now docker
5. NVIDIA Container Toolkit
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
| sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
>/etc/apt/sources.list.d/nvidia-container-toolkit.list
apt update && apt -y install nvidia-container-toolkit
nvidia-ctk runtime configure --runtime=docker
systemctl restart docker
docker run --rm --gpus all nvidia/cuda:13.0.1-base-ubuntu24.04 nvidia-smi # должна показаться карта
6. Доступ для Portainer
Вариант A (рекомендую): Portainer Agent — не открывает голый Docker API:
docker run -d -p 9001:9001 --name portainer_agent --restart=always \
-v /var/run/docker.sock:/var/run/docker.sock \
-v /var/lib/docker/volumes:/var/lib/docker/volumes \
-v /:/host portainer/agent:lts
В Portainer: Environments → Add → Docker Standalone → Agent → IP-ВМ:9001.
Вариант B: TCP-сокет Docker 2375 (как вы планировали). Без TLS это полный root-доступ к ВМ для любого, кто достучится до порта, поэтому ограничьте firewall'ом адресом сервера Portainer (server1, 192.168.31.240):
mkdir -p /etc/systemd/system/docker.service.d
cat >/etc/systemd/system/docker.service.d/tcp.conf <<'X'
[Service]
ExecStart=
ExecStart=/usr/bin/dockerd -H fd:// -H tcp://0.0.0.0:2375 --containerd=/run/containerd/containerd.sock
X
systemctl daemon-reload && systemctl restart docker
ufw allow from 192.168.31.240 to any port 2375 proto tcp
ufw allow OpenSSH && ufw enable
В Portainer: Environments → Add → Docker Standalone → API → tcp://IP-ВМ:2375.
7. Что прислать мне
- IP ВМ и имя окружения в Portainer;
- вывод
nvidia-smi,dmesg | grep -i gpu_unlock,free -h,df -h /srv; - пользователь SSH на server1 для копирования модели и ваше «да» на чтение модели с server1.
Дальше я: создаю стек Strata (ghcr.io/niko1221/strata:0.2.13-cuda13, IQ2_XS, порт 8081, том /srv/strata-data), копирую модель с server1 и запускаю. Копирование модели с ВМ — по SSH (rsync), для этого понадобится доступ к shell ВМ (или я подготовлю для этого одноразовый контейнер через Portainer).
Драйвер NVIDIA + CUDA на Debian 13 (из официального репозитория NVIDIA)
Для Debian 12 замените в URL debian13 на debian12.
sudo -i
apt update
apt -y install linux-headers-$(uname -r) build-essential dkms wget ca-certificates
# отключить nouveau и усыпление карты
cat >/etc/modprobe.d/blacklist-nouveau.conf <<'X'
blacklist nouveau
options nouveau modeset=0
X
echo 'options nvidia NVreg_DynamicPowerManagement=0x00' >/etc/modprobe.d/nvidia-pm.conf
# репозиторий NVIDIA
wget -O /tmp/cuda-keyring.deb https://developer.download.nvidia.com/compute/cuda/repos/debian13/x86_64/cuda-keyring_1.1-1_all.deb
dpkg -i /tmp/cuda-keyring.deb
apt update
# закрепить ветку 595 (production), чтобы apt сам не прыгнул на 610/620
apt -y install nvidia-driver-pinning-595
# драйвер с open-модулями (DKMS) + CUDA
apt -y install nvidia-open
apt -y install cuda-toolkit
echo 'export PATH=/usr/local/cuda/bin:$PATH' >/etc/profile.d/cuda.sh
update-initramfs -u
reboot
Проверка:
nvidia-smi # RTX 4070 Laptop GPU, Driver 595.x
lsmod | grep nouveau # пусто
modinfo -F license nvidia # Dual MIT/GPL = open-модули
/usr/local/cuda/bin/nvcc --version
Запасной вариант: .run-установщик с сайта
apt -y install linux-headers-$(uname -r) build-essential dkms pkg-config libglvnd-dev
wget https://us.download.nvidia.com/XFree86/Linux-x86_64/595.104.02/NVIDIA-Linux-x86_64-595.104.02.run
sh NVIDIA-Linux-x86_64-595.104.02.run -m=kernel-open --dkms --silent
reboot
После .run CUDA ставить так: apt install cuda-toolkit из того же репозитория (без пакета nvidia-open, чтобы не было двух драйверов). Репозиторий и .run не смешивать.
Container Toolkit и Docker — как в MANUAL_INSTALL.md (для Docker в строке репозитория ubuntu заменить на debian).
Настройка прокси для системы и apt (proxy.home:4067)
Предполагается HTTP-прокси по адресу http://proxy.home:4067. Проверьте, что имя резолвится:
getent hosts proxy.home
curl -x http://proxy.home:4067 -I https://deb.debian.org
1. apt
Создайте файл /etc/apt/apt.conf.d/95proxy:
sudo tee /etc/apt/apt.conf.d/95proxy >/dev/null <<'CONF'
Acquire::http::Proxy "http://proxy.home:4067/";
Acquire::https::Proxy "http://proxy.home:4067/";
CONF
Проверка:
apt-config dump | grep -i proxy
sudo apt update
Исключить отдельный репозиторий (например, локальное зеркало) из прокси:
Acquire::http::Proxy::mirror.home "DIRECT";
Сам apt берёт настройки только из apt.conf. Переменные окружения при sudo по умолчанию сбрасываются, поэтому настройка через файл надёжнее.
2. Системные переменные (для всех пользователей)
Добавьте в /etc/environment. Там допустимы только строки вида КЛЮЧ=значение, без export:
http_proxy="http://proxy.home:4067/"
https_proxy="http://proxy.home:4067/"
ftp_proxy="http://proxy.home:4067/"
no_proxy="localhost,127.0.0.1,::1,.home,192.168.0.0/16,10.0.0.0/8"
HTTP_PROXY="http://proxy.home:4067/"
HTTPS_PROXY="http://proxy.home:4067/"
FTP_PROXY="http://proxy.home:4067/"
NO_PROXY="localhost,127.0.0.1,::1,.home,192.168.0.0/16,10.0.0.0/8"
Изменения применятся после повторного входа в систему. Для текущей сессии:
set -a; . /etc/environment; set +a
env | grep -i proxy
Обратите внимание: формат CIDR (192.168.0.0/16) в no_proxy понимают не все программы. curl и Python его поддерживают, wget нет. При необходимости перечислите нужные хосты явно.
3. sudo
Чтобы программы, запущенные через sudo, видели прокси, выполните sudo visudo -f /etc/sudoers.d/proxy и добавьте строку:
Defaults env_keep += "http_proxy https_proxy ftp_proxy no_proxy HTTP_PROXY HTTPS_PROXY FTP_PROXY NO_PROXY"
4. systemd-службы (опционально)
Службы не читают /etc/environment и профили оболочки.
Для всех служб создайте /etc/systemd/system.conf.d/proxy.conf:
[Manager]
DefaultEnvironment="http_proxy=http://proxy.home:4067/" "https_proxy=http://proxy.home:4067/" "no_proxy=localhost,127.0.0.1,.home"
Для одной службы, например Docker:
sudo systemctl edit docker
[Service]
Environment="HTTP_PROXY=http://proxy.home:4067/"
Environment="HTTPS_PROXY=http://proxy.home:4067/"
Environment="NO_PROXY=localhost,127.0.0.1,.home"
Затем примените изменения:
sudo systemctl daemon-reexec # после изменения system.conf.d
sudo systemctl daemon-reload && sudo systemctl restart docker
5. Откат
sudo rm /etc/apt/apt.conf.d/95proxy /etc/sudoers.d/proxy
# удалить строки *_proxy из /etc/environment и перелогиниться
Источники
man apt.conf(раздел Acquire::http::Proxy)man pam_env.conf,man 5 environmentman systemd-system.conf(DefaultEnvironment),man systemd.exec(Environment)- Docker: https://docs.docker.com/engine/daemon/proxy/