Última actividad 3 hours ago

MANUAL_INSTALL.md Sin formato

Ручная установка ВМ с RTX 4070 Mobile (Proxmox → Ubuntu 24.04)

Цель: после этих шагов я подключаюсь к ВМ через Portainer и сам ставлю Strata и копирую модель с server1. Все команды выполняются на ВМ от root (sudo -i).


0. Proxmox (на хосте, коротко)

  • В ВМ: Machine q35, BIOS OVMF (UEFI), CPU host, RAM 60 ГБ, Ballooning выключен (с пробросом GPU память должна быть закреплена), диск ≥ 150 ГБ.
  • PCI-устройство: 0000:01:00.0 (10de:2860), галочки All Functions, PCI-Express. Primary GPU — не ставить (карта под вычисления, консоль остаётся на виртуальном дисплее).
  • Мобильные GPU часто требуют VBIOS: если в ВМ nvidia-smi видит карту, но драйвер падает с RmInitAdapter failed — дампните VBIOS на хосте и укажите romfile= в hostpci0.

1. Базовая система

apt update && apt -y full-upgrade
apt -y install build-essential dkms linux-headers-$(uname -r) git curl wget ca-certificates gnupg pciutils
lspci -nn | grep -i nvidia        # должна быть строка 10de:2860

2. Драйвер NVIDIA (open, ≥ 580) + CUDA

# 2.1 отключить nouveau
cat >/etc/modprobe.d/blacklist-nouveau.conf <<'X'
blacklist nouveau
options nouveau modeset=0
X

# 2.2 не давать драйверу усыплять карту (иначе gpu-unlock слетает, как на ноутбуке)
echo 'options nvidia NVreg_DynamicPowerManagement=0x00' >/etc/modprobe.d/nvidia-pm.conf
update-initramfs -u

# 2.3 драйвер из репозитория Ubuntu
apt update
apt -y install nvidia-driver-590-open || apt -y install nvidia-driver-580-open

# 2.4 CUDA toolkit из репозитория NVIDIA (без метапакета "cuda", чтобы не тянуть второй драйвер)
wget -O /tmp/cuda-keyring.deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
dpkg -i /tmp/cuda-keyring.deb && apt update
apt -y install cuda-toolkit
echo 'export PATH=/usr/local/cuda/bin:$PATH' >/etc/profile.d/cuda.sh

reboot

Проверка после перезагрузки:

nvidia-smi                 # GeForce RTX 4070 Laptop GPU, 8 ГБ, Driver ≥ 580
lsmod | grep nouveau       # пусто
/usr/local/cuda/bin/nvcc --version

3. gpu-unlock (Zagitta/gpu-unlock)

Важно: в официальном списке (kernel/gpu_unlock/recipes.c) нет 4070 Mobile 0x2860 — ни в main, ни в ada-beta. Возьмите тот же форк/патч, что стоит у вас на ноутбуке. Если его нет под рукой — добавьте ID вручную (экспериментально, на свой риск):

cd /opt && git clone https://github.com/Zagitta/gpu-unlock && cd gpu-unlock
# добавить AD106(0x2860) в строку с AD106:
sed -i 's/AD106(0x2803), AD106(0x2805),/AD106(0x2803), AD106(0x2805), AD106(0x2860),/' kernel/gpu_unlock/recipes.c
grep -n 'AD106(' kernel/gpu_unlock/recipes.c
make install               # на Ubuntu соберёт и поставит .deb, пересоберёт initramfs (нужен интернет)

Включить через параметр ядра (адрес — как в ВМ показывает lspci -D | grep -i nvidia, обычно не 01:00.0):

lspci -D | grep -i nvidia                  # например 0000:01:00.0 или 0000:06:10.0
nano /etc/default/grub
# GRUB_CMDLINE_LINUX_DEFAULT="... gpu_unlock.targets=<адрес_из_lspci>"
update-grub && reboot

Проверка:

dmesg | grep -i gpu_unlock     # должно быть сообщение об успешной разблокировке карты
nvidia-smi                     # драйвер по-прежнему видит карту

Если в dmesg «unsupported» или карта пропала — уберите параметр из GRUB, update-grub, перезагрузка. Внутри ВМ модуль ещё не проверялся (на ноутбуке он работал на голом железе).

4. Docker

install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
echo "deb [arch=amd64 signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu $(. /etc/os-release; echo $VERSION_CODENAME) stable" >/etc/apt/sources.list.d/docker.list
apt update
apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
systemctl enable --now docker

5. NVIDIA Container Toolkit

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
 | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
 >/etc/apt/sources.list.d/nvidia-container-toolkit.list
apt update && apt -y install nvidia-container-toolkit
nvidia-ctk runtime configure --runtime=docker
systemctl restart docker

docker run --rm --gpus all nvidia/cuda:13.0.1-base-ubuntu24.04 nvidia-smi   # должна показаться карта

6. Доступ для Portainer

Вариант A (рекомендую): Portainer Agent — не открывает голый Docker API:

docker run -d -p 9001:9001 --name portainer_agent --restart=always \
  -v /var/run/docker.sock:/var/run/docker.sock \
  -v /var/lib/docker/volumes:/var/lib/docker/volumes \
  -v /:/host portainer/agent:lts

В Portainer: Environments → Add → Docker Standalone → Agent → IP-ВМ:9001.

Вариант B: TCP-сокет Docker 2375 (как вы планировали). Без TLS это полный root-доступ к ВМ для любого, кто достучится до порта, поэтому ограничьте firewall'ом адресом сервера Portainer (server1, 192.168.31.240):

mkdir -p /etc/systemd/system/docker.service.d
cat >/etc/systemd/system/docker.service.d/tcp.conf <<'X'
[Service]
ExecStart=
ExecStart=/usr/bin/dockerd -H fd:// -H tcp://0.0.0.0:2375 --containerd=/run/containerd/containerd.sock
X
systemctl daemon-reload && systemctl restart docker
ufw allow from 192.168.31.240 to any port 2375 proto tcp
ufw allow OpenSSH && ufw enable

В Portainer: Environments → Add → Docker Standalone → API → tcp://IP-ВМ:2375.

7. Что прислать мне

  • IP ВМ и имя окружения в Portainer;
  • вывод nvidia-smi, dmesg | grep -i gpu_unlock, free -h, df -h /srv;
  • пользователь SSH на server1 для копирования модели и ваше «да» на чтение модели с server1.

Дальше я: создаю стек Strata (ghcr.io/niko1221/strata:0.2.13-cuda13, IQ2_XS, порт 8081, том /srv/strata-data), копирую модель с server1 и запускаю. Копирование модели с ВМ — по SSH (rsync), для этого понадобится доступ к shell ВМ (или я подготовлю для этого одноразовый контейнер через Portainer).

NVIDIA_DEBIAN.md Sin formato

Драйвер NVIDIA + CUDA на Debian 13 (из официального репозитория NVIDIA)

Для Debian 12 замените в URL debian13 на debian12.

sudo -i
apt update
apt -y install linux-headers-$(uname -r) build-essential dkms wget ca-certificates

# отключить nouveau и усыпление карты
cat >/etc/modprobe.d/blacklist-nouveau.conf <<'X'
blacklist nouveau
options nouveau modeset=0
X
echo 'options nvidia NVreg_DynamicPowerManagement=0x00' >/etc/modprobe.d/nvidia-pm.conf

# репозиторий NVIDIA
wget -O /tmp/cuda-keyring.deb https://developer.download.nvidia.com/compute/cuda/repos/debian13/x86_64/cuda-keyring_1.1-1_all.deb
dpkg -i /tmp/cuda-keyring.deb
apt update

# закрепить ветку 595 (production), чтобы apt сам не прыгнул на 610/620
apt -y install nvidia-driver-pinning-595

# драйвер с open-модулями (DKMS) + CUDA
apt -y install nvidia-open
apt -y install cuda-toolkit
echo 'export PATH=/usr/local/cuda/bin:$PATH' >/etc/profile.d/cuda.sh

update-initramfs -u
reboot

Проверка:

nvidia-smi                       # RTX 4070 Laptop GPU, Driver 595.x
lsmod | grep nouveau             # пусто
modinfo -F license nvidia        # Dual MIT/GPL = open-модули
/usr/local/cuda/bin/nvcc --version

Запасной вариант: .run-установщик с сайта

apt -y install linux-headers-$(uname -r) build-essential dkms pkg-config libglvnd-dev
wget https://us.download.nvidia.com/XFree86/Linux-x86_64/595.104.02/NVIDIA-Linux-x86_64-595.104.02.run
sh NVIDIA-Linux-x86_64-595.104.02.run -m=kernel-open --dkms --silent
reboot

После .run CUDA ставить так: apt install cuda-toolkit из того же репозитория (без пакета nvidia-open, чтобы не было двух драйверов). Репозиторий и .run не смешивать.

Container Toolkit и Docker — как в MANUAL_INSTALL.md (для Docker в строке репозитория ubuntu заменить на debian).

proxy-system-apt.md Sin formato

Настройка прокси для системы и apt (proxy.home:4067)

Предполагается HTTP-прокси по адресу http://proxy.home:4067. Проверьте, что имя резолвится:

getent hosts proxy.home
curl -x http://proxy.home:4067 -I https://deb.debian.org

1. apt

Создайте файл /etc/apt/apt.conf.d/95proxy:

sudo tee /etc/apt/apt.conf.d/95proxy >/dev/null <<'CONF'
Acquire::http::Proxy "http://proxy.home:4067/";
Acquire::https::Proxy "http://proxy.home:4067/";
CONF

Проверка:

apt-config dump | grep -i proxy
sudo apt update

Исключить отдельный репозиторий (например, локальное зеркало) из прокси:

Acquire::http::Proxy::mirror.home "DIRECT";

Сам apt берёт настройки только из apt.conf. Переменные окружения при sudo по умолчанию сбрасываются, поэтому настройка через файл надёжнее.

2. Системные переменные (для всех пользователей)

Добавьте в /etc/environment. Там допустимы только строки вида КЛЮЧ=значение, без export:

http_proxy="http://proxy.home:4067/"
https_proxy="http://proxy.home:4067/"
ftp_proxy="http://proxy.home:4067/"
no_proxy="localhost,127.0.0.1,::1,.home,192.168.0.0/16,10.0.0.0/8"
HTTP_PROXY="http://proxy.home:4067/"
HTTPS_PROXY="http://proxy.home:4067/"
FTP_PROXY="http://proxy.home:4067/"
NO_PROXY="localhost,127.0.0.1,::1,.home,192.168.0.0/16,10.0.0.0/8"

Изменения применятся после повторного входа в систему. Для текущей сессии:

set -a; . /etc/environment; set +a
env | grep -i proxy

Обратите внимание: формат CIDR (192.168.0.0/16) в no_proxy понимают не все программы. curl и Python его поддерживают, wget нет. При необходимости перечислите нужные хосты явно.

3. sudo

Чтобы программы, запущенные через sudo, видели прокси, выполните sudo visudo -f /etc/sudoers.d/proxy и добавьте строку:

Defaults env_keep += "http_proxy https_proxy ftp_proxy no_proxy HTTP_PROXY HTTPS_PROXY FTP_PROXY NO_PROXY"

4. systemd-службы (опционально)

Службы не читают /etc/environment и профили оболочки.

Для всех служб создайте /etc/systemd/system.conf.d/proxy.conf:

[Manager]
DefaultEnvironment="http_proxy=http://proxy.home:4067/" "https_proxy=http://proxy.home:4067/" "no_proxy=localhost,127.0.0.1,.home"

Для одной службы, например Docker:

sudo systemctl edit docker
[Service]
Environment="HTTP_PROXY=http://proxy.home:4067/"
Environment="HTTPS_PROXY=http://proxy.home:4067/"
Environment="NO_PROXY=localhost,127.0.0.1,.home"

Затем примените изменения:

sudo systemctl daemon-reexec    # после изменения system.conf.d
sudo systemctl daemon-reload && sudo systemctl restart docker

5. Откат

sudo rm /etc/apt/apt.conf.d/95proxy /etc/sudoers.d/proxy
# удалить строки *_proxy из /etc/environment и перелогиниться

Источники