Наконец-то поставил vllm на свою NVIDIA 5090! Делюсь пошаговой инструкцией в своём стиле – чтобы вы не наступали на грабли и сразу начали тестить модели.

1. Создаём локальную среду

python3 -m venv .venv
source .venv/bin/activate

2. Устанавливаем ночную сборку PyTorch

pip3 install --pre torch torchvision torchaudio \
  --index-url https://download.pytorch.org/whl/nightly/cu128

3. Клонируем репозиторий vllm

git clone https://github.com/vllm-project/vllm.git
cd vllm

4. Собираем и устанавливаем vllm

python use_existing_torch.py
pip install -r requirements/build.txt
export MAX_JOBS=6     # подберите под своё железо, без этого — риск зависаний
pip install --no-build-isolation -e .

5. Организуем структуру проекта

/home/nikita/PROJECTS/
├── my_project/      # ваш основной проект
└── vllm/            # клон репозитория vllm
    ├── vllm/        # исходники библиотеки
    ├── setup.py
    └── …

Так удобно держать всё раздельно и подключать vllm как локальный пакет.

⏱️ Установка заняла у меня ~20 минут. Чертовски рад, теперь можно запускать агентов и гонять модели.
⌨️