🔤Как включить доступ к CUDA внутри контейнера Podman

Как полагается, и на сей раз официальные инструкции не работают. В общем, нужно так.

1. Ставим Podman, если нет — dnf install podman

2. Подключаем репу и ставим Nvidia container toolkit.
wget https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo
sudo cp nvidia-container-toolkit.repo /etc/yum.repos.d/
sudo dnf update
sudo dnf nvidia-container-toolkit

В процессе dnf ругнётся на отсутствующие сертификаты, предложит скачать.

3. Вводим в Podman параметры аккаунта на DockerHub — podman login docker.io А дальше отвечаем на вопросы.

4. Скачиваем образ заранее. Заковырка в том, что Podman может скачать только образ, которому указана полная версия. И никаких latest. Варианты смотреть на Docker Hub. Например, podman pull nvidia/cuda:12.3.1-runtime-rockylinux9

5. Создаём конфиг Container Device Interface
sudo nvidia-ctk cdi generate --output=/etc/cdi/nvidia.yaml

6. Его есть смысл проверить (от юзера!):
nvidia-ctk cdi list

7. Ну и наконец запускаем и проверяем. Должна вылезти табличка с параметрами видеокарты, это значит что всё работает.
podman run --rm --device nvidia.com/gpu=all --security-opt=label=disable nvidia/cuda:12.3.1-runtime-rockylinux9 nvidia-smi

Вот теперь на основании этого образа можно клепать свои контейнеры.

P.S. Проверено на Nobara, это кусок Федоры, но должно работать так же на всей RedHat.

@DevOPSitsec