В продолжение к предыдущему посту: на GitHub докинули ноутбуки для файнтюна gpt-oss с LoRA и запуска gpt-oss-20B в Colab
Обещают, что последнее запустится даже в бесплатном Colab… но нет - 15 Гб видеопамяти не хватает ☹️ Пробуйте на Kaggle, там дают 16 ГБ (кстати, там ещё и сессия до 12 часов:)).
🤔 И ещё одна интересная деталь...
Если заглянуть в код ноутбука run-colab, можно заметить строчку с установкой triton. Это не просто библиотека, а важная часть ускорения современных моделей: именно Triton лежит в основе многих оптимизаций PyTorch 2.x и кастомных операций в LLM, позволяя получать скорость уровня CUDA, но писать код почти как на Python.
🤔 Поподробнее про Triton...
➡️ Это язык и компилятор для написания собственных GPU-ядер, но с синтаксисом, который больше напоминает Python, чем C++ / CUDA. Он избавляет от рутины вроде ручного управления памятью и потоками - достаточно понимать принципы работы GPU и знать нужные команды.
➡️ Активно используется в PyTorch (например, в torch.compile).
➡️ Позволяет писать свои высокопроизводительные матричные умножения, операции внимания, редукции и вообще всё, что можно распараллелить на GPU.
🤔 В чём плюсы тритона?
➡️ Простота: код выглядит дружелюбно, но под капотом превращается в оптимизированный PTX для NVIDIA GPU (к слову, пока официально есть поддержка только NVIDIA GPU; для других архитектур либо отсутствует, либо ещё на экспериментальном уровне).
➡️ Автоматическая оптимизация: Triton сам раскладывает данные по блокам, чтобы GPU был загружен на максимум.
➡️ Производительность: в некоторых кастомных сценариях Triton-ядра догоняют и даже обгоняют cuBLAS/cuDNN.
🔗 Если хотите больше примеров, вот несколько полезных ссылок:
➡️ Документация
➡️ Репозиторий на GitHub
➡️ И отличная вводная статья от OpenAI с примерами кода
#dl@data_easy
