Кратное ускорение вычислений за счёт автоматической эволюции GPU-ядер ⤵️

Исследователи AIRI выложили в открытый доступ фреймворк автоматической генерации и оптимизации GPU-ядер: сгенерированные им ядра более эффективны и позволяют снижать стоимость вычислений.

GPU-ядра (kernels) реализуют ключевые операции в ИИ-системах. Часто их нужно оптимизировать — тогда компании пишут собственные CUDA или Triton-ядра: операции ускоряются, что позволяет экономить тысячи GPU-часов и десятки миллионов рублей в год. Но создавать такой код дорого и долго, а подходящих инженеров мало.

KernelEvo заменяет ручной перебор гипотез автоматическими циклами поиска с обратной связью, генерируя варианты CUDA или Triton-реализации, запуская тесты и исправляя ошибки.

GitHub | GitVerse | ТАСС | Хабр