По работе потребовалось разобраться с GPU инфраструктурой. С одной стороны нужно было запланировать железо. С другой понять как работает большое количество разных уже существующих сервисов и развернутся ли они у меня.
А я в GPU откровенно плаваю. В смысле, я умел
torch.cuda.is_available и model.to(device), но что там происходит внутри - вообще туман. До этого у меня все онлайн модели работали на CPU, и жил я вполне себе замечательно. Теперь нехватка знаний начала сказываться.Я пошел искать курсы по программированию на CUDA, чтобы освоить базу. Сперва попробовал freecodecamp, понял что шляпа, пошел дальше. В итоге не нашел ничего лучше, чем курс Caltech CS179 GPU Programming, в котором даже нет видео лекций.
И оказалось, что курс просто потрясающий. Я уже потратил на него 8 часов. Разобрался как на самом деле работает видеокарта (озарение, шок контент 🧠). Написал собственноручно код на C, который применяет сглаживающий фильтр на звуковую дорожку. Долго мерил прирост производительности с разными настройками на своей H100.
Вау, не ожидал, что будет так круто