👍 Как тебе совместить мощь ресурсов GPU кластера и свободу при обучение ML моделей

Достаточно популярный сценарий, когда у вас на работе есть вычислительный кластер с GPU, и вы хотите на нем погонять модельки для Kaggle. Или, например, у вашего друга есть такой кластер.

Как правило, на таком кластере обучать можно только запуском скрипта через консоль, но тогда теряется удобство экспериментов, как это бывает в IDE (Jupyter Notebook, VSCode).

А еще сложность, что друг ваш не может мониторить обучение или вовсе не готов ставить нужные зависимости, чтобы скрип заработал как у вас…

Чтобы избежать этих сложностей и не отказываться от удобства IDE для Data Science, можно использовать ClearML. Тогда у вас будет удобный UI, полная воспроизводимость эксперимента, сохраненная модель, которую можно параллельно запускать у себя без скачивания.

ClearML - это мощный и удобный инструмент. Очень хорош для чемпионатов по машинному обучению. Особенно для работы с жирными CV/NLP моделями, которые нереально обучить локально или на выделенных мощностях Kaggle и Colab.

Для работы с нейронками можно пойти дальше и использовать сразу связку ClearML + Pytorch Lightning. Тогда вы еще и получаете набор мощных фишек для работы с нейронками, которые не придется писать самому.

Собственно, именно по работе с такой связкой мы запустили недавно короткий курс по продвинутым ML-инструментам 🔥

В курсе 4 добротных мощных домашки на отработку. Курс не подойдет новичкам. Подходит только для тех, кто уже имел дело с ML моделями и хочет попрактиковаться в инструментах, которые не изучаются на классических курсах по машинному обучению.

Залетайте!