👍
Как тебе совместить мощь ресурсов GPU кластера и свободу при обучение ML моделейДостаточно популярный сценарий, когда у вас на работе есть вычислительный кластер с GPU, и вы хотите на нем погонять модельки для Kaggle. Или, например, у вашего друга есть такой кластер.
Как правило, на таком кластере обучать можно только запуском скрипта через консоль, но тогда теряется удобство экспериментов, как это бывает в IDE (Jupyter Notebook, VSCode).
А еще сложность, что друг ваш не может мониторить обучение или вовсе не готов ставить нужные зависимости, чтобы скрип заработал как у вас…
Чтобы избежать этих сложностей и не отказываться от удобства IDE для Data Science, можно использовать
ClearML. Тогда у вас будет удобный UI, полная воспроизводимость эксперимента, сохраненная модель, которую можно параллельно запускать у себя без скачивания.
ClearML - это мощный и удобный инструмент. Очень хорош для чемпионатов по машинному обучению. Особенно для работы с жирными CV/NLP моделями, которые нереально обучить локально или на выделенных мощностях Kaggle и Colab.
Для работы с нейронками можно пойти дальше и использовать сразу связку
ClearML +
Pytorch Lightning. Тогда вы еще и получаете набор мощных фишек для работы с нейронками, которые не придется писать самому.
Собственно, именно по работе с такой связкой мы запустили недавно короткий
курс по продвинутым ML-инструментам 🔥
В курсе 4 добротных мощных домашки на отработку. Курс не подойдет новичкам. Подходит только для тех, кто уже имел дело с ML моделями и хочет попрактиковаться в инструментах, которые не изучаются на классических курсах по машинному обучению.
Залетайте!
