🔼🔼🔼Оставить заявку на некоторые направления можно еще до 15 октября 👆(смотри прошлый пост)

Немного про ML инфру

Думаю почти все, начиная со студенчества проводили свои эксперименты в Jupyter - ноутбуках. Артефакты обучения (модели, датасеты итп) лежали просто в файликах рядом с ноутбучками, а метрики, графики итп просто в выводах ячеек.

Однако через неделю работы над задачей все файлы перепутывались, выводы ячеек затирались, эксперименты не воспроизводились, а в файлах типо Untitled-копия-копия-лучший_скор-копия.ipynb разобраться было сложнее чем начать с нуля.

Что бы это исправить есть много инструментов:

1. Для хранения ноутбуков использовать git. Под каждую ветку эксперимента создаем ветку в гите. В мастер пушим финальные результаты. Это отнимет у вас пару минут при старте но даст воспроизводимость экспов в будущем

2. Логгировать все метрики, графики, параметры в wandb/mlflow. Просто написав wandb.log(loss) вместо print(loss) вы получите красивый график в гуи который сохранится навечно.

3. Если уже совсем запариться, можно использовать готовые ML платформы. В них каждый этап обучения модели может быть отдельной "компонентой", а общий пайплайн обучения - набором компонент, как на скриншоте из поста. Таким образом можно очень легко проводить много экспериментов, которые будут на 100% воспроизводимыми, легко вариировать параметры и переиспользовать чужой код. Но к сожалению такую штуку не очень просто поднимать и поддерживать, что делает ее не очень применимой в маленьких отделах. Я вот ни разу не работал в командах, в которых ресерч строится вокруг единой платформы(