Решение задач в ML и не только

Наконец-то вышла запись моего рассказа о генеративных аугментациях. Это был долгий проект, в процессе которого я сталкивался с проблемами, для которых нет простых решений в интернете или готовых статей — приходилось самостоятельно во всё вникать 🙈. Мне кажется, это тот опыт, которым важно поделиться, чтобы ваш путь к решению таких задач стал на пару шагов короче.

Основная проблема, с которой я сталкивался

Главная трудность, с которой я постоянно сталкивался, — это непонимание того, что конкретно нужно делать. Вроде бы есть представление о конечном результате, но как выстроить к нему путь? Здесь я часто "застревал": ничего не получалось, ничего не работало, полное отсутствие идей. Что делать в таких ситуациях? Для себя я нашел несколько полезных приемов:

1️⃣ Спросить совета у других

Хотя у меня нет стабильной привычки обращаться за помощью, я очень ценю этот подход. Приведу пример: когда я только начинал работать с генеративными аугментациями, как и многие новички, я просто изучал все возможные статьи, не понимая, что из этого реально работает. В такой ситуации необходим опытный человек, который сможет направить вас в нужную сторону. Для меня это была созвон со стартапом KopiKat. За полчаса я осознал, что работает, а что нет, что стоит попробовать, а от чего лучше отказаться. Вот за это я ценю советы, они дают понимание, на создание которого могут уйти недели/месяцы/годы.

2️⃣ Отойти на пару дней и вернуться к задаче позже

Часто, когда мы сосредоточены на одной и той же задаче, теряется способность видеть общую картину — это как известная фраза: "Если у вас в руках молоток, всё вокруг кажется гвоздями". Из-за узкого фокуса мы не замечаем альтернативных решений или даже собственных ошибок. В таких случаях помогает отвлечься от задачи на несколько дней и потом вернуться к ней с "свежими" глазами. Почему это работает? Во время отдыха ваш мозг продолжает бессознательно обрабатывать информацию, что позволяет вам взглянуть на проблему с новой стороны. Для меня это открылось при чтении книги "Learning How to Learn" и на личном опыте — время проведенное за занятиями абсолютно другими делами возвращало меня к задаче со свежей головой!

3️⃣ Попробовать что-то необычное

Когда все идеи исчерпаны, иногда стоит пойти по неожиданному пути. Почему бы не попробовать соединить разные подходы? Может быть, комбинация LLM и RL сработает? Никто не знает заранее. Да, эксперименты могут оказаться неудачными, слишком сложными или неэффективными. Но каждая попытка обогащает ваш опыт. До работы с аугментациями я занимался дистилляцией данных — проект, где большинство экспериментов оказались неудачными. Можно было бы назвать это провалом, но именно тогда я осознал, насколько важны данные при обучении моделей. Неважно, какую модель вы обучаете — если данные хороши, всё сработает. Этот вывод стал основой для поиска новых методов улучшения данных, о которых я позже и сделал доклад по аугментациям.

Вместо заключения
Если у вас истории преодоления сложностей или прикольные приёмы про которые я не упомянул, напишите про них в комментарии. Мне интересно будет узнать, как каждый справляется с такими сложностями!