Генеративные потоковые сети (GFlowNets) — это особый тип алгоритмов машинного обучения, который строит сложные объекты шаг за шагом. Учёные применяют их для поиска белков, лекарств и оптимизации транспортных систем.
🗂️Чтобы GFlowNets находили такие сложные структуры, исследователи объясняют им свойства объекта, который они хотели бы получить. Чем ближе решение нейросети по свойствам к заданным, тем более высокую награду она получит. На данные нейросеть не обращает внимание, только на вознаграждение — модель обучается генерировать объекты с вероятностью, пропорциональной функции вознаграждения.
GFlowNets используют две вероятностные модели, которые работают в паре: прямую и обратную. Важно, чтобы эти потоки были сбалансированы, но сделать это очень сложно:
⚪️требуются большие вычислительные мощности
⚪️обратная модель не обладает достаточной гибкостью — обычно ей запрещают меняться в процессе поиска и подсматривать за действиями прямой
Исследователи 💻💻💻 ВШЭ нашли способ оптимизировать обратную модель с помощью метода Trajectory Likelihood Maximization (TLM) — они доработали её алгоритмы таким образом, чтобы она могла постоянно сверяться с действиями прямой модели.
«Мы сделали так, что поиск оптимального решения стал похож на переговоры, в которых обе стороны готовы менять свою позицию. В задачах с большой степенью неизвестности обратная модель — лишь вспомогательный инструмент, улучшающий результаты прямой модели. Мы искали способ сделать работу обратной модели гибкой и наконец смогли его получить»,— пояснил один из авторов работы, стажёр-исследователь Центра глубинного обучения и байесовских методов Института искусственного интеллекта и цифровых наук ФКН ВШЭ Тимофей Грицаев.
✅ После внедрения TLM функция вознаграждения, описывающая успешность решения задачи для обратной модели, стала сложнее, однако вся система поиска стала быстрее и эффективнее.
Результаты работы были представлены на ICLR 2025 ✏️