🎓 — Семинар 32. Построение стратегии поведения в мультимодальных средах | Зоя Воловикова

Мы исследуем, как разработать агента для действий в средах с несколькими модальностями, преимущественно с текстовым и визуальным входом.

В первой части рассмотрим существующие мультимодальные среды. Затем обсудим современные подходы к решению поставленной задачи, включая SOTA методы и новые потенциальные подходы.

В завершение мы представим решение, предложенное нашей командой, основанное на декомпозиции обучения RL агента и LLM, а также дальнейшем улучшении языковой модели за счет тюнинга с использованием обучения с подкреплением.

📹 Трансляция Youtube

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #RL #LLM