Ruslan Rakhimov × world models × vlm agents × 3d

Накатывал фиксы, лидерборд обнулен, но зато Т теперь подгонит подарки первым топ 3 лидерборда

Подумали подумали с ребятами и я решил запилить аппку-интерактивчик перед конфой ⌨️

N вечеров кодинга, make no mistakes и вот результат @LossMonkeyBot

Всем же приятно смотреть как лосс падает? Пока ваши модельки ризонят можно на фоне позалипать 🦍

В игре есть лидерборд и кнопка Поделиться 😎

Turbo ML Conf · 18 июля

18 июля буду рассказывать про модели мира и что с командой сделали в этом направлении, приходите! Будут также и другие доклады, регистрация и программа по ссылке: https://mlconf.t-bank.ai

Съездили в 🔤🔤🔤🔤🔤🔤 на AAMAS 2026, где у нас был oral с работой Enhancing Vision-Language Model Training with Reinforcement Learning in Synthetic Worlds for Real-World Success.

В статье мы обучаем VLM-агентов через RL в дешевых синтетических средах: MiniWorld, Gym-Cards, ALFWorld и WebShop. Основная идея — если хотим, чтобы модель не просто красиво описывала картинку, а умела смотреть на состояние мира и делать последовательность действий, то ей нужно дать возможность потренироваться в интерактивных окружениях.

Для этого предложили VL-DAC: простой RL-метод, где PPO применяется к action-токенам, а value учится один раз на шаг среды. В итоге убираем хрупкие коэффициенты между thought/action токенами, replay buffers и прочие места, где обычно хочется немного поплакать во время обучения VLM через RL.

После обучения в одном дешевом симуляторе модель переносит навыки на реальные бенчмарки: +50% relative на BALROG, +5% на самой сложной части VSI-Bench и +2% на VisualWebBench, при этом не ломая обычное понимание изображений.

• Статью можно прочитать тут, а код найти здесь 😉

А вот тут ребята из моей предыдущей команды запускают политику манипуляции. Навык на видео самый простой pick-place, но выглядит достаточно робастно, плюс на антропоморфе — в России подобного никто не делает толком. Робот вышел в паблик, теперь можно официально рассказывать чем занимался год назад)

Залетели с ребятами на конференцию AIJ

Рассказали про нашу статью GSplatLoc - собственно, ради этого в первую очередь сюда и приехал.

Сегодня конференция завершилась, можно ехать домой 🙂

Все очень понравилось, организация на очень хорошем уровне, а Ханчжоу - классный город!

Доклад про Qwen-Image