Tencent Hunyuan выкатили UniRL - инфраструктуру для RL-посттрейнинга мультимодальных моделей.

Это попытка собрать один общий RL-цикл для разных семейств моделей: LLM, VLM, diffusion, flow matching и unified multimodal.

Обычный пайплайн выглядит знакомо:

- generate
- score
- advantage
- update
- sync

UniRL пытается сделать этот цикл универсальным. Модель и алгоритм разведены как две независимые оси, поэтому можно комбинировать разные model families и RL-алгоритмы без жёстко зашитого сценария.

Покрытие широкое: text-to-image, text/image-to-video, vision-language, text-only LLM, VLM, LLM-to-diffusion prompt enhancer, а также смешанная autoregressive + diffusion генерация вроде Hunyuan-Image 3 и Bagel.

Есть pluggable rollout engines через единый typed contract: train-side, SGLang, vLLM-Omni. Для масштабирования заявлены FSDP2 sharding и несколько deployment-режимов, которые переключаются из одного конфига.

Отдельно Tencent добавили два своих алгоритма:

- Flow-DPPO - policy optimization для flow/diffusion моделей с trust-region masks на основе exact divergence
- DRPO - RL для LLM со сглаженным advantage-weighted quadratic regularizer

UniRL выглядит как шаг к нормальному post-training стеку для моделей, которые одновременно пишут, видят, генерируют и используют разные типы rollout-движков.

Код: http://github.com/Tencent-Hunyuan/UniRL

Статья: arxiv.org/abs/2606.09821