​​🌟SPPO — инструмент оптимизации предпочтений языковой моделью

SPPO может значительно повысить производительность LLM без сильных внешних сигналов, таких как ответы или предпочтения от GPT-4.

Он может превзойти модель, обученную с помощью итеративной прямой оптимизации предпочтений (DPO), среди прочих методов.

🖥GitHub
🤗 Hugging Face
🟡Arxiv

@Devsp — Подписаться