Да-да, это те самые диффузионные языковые модели (dLLM), которые тестируют крупнейшие технокорпорации. А мы уже выложили свою в Open Source! Встречайте GFusion на основе GigaChat, которую придумал стажёр-инженер Даниил Тихонов.
Если LLM работает по принципу авторегрессии и генерирует текст слово за словом, то dLLM сначала создаёт ответ целиком, а затем дорабатывает результат. Это даёт модели качественное преимущество:
🔠 Быстрее благодаря параллельным вычислениям
🔠 Лучше структурирует ответы и может самостоятельно выбирать порядок генерации текста
🔠 Эффективнее учится на данных
Подробнее про технологию можно прочитать в статье и телеграм-канале GigaDev. А модель и методы её обучения уже в открытом доступе на GitVerse и Hugging Face:
◀️ GFusion-10B-A1.8B
◀️ GFusion-10B-A1.8B-base
✔️ Подписывайтесь на Sber AI в МАКС