NVIDIA выпустила Dory: маленькая модель, умнее по требованию
⠀
Dory 1.0 — открытая модель на 4 млрд параметров. Она прогоняет текст через один и тот же блок слоёв несколько раз, и число проходов выбираете вы. Больше проходов, умнее ответ, переобучать не нужно.
⠀
Исправление реальных ошибок в программах, замеры NVIDIA

1 проход: 50,3
2 прохода: 59,5
4 прохода: 61,8
⠀
С четырьмя проходами Dory догоняет модель на 9 млрд параметров из таблицы NVIDIA, а ответы выходят короче.
⠀
Контекст до 256 тысяч токенов, лицензия OpenMDW допускает коммерческое использование, версия для запуска у себя занимает 3,7 ГБ. Пока нужна отдельная сборка программы для моделей, инструкция на странице.
⠀
Что нужнее на ноутбуке: быстрая модель или умная?
⠀
RAGNAROK | ИИ и технологии