Нашёл открытую небольшую модель, которая уже набрала 50 тысяч звёзд на GitHub и попала в раздел Trending.

С её помощью можно обучить сверхкомпактную языковую модель всего с 25,8 млн параметров — примерно за 3 доллара и два часа.

Проект делает ставку на максимальную компактность: самая маленькая версия составляет всего 1/2700 от размера GPT-3.
Кроме того, в открытый доступ выложено обучение токенизатора, а также полный код для всех этапов обучения — Pretrain, SFT и не только. Проект также включает мультимодальную визуальную модель MiniMind-V.

Все обучающие скрипты написаны на чистом PyTorch, совместимы с архитектурами MoE и по факту представляют собой открытую реализацию всех этапов обучения больших языковых моделей.

💵💵💵