🔥 minimind — проект с открытым исходным кодом, целью которого является обучение небольших языковых моделей (LLM) с нуля за короткое время, используя ограниченные вычислительные ресурсы!

🌟 Минимальный размер модели составляет 26 МБ, что примерно в 7000 раз меньше GPT-3, и её можно обучить за 3 часа на стандартных графических процессорах.

💡 Проект предоставляет полный цикл разработки LLM, включая обработку данных, предварительное обучение (pretraining), обучение с учителем (SFT), оптимизацию предпочтений (DPO) и поддержку моделей с экспертами (MoE). Он совместим с популярными фреймворками, такими как Transformers и Accelerate, и поддерживает обучение на одном или нескольких графических процессорах. Кроме того, проект включает тестирование на наборе данных Ceval и реализацию базового API, совместимого с OpenAI, для интеграции с другими приложениями.

🔐 Лицензия: Apache-2.0

🖥 Github