Nanochat — это простейшая экспериментальная платформа для обучения больших языковых моделей.

Она рассчитана на работу на одном узле с графическим процессором, имеет минимальный объем кода, который можно взломать, и охватывает все основные этапы обучения больших языковых моделей, включая токенизацию, предварительное обучение, тонкую настройку, оценку, логический вывод и пользовательский интерфейс чата.

🐱 GitHub