Создай Large Language Model с нуля

Этот репозиторий содержит примеры кода для разработки, предобучения (pretraining) и дообучения (finetuning) LLM с нуля.

Это официальный кодовый репозиторий для книги *Build a Large Language Model (From Scratch)*.

Для каждой главы включены примеры в формате ноутбуков:

Глава 1: Понимание Large Language Models
Глава 2: Работа с текстовыми данными
Глава 3: Реализация механизмов attention
Глава 4: Реализация GPT-модели с нуля
Глава 5: Предобучение на неразмеченных данных
Глава 6: Дообучение для задачи классификации текста
Глава 7: Дообучение для следования инструкциям

👉 @PythonPortal