Создание LLM с нуля

Это руководство знакомит кодеров с основами больших языковых моделей (LLM), объясняет, как они работают и как создавать их с нуля в PyTorch. Оно охватывает кодирование небольшой модели, похожей на GPT, ее конвейер данных, архитектуру, предварительную подготовку и тонкую настройку с использованием библиотек с открытым исходным кодом.
https://www.youtube.com/watch?v=quh7z1q7-uc