Вам не нужно читать десятки случайных руководств, чтобы разобраться в больших языковых моделях.
Эти 7 проектов на GitHub помогут вам пройти путь от основ трансформеров до самостоятельного создания и обучения языковых моделей.
1. Создание больших языковых моделей с нуля — Себастьян Рашка → Пошаговое создание большой языковой модели с помощью PyTorch, включая внимание, трансформеры, обучение и тонкую настройку.
2. Трансформеры — Hugging Face → Изучите библиотеку, в которой собраны тысячи современных моделей-трансформеров, и узнайте, как использовать предварительно обученные языковые модели.
3. nanoGPT — Андрей Карпати → Создайте небольшую модель GPT и разберитесь в основных механизмах больших языковых моделей.
4. Курс по большим языковым моделям — Hugging Face → Изучите трансформеры, токенизаторы, наборы данных, тонкую настройку и современные методы работы с большими языковыми моделями с помощью структурированного курса.
5. llm.c — Андрей Карпати → Узнайте, как обучать большие языковые модели с помощью простых и понятных реализаций на C/CUDA с минимальным количеством зависимостей.
6. minGPT — Андрей Карпати → Минимальная реализация GPT на PyTorch, которая поможет вам понять архитектуру без лишних сложностей.
7. Stanford CS336: Языковое моделирование с нуля → Глубокий практический курс, охватывающий токенизацию, трансформеры, обучение, оптимизацию, данные и оценку.
Сохраняйте себе, чтобы не потерять.
@edprogramming