Встречайте крупное обновление курса - Математика LLM — Создаем Большую Языковую Модель своими руками

Добавил 14-ый модуль:
Улучшаем генерацию: sampling, температура, top-k и top-p,
где учим модель отвечать по-разному: вместо жадного argmax — сэмплирование, температура, top-k и top-p. Посчитаем, как всегда, всё ручками) и улучшим нашу модель.

- Проблема жадной генерации.
- Sampling, выбор следующего токена случайно.
- Параметр T (температура), насколько смелой будет модель.
- Параметр top-k, самые вероятные токены.
- Параметр top-p, сортировка токенов по убыванию вероятности.

Это важный шаг к реализации обучения, где мы сделаем реальный ChatGPT.

🎁 Для подписчиков канала промокод SUBS на скидку 20%.