Всем привет.

Нашел, как мне кажется, самое лучшее и понятное объяснение того, как работает LLM на сайте https://www.3blue1brown.com/ , который содержит много обучающих видео по математике, компьютерной науке и нейронным сетям.

3Blue1Brown объясняют сложные концепции через визуализации, которые делают абстрактные идеи понятными. В этом видео они разбирают принципы и архитектуру работы LLM, показывая, как LLM работает под капотом.

Что вы узнаете из видео:
Tokenization — как текст превращается в числа, которые может обрабатывать модель.
Attention mechanism — сердце современных LLM. Визуально показано, как модель "обращает внимание" на разные части контекста при предсказании следующего слова.
Embeddings в действии — как слова превращаются в векторы и почему похожие слова оказываются рядом в многомерном пространстве.
Training process — как модель учится предсказывать следующий токен и почему это приводит к "пониманию" языка.

После просмотра вы лучше поймете, почему LLM иногда "галлюцинируют", как влияет размер контекста на качество ответов, и почему промпт-инжиниринг вообще работает.
Есть русский перевод

Ссылка на видео


Полезная информация:
Курс по evaluation AI |
С чего начать изучение AI | Инструменты для оценки AI