Часть 2.
3. Архитектуры трансформеров
❓Вопрос на разминку: если self-attention — «глаза» модели, видящие связи между токенами, то что составляет остальное «тело» — скелет, мышцы и нервную систему, объединяющие эти глаза в единый работающий организм?
Оригинальный трансформер из упомянутой ранее статьи «Attention Is All You Need» состоит из двух частей: энкодера, который читает входную последовательность целиком и строит её контекстное представление, и декодера, который генерирует выход токен за токеном, опираясь на представление энкодера и уже сгенерированные токены. Такая схема подходит для задач, где вход и выход — разные последовательности: перевод, суммаризация, ответы на вопросы по документу.
На практике закрепились три семейства архитектур:
• Encoder-only (BERT, RoBERTa): модель видит все токены одновременно (bidirectional attention). Сильна в задачах понимания: классификация, NER, семантический поиск. Не умеет генерировать текст из коробки.
• Decoder-only (GPT, LLaMA, DeepSeek): causal attention — каждый токен видит только предшествующие. Это фундамент современных LLM, заточенных на генерацию.
• Encoder-decoder (T5, BART, mBART): энкодер видит вход целиком, декодер генерирует авторегрессионно. Хорош для seq2seq-задач, но уступил decoder-only из-за сложности масштабирования.
Почему победил decoder-only? Один стек слоёв с единой causal-маской проще масштабировать; next-token prediction — элегантный и универсальный обучающий сигнал; KV-cache естественно ложится на авторегрессионную генерацию. При достаточном масштабе decoder-only справляется с «пониманием» не хуже encoder-моделей.
Теперь заглянем внутрь одного блока трансформера. Помимо self-attention, он содержит:
• Feed-Forward Network (FFN): в классическом варианте — два линейных слоя с GELU (функция активации в нейронных сетях, которая работает как гладкая, вероятностная версия ReLU — см. статью) между ними; в современных LLM чаще SwiGLU — gated-архитектура с тремя матрицами. Если внимание — «коммуникация» между токенами, то FFN — «обдумывание» каждого в отдельности. По параметрам FFN занимает около ⅔ блока.
• Residual connections: вход блока прибавляется к выходу, формируя «шоссе» для градиентов. Без них глубокие сети (60+ слоёв) не обучались бы стабильно.
• Layer Normalization: нормализует активации для стабильности. Оригинальный трансформер применял Post-Norm (нормализация после residual), но современные LLM используют Pre-Norm (перед attention/FFN) — она даёт более стабильную сходимость при большой глубине (см. статью). Вариант RMSNorm (LLaMA, DeepSeek) проще: убирает центрирование и нормализует по RMS (корню из среднего квадрата активаций).
Типичная формула блока (Pre-Norm):
x = x + Attention(Norm(x))
x = x + FFN(Norm(x))
Количество таких блоков определяет «глубину» модели: у GPT-2 их 48, у LLaMA 3 70B — 80, у DeepSeek-V3 — 61. Ширина (размерность скрытого состояния) и число голов — два других ключевых гиперпараметра. Их соотношение с глубиной — предмет активных исследований в рамках законов масштабирования.
Отдельно стоит упомянуть позиционное кодирование. В первой части мы говорили, что к эмбеддингу добавляется позиционный вектор. Оригинальный трансформер использовал фиксированные синусоидальные позиции, GPT-2 — обучаемые абсолютные. Современные LLM перешли на RoPE (Rotary Position Embeddings): каждый токен получает вращение Q/K-векторов пропорционально позиции, но при подсчёте внимания скалярное произведение зависит только от разности позиций — модель «видит» относительное расстояние. Это позволяет экстраполировать на длины, не виденные при обучении, — критическое свойство для больших контекстов.
✍ На правах домашнего задания:
• The Illustrated Transformer — визуальный разбор от Jay Alammar
• What Is a Transformer Model? — практичный обзор от NVIDIA
• Build a Large Language Model (From Scratch) — классная книга Себастьяна Рашки для тех, кто хочет собрать всё руками (есть русская версия)
... и обязательно разобрать правую часть знакомой интерактивной визуализации 🦄
#LLM #гайд