⚙️ LLM Architecture Gallery: Ваш атлас по архитектурам больших языковых моделей

Если вы когда-нибудь хотели увидеть, как устроены современные LLM «под капотом», или сравнить архитектурные решения GPT-2 и новейших гибридных моделей — у нас для вас отличная новость.

Проект LLM Architecture Gallery превратился в крупнейшую визуальную базу данных по архитектурам открытых моделей. Это полноценный инструмент для анализа, который мы недавно обновили (последние изменения — 29 марта 2026 г.).

Это коллекция архитектурных схем (архитектурных панелей) и технических фактов о моделях. Здесь собраны:

Ключевые модели: от классического GPT-2 XL (1.5B) до свежайших GLM-5, Mistral Small 4 и Nemotron 3.

Разнообразие подходов: Плотные (dense) модели, разреженные Mixture-of-Experts (MoE), модели с многоуровневым вниманием (MLA), линейные (линейная attention) и гибридные архитектуры (гибрид трансформеров и State Space Models).

🎯 Для каждой модели указаны ключевые концепции (GQA, MoE, RoPE, QK-Norm и т.д.) и приведена оценка размера KV-кэша (для batch size = 1), что позволяет оценить эффективность архитектуры во время инференса.

В галерее уже представлены десятки архитектур. Вот лишь несколько знаковых:

🔘DeepSeek V3 / R1 / V3.2 (671B): Флагманская архитектура, задавшая тренд на большие MoE с Multi-head Latent Attention (MLA). V3.2 добавил разреженное внимание для работы с длинным контекстом.

🔘Llama 4 Maverick (400B): Пример крупной MoE-модели от Meta с классическим стеком внимания (GQA).

🔘GPT-OSS (20B & 120B): Открытая модель от OpenAI, экспериментирующая с чередованием локального и глобального внимания.

🔘Qwen3 Next (80B-A3B): Представитель нового поколения гибридных моделей, комбинирующий стандартное внимание с механизмом DeltaNet (Gated Attention).

🔘Nemotron 3 Nano (4B): Компактная гибридная модель, где большая часть слоев заменена на Mamba-2.

🔘xLSTM (7B): Интересный эксперимент, возвращающий рекуррентную архитектуру (на основе xLSTM) вместо классического self-attention.

🔘Tiny Aya (3.35B): Мультиязычная модель с редким параллельным блоком трансформера и отсутствием позиционных кодировок (NoPE).

Если вы заметили неточность в описании или битую ссылку — вы можете сообщить об этом через Issue Tracker проекта.

LLM Architecture Gallery — это идеальный инструмент, если вы изучаете, как устроены современные LLM и выбираете архитектуру для своего проекта, хотите сравнить опции (GQA vs MLA, dense vs MoE). Просто хотите иметь под рукой наглядный справочник по всем значимым открытым моделям. Переходите по ссылке, чтобы изучить схемы, сравнить архитектуры и, возможно, найти ту самую идею для вашего следующего эксперимента.

Ссылка на проект: https://sebastianraschka.com/llm-architecture-gallery/