Себастьян Рашка подвёл итоги года в LLM-мире. Рашка — автор книги «Build A Large Language Model (From Scratch)» и независимый исследователь, который пишет код руками и разбирается в деталях. Его обзоры ценны тем, что это взгляд практика, а не маркетинговый пересказ пресс-релизов.

➡️ Главное открытие года — RLVR и GRPO

DeepSeek R1 в январе показал, что reasoning-поведение можно развить через reinforcement learning с проверяемыми наградами. Модель стоила ~$5M вместо ожидаемых $50–500M. После этого буквально все крупные лабы выпустили свои "думающие" модели.

GRPO стал любимым алгоритмом исследователей — он концептуально интересный и не требует безумных бюджетов для экспериментов.

➡️ Тренды года

🔘Inference-time scaling — тратим больше на генерацию ответа, получаем лучше результат. DeepSeekMath-V2 так дошёл до золотого уровня на математических олимпиадах

🔘Tool use — LLM учатся использовать поиск и калькуляторы вместо галлюцинаций

🔘Benchmaxxing — модели оптимизируют под бенчмарки, а не под реальные задачи. Llama 4 — яркий пример: цифры отличные, а пользователи разочарованы

➡️ Про использование LLM в работе

Рашка пишет: если модель делает всю работу, а человек только смотрит — это путь к выгоранию. Удовольствие от решения сложной задачи пропадает, когда LLM выдаёт ответ за секунду.

Его подход: критичный код пишет сам (чтобы понимать и расти), а рутину типа argparse-бойлерплейта отдаёт модели.

➡️ Прогнозы на 2026

🔘Diffusion-модели для текста выйдут в продакшн (Gemini Diffusion первый)
🔘RLVR расширится за пределы математики и кода — химия, биология
🔘RAG начнёт уступать длинному контексту
🔘Прогресс будет больше от inference-оптимизаций, чем от самих моделей

Статья на ~13k слов, но читается легко. Рашка не просто перечисляет события — он объясняет, почему это важно, и добавляет свой опыт. Особенно полезны секции про практическое использование LLM и честный разговор про burnout.

📎 https://magazine.sebastianraschka.com/p/state-of-llms-2025

@neuro_channel