🤖 Гіпотеза некерованих геніїв: чому агентні каркаси важливіші за самі моделі

👤 Алекс Чжан – PhD-дослідник у MIT CSAIL (лабораторія комп'ютерних наук та ШІ), співавтор RLM та GPU MODE
🎤 Swyx (Алессіо) та Ченґ – ведучі подкасту Latent Space (технічний подкаст про інженерію штучного інтелекту)

📺 Latent Space – 👥 230 тис. підписників
⏱ 1 год 43 хв
🗓 02.10.26 (2 дні тому)
👁 15 тис.

📝 Алекс Чжан пояснює, чому LLM варто сприймати не як повноцінних автономних працівників, а як талановитих геніїв, якими потрібно правильно керувати. У фокусі розмови – рекурсивні мовні моделі (RLM), переосмислення агентних обв'язок (harnesses), архітектура Jev для низької затримки та оптимізація обчислень.

💡 ГОЛОВНІ ТЕЗИ

1️⃣ Гіпотеза 'Mismanaged Geniuses' пояснює обмеження сучасних LLM
Сучасні моделі володіють колосальними знаннями в точкових завданнях, але провалюють тривалі проєкти. Проблема не в інтелекті моделі, а в тому, як каркас розбиває і координує роботу підагентів.

2️⃣ Авторегресійний декодер – не єдина форма існування мовних моделей
Проєкт Jev від TypeSafe показує альтернативний підхід: використання бази знань LLM зі зміною простору виводу. Це дає прискорення інференсу в сотні разів на завданнях класифікації.

3️⃣ Більшість популярних каркасів (harnesses) практично ідентичні між собою
Claude Code, Codex та Pi використовують шаблон 'траєкторія як промпт'. Справжня диференціація виникає тоді, коли контекст виноситься у файлову систему, а виклики інструментів реалізуються через код.

4️⃣ Рекурсивні мовні моделі (RLM) переносять патерни рішень між різними сферами
Коли RLM навчається декомпозиції на коротких завданнях, вона успішно масштабується на контексти у 8–30 разів довші. Стратегія розбиття задач у коді виявляється ізоморфною для олімпіадного програмування та оптимізації GPU.

5️⃣ Спекулятивні виклики інструментів прискорюють агентні ланцюжки
Концепція sPTC (Speculative Programmatic Tool Calling) передбачає запуск інструментів до завершення генерації коду. Якщо середовище може компілювати код завчасно, ресурсомісткі запити не простоюють у черзі.

6️⃣ Масштабування витрат на агентні рої потребує суворого калібрування
Вирішення задач на кшталт Navier-Stokes за допомогою 10 000 агентів коштує десятки мільйонів доларів. Близько 95% роботи неструктурованого рою може бути шумом, якщо немає чітких математичних валідаторів.

7️⃣ Академічні дослідники повинні брати ризики, а не змагатися в обчисленнях
Університетські лабораторії не можуть конкурувати з Frontier Labs за ресурсами комп'юту. Єдина перевага аспірантів – перевіряти дивні концептуальні гіпотези, які індустрія вважає маргінальними.

💬 «Модель не повинна бути просто авторегресійним трансформером, який генерує текст. Мовна модель – це моделювання мови, і ми маємо право змінювати її архітектуру під конкретне завдання.»

🎯 ЩО З ЦИМ РОБИТИ
Не намагайтеся компенсувати недоліки базових моделей додаванням контексту. Проєктуйте модульні каркаси з винесенням пам'яті на диск та декомпозицією завдань через виконання коду.

💵 0.14$

@icereadspodcastsua