Зачем нужны инженеры или как "модель + умный процесс > модель"?

Вы, возможно, уже слышали, что Poetiq поставили новый рекорд на сложнейшем бенчмарке ARC-AGI-2 —> даже Gemini Deep Think (продвинутая версия Gemini) набирает лишь 45%. Да еще сделали это в 2.5 раза дешевле

Главное в их достижении то, что они не тренировали или тюнили модель, это та же Gemini 3, доступная всем нам. Они просто "обернули" её в умный процесс. Если сильно не вдаваться в технические детали процесса, то 2 ключевых компонента оного следующие:

1) Внешняя обратная связь: модель генерит код -> код запускается -> результат сравнивается с правильным ответом -> модель улучшает решение. Важно, что модель не сама себя проверяет, а получает фидбек извне, про то, что она не может знать, и тем самым корректируется. Прямо как продукт не может улучшаться (а значит жить) без юзеров. Кстати, для продвинутых, это пример Reflection паттерна в AI агентах. По похожему принципу работает наш самоулучшающийся промпт

2) Мультимодельное мышление: 8 экспертов-моделей параллельно голосуют за лучший ответ. Это не только про то, в чем все уверены, но и про diversity - новые интересные решения, которые еще не пробовали. В эту же топку мои посты про many model thinking и триангуляцию

Мне кажется, что это отличная иллюстрация к этой "Beyond LLM" лекции из Стэнфорда про то, насколько мощнее становится результат модели, обернутой в определенный workflow, с доступом к инструментам, памяти и тп.

tldr: engineering is not dead, дамы и господа :)

P.S. Кстати, как раз разбирали Reflection на 2й лекции AI Product Engineer, а мультимодельное мышление будем разбирать в эти выхи на AI Productivity