Я начал работать с LLM-кодинг-агентами по меркам ИИ-эры довольно давно.
Ну вот, например, пост из 2024 года https://t.me/azalio_tech/39 - где я за сутки написал мелкую фичу во fluent-bit, и её быстро приняли.
А сейчас уже 2026. Кодинг-агенты заметно продвинулись. Но вот незадача: они прекрасно кодят, а вот перформанс пока не их конёк.
Если взять решение эксперта за 100 процентов, то лучшая модель достига 15 процентов, а Opus - 9.8%.
Остальные - на уровне погрешности.
Это выясняется из поста Александра Лебедева в его канале about:performance https://t.me/troubleperf/108

Я с Сашей знаком давно, и мы нашли общую волну на фоне любви к Грегу "Святому" Брендану.
Саша продолжил упарываться по перфомансу, а я плыву на волнах ИИ.
Но инженер с perf, как выясняется, всё ещё может дать ИИ прикурить ;)