AI отлично пишет код, но когда дело доходит до отладки — сыпется.
Microsoft запустила 9 разных LLM-агентов на 300 реальных багов.
и даже самые продвинутые модели справились менее чем с половиной.
Claude 3.7 Sonnet — лучший результат: 48.4%.
OpenAI o1 и o3-mini — 30% и 22% соответственно.
и это с отладчиком.

почему?
потому что модели обучались не на человеческой логике поиска багов,
а на готовом коде и шаблонах.
а отладка — это не “угадай правильный ответ”,
это последовательное принятие решений в условиях неопределённости.
того, чему их никто не учил.

и что?

если ты фаундер — забудь сказки про “одного ИИ-разработчика на весь продукт”.
писать функции — да.
искать, почему они не работают — пока нет.
если ты строишь dev-инструмент — реальное окно в инструментах для человека, а не вместо него.
не “агент сделает всё”, а “помоги человеку дебажить быстрее”.

если ты инвестор — это хард-факт: отладка — одна из последних опор программиста.
и именно на ней можно строить бизнес.
всё, что ускоряет багфиксы, логирует трассы, показывает диффы в поведении — это новый goldmine.
и пока все бегут за “кодогеном”, дебаг — это ниша, которую никто не трогает, но все используют.