Искусственный интеллект продолжает широко использоваться в сфере разработки программного обеспечения от генерации кода по описанию до GitHub Copilot и стартапов, которые собирают простые приложения за несколько часов при поддержке больших языковых моделей.

Как отмечают специалисты, нет причин ожидать, что в ближайшее время ИИ вытеснит программистов, поскольку большие языковые модели по-прежнему плохо справляются с отладкой, на которую уходит большая часть времени любого разработчика. Microsoft Research отметила этот момент в своём новом исследовании, которое представило инструмент Debug-gym — платформу для тестирования и улучшения навыков ИИ в поиске и устранении ошибок в коде.

Debug-gym — это среда, которая позволяет моделям ИИ пытаться отлаживать любой существующий репозиторий кода с доступом к инструментам отладки. При этом ее работа основана на изучении контекста соответствующей кодовой базы, выполнении программы и документации, а не на догадках, основанных на ранее просмотренных обучающих данных.

В тестах debug-gym модели, получившие доступ к инструментам, показали почти вдвое более высокие показатели успешной отладки по сравнению с теми, кто работал «вслепую». Однако даже в лучшем случае модели смогли успешно завершить задание лишь в 48,4% случаев. Прогресс значителен, однако пока недостаточен для того, чтобы заменить человека.

Microsoft объяснила ограничения тем, что текущие языковые модели обучались на данных, в которых мало представлено поведение, характерное для отладки — например, последовательные действия по поиску ошибки. Это делает область особенно перспективной для дальнейших исследований. На следующем этапе планируется обучение специальной модели, предназначенной непосредственно для поиска информации, необходимой для устранения ошибок в коде. Такая «поисковая» модель сможет помогать более крупной системе, снижая расходы на вычисления.

📚Тематические ссылки:
https://www.microsoft.com/en-us/research/blog/debug-gym-an-environment-for-ai-coding-tools-to-learn-how-to-debug-code-like-programmers/
https://www.securitylab.ru/news/558799.php