🚀 Анализ ошибок в коде, сгенерированном LLM: Китайские ученые предложили решение 🚀

Китайские исследователи провели детальный анализ семи популярных моделей LLM, генерирующих программный код. Они выявили основные типы ошибок и предложили метод их устранения.

🌟 Основные выводы:
1. Структура и сложность кода: Код, сгенерированный моделями, имеет меньше строк, но более высокую сложность. Особенно выделяется Claude-3, генерирующий код с меньшей сложностью благодаря использованию API.
2. Частые ошибки:
   - Синтаксические ошибки: Менее 10% в большинстве моделей.
   - Ошибки времени выполнения (runtime): Возникают при неправильном типе данных.
   - Функциональные ошибки: Наиболее распространены, особенно в сложных задачах.

🛠 Методология исследования:
- Исследователи использовали бенчмарки HumanEval+, MBPP+ и APPS+, а также реальный эталонный тест RWPB из репозиториев GitHub.
- Код считался правильным, если он компилировался без ошибок, выполнялся корректно и проходил все тесты.

📊 Таксономия ошибок:
Ученые классифицировали ошибки на три основных типа и 12 вторичных типов. Синтаксические ошибки составляют наименьшую долю, в то время как функциональные ошибки наиболее распространены.

📝 Создание шаблона
Для устранения ошибок рекомендуется создать промт с указанием:
- DOC_STRING и INCORRECT_CODE: исходная проблема и неверный код.
- BUG_CATEGORY: категория и тип ошибок.
- COMPILER_FEEDBACK: результат выполнения компилятора.
- CAUSE_AND_CODE: основные причины ошибок и исправленный код.

📈 Результаты исправлений:
- GPT-4 исправляет 24,1% ошибок на первой итерации и 6,6% на второй. Синтаксические ошибки полностью исправляются на первой итерации. Ошибки времени выполнения и функциональные ошибки требуют дополнительной итерации для полного исправления.

🔗 С полным текстом исследования можно ознакомиться тут.

Stay secure and read SecureTechTalks 📚

#Кибербезопасность #LLM #ИИ #SecureTechTalks