Нашёл интересное исследование!

LLM умеют генерировать тесты. Но когда код изменился, тесты посыпались — модель сможет их починить и обновить?

Собрали 1 539 реальных сценариев из open-source проектов на Python, Java и Go и оценили LLM на трёх задачах:

🎥Создание тестов с нуля
🎥 Починка тестов, которые сломались после рефакторинга
🎥Доработка тестов под новую или изменившуюся логику

Не на уровне отдельных функций, а на уровне целого тестового файла с контекстом репозитория .

Результат: даже последние модели показывают слабые результаты на починке и обновлении.

Генерация — ок, а вот сопровождение тестов — пока слабое место.

🔗 Статья: huggingface.co/papers/2601.18241
🔗 Код: github.com/trndcenter/TAM-Eval