Опыт Meta с генерацией юнит-тестов с помощью LLM

Meta написала поверх LLM инструмент для улучшения качества написанных людьми юнит-тестов и генерации новых. Качество аутпута и отсутствие галлюцинаций гарантируются набором специальных фильтров. Кажется, это первый отчет об использовании генераторов тестов на масштабе огромного продакшн проекта.

Результаты такие:

👉75% сгенерированных тестов билдятся корректно, 57% работает стабильно, 25% повышают фактическое тестовое покрытие.
👉По оценке инженеров, проверявших результаты, 11.5% тестовых классов стали лучше, чем были до. А всего в итоге было принято 73% предложений по улучшению.

Как по мне, офигенный кейс использования LLM! Что думаете?