2 сентября 2026 г., 12:00 МСК, онлайн

Методы оценки синтезированного программного кода и управления его генерацией с применением языковых моделей

Дмитрий Витальевич Федрушков, аспирант, Университет ИТМО

Яндекс Телемост->

При генерации программного кода с помощью больших языковых моделей зачастую отсутствует эталонное решение, с которым можно было бы сравнить полученный результат, а существующий набор тестов может быть неполным или вовсе отсутствовать. Поэтому для практического использования таких систем необходимы методы оценки качества, способные работать непосредственно с сгенерированным кодом, не опираясь на референс и выполнение тестов. В докладе будет рассмотрен подход к многокритериальному безреференсному оцениванию, объединяющий формально проверяемые свойства кода с вероятностными и семантическими оценками языковых моделей. Будет показано, как различные оценочные сигналы дополняют друг друга и позволяют получить более устойчивую и интерпретируемую оценку качества. Отдельно будет рассмотрено использование такой оценки в качестве обратной связи для управления генерацией.