А тем временем, сегодня в 11-20 мск на онлайн-треке ML & Education Датасеста - доклад сотрудника нашей лаборатории Андрея Гетманова:

"OSA.Edu: Как мы разработали и внедрили систему проверки кода в студенческих работах"

В нем Андрей поделится результатами эксперимента, которые провели силами участников учебно-научной лаборатории АИСТ, а также студентов и аспирантов факультета технологий ИИ ИТМО.

В чем суть: мы прогнали репозитории магистерских ВКР через наш мультиагентный LLM-инструмент для улучшения научного кода https://github.com/aimclub/OSA . Созданная специально под этот эксперимент функциональность OSA.Edu позволяет автоматически анализировать студенческие работы по трём направлениям: оформление репозитория, качество кода и воспроизводимость ВКР.

Для оценки воспроизводимости анализировался текст ВКР и содержимое репозитория - насколько то, что описано в работе, можно в принципе повторить на основе предоставленного кода. Для каждого утверждения из текста OSA ищет соответствующую кодовую реализацию (или датасет) и помечает его как реализованное или нет, с указанием конкретного файла.

На картинке - фрагмент отчета по результатам анализа.

Сам трек уже начался, так что можно присоединяться и раньше.

Ссылка:
https://dion.vc/event/datafest-b