🟦На первом этапе модель прошла тестирование на 500 вопросах закрытого типа, разработанных преподавателями «Сколтеха». Средний показатель правильных ответов составил 76,9%.
🟦Второй этап предусматривал «очный экзамен» с участием комиссии из восьми докторов технических и физико-математических наук. Они выбрали три билета из 45, по которым проводили оценку знаний «Гигачата». По итогам экзамена нейросеть набрала 7 из 10 баллов.
«Все задачи были разработаны специально для этого испытания и отсутствовали в открытых базах, что исключало возможность поиска готовых ответов и требовало от нейросети применения реальных знаний. Для объективной оценки глубины компетенций эксперты не только проверяли ответы, но и задавали уточняющие вопросы», – отметили в «Сбере».
📰 Max | Telegram | Рассылка | Приложение для iOS | Android