Российские исследователи подготовили набор тестов, который позволяет при помощи психометрических подходов максимально точно и всесторонне оценивать эффективность использования и компетентность ИИ-систем в качестве помощника учителя или ученика.
Мы разработали новый подход, который выходит за рамки традиционного тестирования. Наш подход проиллюстрирован специальным новым обширным тестом для языковых моделей, который нацелен на проверку ИИ в педагогике. Он строится по принципам психометрики и ориентирован на ключевые компетенции, важные в преподавательской деятельности
– рассказали создатели теста.
Ученые заручились поддержкой со стороны ведущих экспертов в области образования и разработали и протестировали более 3,9 тыс. уникальных заданий, разделенных на 16 профессиональных областей. Работу тестов проверили в опытах с участием русскоязычной версии большой языковой модели GPT-4.
В ходе исследования выяснилось, что ИИ хорошо решает задачи на установление фактов, но менее успешен в ситуациях, требующих детального анализа и гибкого мышления, а также справляется далеко не со всеми даже самыми простыми теоретическими задачами.
Разработанные тесты позволят создавать адаптированные для использования в образовании ИИ-системы, ответы которых не будут содержать критических ошибок и не введут пользователей в заблуждение.
🇷🇺 Национальный центр развития искусственного интеллекта при Правительстве РФ
#новостьдня