На прошлой неделе многие профильные сайты и telegram-каналы написали посты с названиями вроде «Chat GPT становится тупее от общения с людьми». Мы знаем, что чем громче заголовок — тем внимательнее нужно разбираться, поэтому попросили комментарий декана факультета инфокоммуникационных технологий, сторонника активного использования нейросетей в образовании Александра Капитонова специально для сообщества ITMO.Expert.

Что случилось?
Группа ученых из университетов Стэнфорда и Беркли опубликовали статью «Как меняется поведение ChatGPT с течением времени?» («How Is ChatGPT’s Behavior Changing over Time?»), в которой сравнили ответы самых популярных в мире языковых моделей GPT-3.5 и 4.0 в марте (сразу после релиза четвертой модели) и в июне 2023-го по четырем сценариям: 1) решение математических задач; 2) ответы на деликатные вопросы; 3) генерация кода и 4) визуальная оценка (способность делать выводы на материале изображений). Данные показывают, что с течением времени чат допускает больше ошибок и неточностей в ответах. Отдельно отметим, что в выводах ученые призывают не паниковать и продолжать исследование, чтобы анализировать данные в долгой перспективе и то, что статья еще не прошла независимое рецензирование.

Эти выводы — закономерность развития технологии или когнитивное искажение, при котором все просто стали замечать то, о чем не задумывались ранее?

Александр Капитонов: «К технологиям неприменимо понятие «глупость». Скорее всего, OpenAI тестируют различные пользовательские сценарии (варианты взаимодействия пользователей с программным продуктом для достижения конкретной цели — прим. ITMO Expert). И общение с людьми здесь — далеко не первый приоритет. Поэтому пользователям может показаться, что общение стало менее интеллектуальным. Но возможно, на него просто нет спроса.
Мне кажется, в будущем они будут делать упор на поиск и обобщение данных как сценарий, наиболее востребованный в решении корпоративных и бизнес-задач».