ChatGPT стал работать хуже? Ответ исследователей. Часть 2

ChatGPT — основанный на работе нейросетей чат-бот — появился в ноябре 2022 года и быстро завоевал популярность у пользователей. Сейчас его даже официально используют в работе некоторые корпорации — например, Bing и Slack — а Coca-Cola тестирует возможности бота для помощи в маркетинге.

«Под капотом» у ChatGPT две языковых модели: пользователи могут выбирать между GPT-3.5 и GPT-4 (последняя, впрочем, доступна только по платной подписке). Про «третью» GPT мы подробно писали в этой статье, а четвертая версия была презентована создателями как более продвинутая — лучше отвечает на запросы, знает больше языков и даже может работать с изображениями. На момент выпуска (в марте этого года), согласно проведенным компанией-разработчиком тестам, GPT-4 действительно была гораздо эффективнее предыдущей версии. Однако уже спустя пару месяцев пользователи отметили, что чат-бот стал отвечать гораздо хуже. Проблемой заинтересовались исследователи из Стэнфорда и Беркли, и в июле вышла статья, согласно которой с новыми версиями поведение GPT-4 действительно может значительно меняться (не всегда — к лучшему). Авторы статьи связывают эти изменения с обновлениями нейросетей, которые проводила создавшая их компания OpenAI ради улучшения показателей в некоторых типах задач. В то же время, методология исследования вызывает некоторые вопросы, так что окончательного вердикта об эволюции (или деградации) GPT-4 придется еще подождать.