ChatGPT 4 стал хуже в разы за несколько месяцев

Нашёл исследование, суть которого очень простая: что-то идёт не так. Ну или не в ту сторону.

Как замеряли изменения:

Набор из 500 задач, в которых нейросеть должны были выяснить, является ли данное целое число простым. В марте GPT-4 правильно ответил на 488 из этих вопросов. В июне у него было только 12 правильных ответов.

Кроме того ChatGPT работала с набором данных с 50 простыми задачами из LeetCode.

Мартовская версия успешно справилась с 52% проблем, но при использовании июньской модели этот показатель упал до 10%.

В чём может быть проблема?

Ходят слухи, что разработчики используют несколько меньших и специализированных моделей GPT-4, которые действуют аналогично большой модели, но дешевле в эксплуатации.