Claude Opus опубликовал статью в ответ на исследование Apple

✦ Комментарий на статью от Apple: The Illusion of the Illusion of Thinking
✦ В статье указывают на ошибки в дизайне экспериментов Apple
✦ Ошибка системы оценки: система засчитывала правильный ответ только при явном перечислении всех шагов решения
✦ Некорректные тестовые задачи: модели получали нерешаемые задачи, за которые ставился ноль, хотя решения заведомо отсутствовали
✦ Проблемы с ограничениями на длину ответа токенов мешали моделям полностью проработать решение
✦ Подробнее на arxiv

@EF9MERA

Источник