Такой собес действительно имел смысл. На момент декабря 2024 передовые модели не очень то хорошо осиливали задачу брэйнтизеров.
Поменялась ли ситуация сейчас? Возможно. Имеет смысл прогнать тот же DeepSeek R1 (его стоимость безумно хороша для такой модели), ну и если финансы позволяют более сильные модели семейства O от OpenAI. Сколько уйдет на это времени и будет ли практично - хороший вопрос.
Тот факт, что качество проседает на 20% на загадках, которые модель точно не видела в обучении еще раз подтверждает, как хорошо модели запоминают датасет, но вот обобщают его хуже. По крайней мере на отсечке к концу прошлого года.
Кстати говоря, на вопрос:
Two people had to go to the top of the hill. There’s only one motorcycle, yet only one person can ride it. Fortunately, they both get to the top of the hill. How?
4o и 4o-mini не в состоянии ответить.
#мнение