Господа!

Однако история прошлого поста (благодаря Ивану Молодецких 🤝) получила продолжение! 😲

Антропик выложили код задания в открытый доступ (ссылка в прошлом посте была), и народ создал сайт https://www.kerneloptimization.fun/, на котором подняли среду проверки и прикрутили лидерборд с правилами (не больше 5 сабмитов в час, не больше 30 секунд на задание и т.п.)

Короче! У Антропика в статье было "если у вас будет меньше 1487 циклов, пришлите нам свой код и резюме". 1487 циклов, это 11,5 часов работы Claude Opus 4.5(!!!).

На сайте уже сейчас 150 решений лучше 1487 (!!!). Более того, из них 105 решений лучше результата 1363 циклов Claude Opus 4.5 "in an improved test time compute harness after many hours" (сколько точно часов не раскрывается, но явно заметно больше 11,5).

Однако, если всем миром, то кожаные еще вполне себе могут! 💪😁

В побивших рекорд Claude есть никнеймы вида MaksymSherman и GeorgiZlatarev, твиттер каждого приведен, но в топе заметное число (включая первое место) пустые. Второе место — выпускник Оксфорда из Шотландии.

В общем все, как в исследования группы METR, о которых я писал тут и тут. На длинных дистанциях люди бьют LLM довольно уверенно.

Впрочем, как говорил Хассабис, ситуация в отдельных задачах напоминает шахматы. Сначала программы играли плохо. Потом начали обыгрывать гроссмейстеров. Потом лучше всего играли в связке человек-компьютер, а потом человек в задачах на скорость уже только мешал. 🤷‍♂️😉

В общем кожаные вполне пока могут этому выскочке Claude надрать задницу, причем во вполне товарных количествах! 👏💪👏 Расходимся! 😁 (Кто-то к привычным занятия, а кто-то обдумывать новую стратегию. И именно для них последние два поста). 😉

Stay tuned! Продолжение следует! 😉

@vgcourse