Лаборатория Lossfunk проверила фронтирные модели на эзотерических языках программирования

Они заставили топовые модели (от GPT-5.2 до Gemini 3 Pro) писать код на эзотерических языках вроде Brainfuck, двумерного Befunge-98 и Whitespace. Кода на этих языках в интернете почти нет, поэтому нейросети не могут просто вытащить готовое решение из своей памяти. Им приходится реально рассуждать. И они с треском провалились 😊

Машины, которые гордо выбивают по 95% на стандартных тестах по Python, здесь не смогли перешагнуть барьер в жалкие 11%. Ни одна нейронка не решила задачу сложнее уровня Easy. На невидимом синтаксисе Whitespace вообще все показали абсолютный ноль, не выдав ни строчки валидного кода. А хваленая GPT-5.2 эпично споткнулась на банальном сложении цифр 5 и 7 в Brainfuck, потому что алгоритма парсинга просто не оказалось в её обучающей выборке. Не помогли ни примеры, ни умные агенты.

Единственное, что более-менее работает - итеративная обратная связь от интерпретатора: сгенерировал, получил ошибку, попробовал заново.

🥸 Новости IT: 📱 Telegram | 📱 ВК | 📲 MAX