Вспомнил! я же вам не жаловался ещё

Последние полтора года я был адвокатом дьявола и всегда говорил "вам показалось", когда люди рассказывали про "отупление моделей" со временем. Мой пойнт в защиту всегда был прост: когда мы получаем что-то новое, мы изначально сильнее удивляемся качеству (если оно есть), а дальше мы просто начинаем находить слабые места. Это и создаёт ощущение деградации. Для проверки я всегда запускал одни и те же задачи на старте и по истечении времени. Деградация наблюдалась только в случаях, когда на задачу накладывались новые добавленные ограничения безопасности

Но вчера всё изменилось

У меня есть MCP сервер для моих задач. Обложен всем, чем надо и имеет отличное описание. Gemma 12b с ним работает идеально. Короч, тот самый "старый конь борозды не испортит"

Я решил сэкономить пару токенов и запустил задачу на Claude Haiku. Как говорят антропики: быстрая модель для простых ежедневных задач. А по факту, эта тупорылая поделка херня из-под ногтей дырка от жопы "модель" проигнорировала подключенный MCP и начала писать скрипт эмулирующий обращение к API нужного мне сервера, чтобы ответить на мой запрос. Конечно же, переключение на Sonnet исправило ситуацию. Но как же сама идея, что "для каждой задачи - своя модель"? Почему открытые модели ложатся на эту идею, а трижды проклятые проприетарные модели нет?

Если это не дно, то мне страшно предстваить, что на дне