Про глупые модели

В моём представлении интеллект модели - это её ключевая характеристика. Чем выше интеллект, тем меньше времени уходит на взаимодействие с моделью и ее корректировку при решении той или иной задачи. Даже самые умные модели сейчас требуют немало времени на ревью и корректировку.

При этом есть несколько надёжных, как швейцарские часы, способов превратить даже самую умную модель в непроходимого идиота.

Контекст

Ну это уже, наверное, всем известно: чем больше контекст, тем сильнее деградация. Для далёких от вайбкода: чем больше чат, тем глупее ответ. При этом, чем меньше модель, тем выше этот эффект. Впрочем у моделей, которые намеренно проектируют и обучают для работы на длинных контекстах, деградация слабее, но она все равно крайне ощутима.

Русский язык

Многим, наверное, известно, что взаимодействие с ллм на русском в 1,5-2 раза дороже, чем на английском в плане токенов. Но мало кто знает, что не-английский язык даёт штраф в 5% точности на большой модели и до 25% (!) на малой. Как это меняется с ростом контекста - загадка, но вряд ли контекст влияет на это положительно.

Говнокод

Нужно ли рефакторить в эпоху вайб-кода? Если код читать и править не вам, то это вполне логичный вопрос. Многие и для себя-то не особо стараются. Однако, насколько говнокод делает модель глупее?

Судя по всему, намного: если изменить все имена в коде на случайные, то модель на том же бенчмарке вместо 88 баллов выдаёт 58. Купили опус за 200 баксов, а пользуетесь гигачатом.

А если имена будут вводить в заблуждение и врать, то результат будет ещё хуже.

Про малые модели

Вообще, малые модели на coding-бенчмарках выдают баллы, близкие к большим. Но это не значит, что они так же хороши в реальности: тут важно понимать, за счёт чего достигаются эти цифры. Малые модели, чтобы решить ту же задачу, думают больше: не по времени, а по токенам. Они компенсируют недостаток знаний и ума усердием. И это значит 2 вещи: больший расход контекста на задачу и, вероятнее всего, худшее качество кода на выходе.

Мой опыт с моделями показывает следующее: если модель изначально воткнула какой-то кривой костыль, то рефакторинг тут уже не поможет - это будет красиво обёрнутый костыль.

Подытоживая

В целом, я регулярно вижу, что народ использует маленькие модели для кодинга. И русский язык в промптинге и проектах. И пренебрежение ревью и, тем более, рефакторингом тоже вижу.

И тут, судя по всему, скупой платит дважды, а ленивый трижды: дешёвая маленькая модель думает-думает, загаживает себе контекст, плодит говнокод, в котором она справляется ещё хуже. И все это ещё усугубляется тем, что все на русском.

Как эту ситуацию добить? Не писать тесты. В первом проходе модель (не имея результатов тестов) решает всего 50% всех задач бенчмарка. К 40-й итерации набирает >80%. То есть без обратной связи модель ошибается гораздо чаще.