«Что сейчас самое лучшее?» — неправильный вопрос

Давайте сегодня не про технину и агентов опять. Я начал со сложного и пропустил самое начало, а спрашивают как раз про него. С чего начать, что сейчас на острие, какая модель лучше, пора ли переезжать.
Отвечу сначала как спросили. Потом объясню, почему спросили не то.

По существу вопроса: берите то, что подходит вам, а не то, что вышло вчера.

Инструмент, в котором вы работаете каждый день, окупается не характеристиками, а наработанностью. Вы знаете, где он врёт. Знаете, какая формулировка даёт результат. У вас накопились заготовки, шаблоны, контекст. Это капитал, и переносится он плохо: на новом инструменте вы снова новичок, только теперь с завышенными ожиданиями. Три месяца притирки ради пятнадцати процентов на бенчмарке — плохая сделка.

А переезжают именно ради процентов на бенчмарке. Хотя бенчмарк меряет не вашу работу. Модель, которая решает олимпиадную математику, не обязательно держит ваш тон голоса. Победитель агентных задач не обязательно аккуратнее с фактами. Единственный честный тест — десять ваших типовых задач через оба варианта. Вечер работы.

А теперь забудьте всё, что я написал выше.

Не потому что неправда. Потому что не туда пошли изначально.

За вопросом «какую модель взять» почти всегда стоит надежда, что правильный выбор всё решит. Но я пока не видел ни одного случая, когда это срабатывает. Упираются не в модель.

Упираются в то, что стандарт не сформулирован: он живёт в голове главреда и достаётся оттуда в режиме «мне не нравится». В то, что источники не описаны и каждый берёт цифры откуда придётся. В то, что никто не знает, где текст проверяется и кем, потому что проверяет его тот, у кого сегодня есть время.

Более сильная модель не чинит ни одну из этих вещей. Она делает ровно одно: быстрее производит то, что вы всё равно не умеете принять. Вы получаете больше текста, который некому оценить по критерию, которого нет.

Поэтому мой ответ на «с чего начать» звучит скучно. Возьмите то, что уже под рукой. Найдите одну задачу, которая повторяется каждую неделю и от которой воет вся команда. Опишите её словами: что на входе, что на выходе, что считается браком. Не «пиши хорошо», а что именно делает текст непригодным. Пропишите процесс и доведите до состояния, когда он идёт без вашего участия в каждом шаге.

Вот тогда вопрос про модель станет осмысленным. Вы упрётесь и будет видно во что: в модель, в окружение или в собственное описание задачи. До этой точки ответить на него нечем.

И последнее, неприятное. Гонка за релизами — это способ не делать скучную часть. Читать про новое приятно, ощущается как работа, не требует ни одного решения и никого не злит. А сесть и выписать редполитику, договориться, кто отвечает за факты, и признать вслух, что ваш стандарт нигде не зафиксирован, — это конфликт, время и неудобные разговоры.

Поэтому все обсуждают модели. Модели обсуждать безопасно.

#контентменеджерское