Мне кажется, самое важное направление года. Первые значимые сигналы до меня дошли еще во время ERC3, когда Леша Остриков дал модельке самой оптимизировать промпт напрямую об евалы
А сейчас вот сам Андрей Карпаты выложил рабочий репо, да еще и так, что можно брать и за пол часа переносить на любую предметную область.
Короче, рассказываю, во что у меня превратился AI Engineering сразу в нескольких проектах:
1. Записи разговоров с клиентами вытягиваем из гранолы, складываем в репо в папку calls/. И транскрипты и саммари.
2. Берем у клиента человеческое описание процесса, который автоматизируем и вообще всю релевантную документацию
3. И обязательно, размеченные примеры вход/выход. Это будет наш базовый бенчмарк. Не забываем 20-30% примеров вообще убрать из репо – отложим на чистовое тестирование (см. data leakage)
4. "Claude/GPT, а сходи, посмотри как у Карпаты авторисерч устроен и подготовь наш репо так же, но только под нашу клиентскую задачку (смотри *.md файлы в репо)".
5. "Пока сотку не выбьешь, не возвращайся"
———
Ладно, конечно там все не так просто.
Пока все еще нужно руку держать на пульсе – уж где модельки пока реально слабы, так это в строительстве систем с LLMками под капотом. Но с
- самодельным скелетом решения
- четкими ограничениями "что нельзя трогать"
- structured logs всех промежуточных артефактов прямо в файлы (нужно для анализа проблем агентом)
- минимальным ревью его "гениальных" идей
, решение реально начинает сходиться!
Впервые за долгое время снова испытал вот это ощущение "черт, это сейчас какая-то магия происходит"