Всю прошлую неделю взахлёб читал невероятный блокбастер о спасении одного LLM-based проекта в канале у Рината Абдуллина / LLM под капотом. Ещё и в стиле Project Hail Mary 🌟

Нужно спасти проект на который у прошлой команды было 5 месяцев. Качество не сходится. Время: 6 дней. Разработчик ушёл в отпуск.

Прежде всего, это урок про метрики качества. Сначала eval, потом разговоры, ребят.

Ещё приметил:
– Разделение на "проверяющих" и "чинящих" через правильный на коленке собранный "фреймворк"
– Автогенерация 687 (!!!) тулов внутри пайплайна. Цитирую:

Размер и качество этого кода не имеют значения, пока у нас есть общий результат работы проекта - точность, скорость и стоимость.

Все идите читать срочно. Начинать отсюда

Ну и Project Hail Mary почитайте если ещё не, потрясающая современная фантастика.