Поддерживая общую традицию, провожаю год размышлениями вокруг и около работы инженера по машинному обучению (разгон о t-shaped инженерах продуктовых команд).
Это всё добро копилось для отдельных постов, но я так и не смог порадовать вас их публикацией:)
Часть 1 (вы тут)
Часть 2
1️⃣ Меняется ландшафт задач ML-инженера
Что раньше находилось за гранью понимания стейкхолдеров?
*тут смежник помогал с тз, сбором данных и разметкой* -> чистка данных -> фиче-инжениринг -> обучение модели -> валидация -> написание обертки для прода -> *тут мы смотрим как смежник радуется, что эта магия работает*
Теперь же LLM-ки схлопывают первые 3 этапа нашей работы (не совру, если скажу, что 99% проектов решаются через context-engineering/RAG без файнтюна), а LLM-API настолько простое, что последний пункт тоже не требует специфики MLE.
Велик соблазн сократить всех мльщиков и просто научить остальное R&D работать с OpenAI-API, да? (Ладно, оставим бедолаг делать олдовый ML, иногда же мы хотим дешевый highload без кластера из GPU)
Прогноз на 2026 #1: ограничения ресурсов в проде будет дальше толкать спрос на small-LM модели из-за их низкого порога входа и острого дефицита железа (разное и одновременное: санкции, ограничение рынка предложения, ограничения production систем, тренд на self-hosted).
2️⃣ *смежник сам собрал данных и наинженерил промпты* -> валидация -> *смежник сам затащил в прод*
Да-да, внимательный читатель заметил в цепочке звено, которое требует определенного скилла. У людей, только сейчас получивших доступ к работе с моделями (пусть и большими языковыми), напрочь отсутствует привычка делать качественную валидацию, как правило проживая следующие стадии:
- Вайб-чекнуть на 2-5 кейсах, что модель умеет решать задачу и катить в прод
- Пытаться докидывать few-shot на каждый фолс
- Паниковать от галлюцинаций, когда меняется модель на LLM-бэкенде
- Стать заложником проекта, уточняя промпт и переходя с LLM-flow к агентам, так и не поняв природу галлюцинаций
Чтобы научиться в валидацию, рекомендую замечательную подборку постов от Рината про то, как за неделю привести в порядок типичный LLM проект.
Нужен ли обязательно MLE, чтобы строить валидацию? 2025 показал, что да, но лишь из-за привычки мерить качество у одних, и отсутствие этого навыка у других.
Прогноз на 2026 #2
: LLM фичи с автоматическим бенчмарком (без human-in-the-loop) станут таким же стандартом, как и unit-тестирование в разработке.
Прогноз на 2026 #3
: Как на собеседованиях, так и в работе умение погрузиться в домен продукта станет цениться значительно выше общих знаний теории по машинному обучению. Многие LLM фичи не требуют знаний о способах претрейна или особенностях архитектуры, но неумение грамотно оценить продуктовую ценность может вылиться в убытки для компании, которая сделала ставку на AI.