😲 Спустя 2 года это стало очевидным

Чуть больше двух лет назад, когда только осваивался в роли ML тим лида. Передо мной стояла задача сделать первый прототип Voice2Order.

В этот момент СhatGPT еще набирал обороты. И мало кто толком осознал его мощь или успел внедрить в работу. Про использование API для бизнесовых задач в больших компаниях говорили только самые смелые.

Моей лучшей инвестицией в то время стало разобраться со всеми популярными LLM технологиями. Попробовать LangChain, потестить наивный RAG и конечно же StructuredOutput для API ChatGPT. Без этого опыта не родилась бы и Спикадора, подарившая мне бешеное количество опыта, а людям 10К часов практики английского.

У меня был достаточно большой опыт дообучения BERT-like моделей. Поэтому для меня почти сразу стало очевидным, что LLM поубивали ряд задач и что отрицать это просто бессмысленно. А если это так, но просто глупо решать задачи голосового заказа ML подходом.

Вы удивитесь! Но мне приходилось достаточно долго это доказать коллегам, без актуального опыта. С другой стороны тим лиды и нужны, чтобы затаскивать современные методы в культуру. Но все же …

Хотя если взвесить все за и против на тот момент, то выбор был очевидным. Для LLM подхода не надо что-то дообучать, обучения за счет RAG и Few-Shot подхода мгновенное. Собирать данные почти не требуется, хватало 100 примеров. Железо тоже мимо, можно было обойтись готовыми API. И цены на токены даже в тот момент для большой нагрузки была кратно дешевле аренды/покупки GPU карточек и выделенной MLOps роли под это.

Сейчас же картина лучше. На рынке достаточно хорошее понимание потенциала LLM технологий. Людей уже меньше приходится убеждать. Остается только фильтровать неопытных, кто про такое только слышал, но «руками не трогал» и в продакшен не затаскивал.

🎚️ Итог, если ваш здравый смысл подсказывает, что технология перспективная и подходит под требования, то стоит рискнуть и пробовать! Похожая ситуация сейчас с вайб-кодингом, про который сейчас больше шутят, чем реально используют. Думаю, временно 😈