Всю неделю AI сообщество обсуждает релиз Jev. А в AI в целом такой большой уровень абстракции, что я пару дней сижу и думаю, как бы тебе все это описать. Кажется, придумал - пробую.
В общем, всегда, говоря про агентов, ChatGPT и всякое такое, мы подразумеваем LLM-based системы. То есть - языковые модели, которые построены для генерации текста. И именно они привели нас в тот агентный мир, где мы находимся сейчас. Но во всяком агентском воркфлоу есть моменты, где тебе надо быстро и дешево принять решение. Такие if/else узлы. И LLM так или иначе будет принимать решение вокруг генерируемого текста со свободным пространством возможных исходов. А это все равно досаточно дорого и долго, даже если использовать супер быстрые модельки вроде того же gemini-flash.
И вот ex-OpenAI ребята выпустили Jev. Это такая ML-модель, скорее предиктивно-статистическая. Где на вход подает контекст, вопрос и тип решения, которое она должна принять: правда/ложь; выбор варианта; оценка/скоринг. И делает это с x200 скоростью и дешевле в x400, чем LLM! 😍
«Но нужны примеры, Артем!» - скажешь ты, и это правда.
Довольно простой пример (собираюсь потестить на неделе) - базовый CV-matcher. Есть кандидат, в резюме которого указано:
Контекст: «Иван. Работал 4 в отделе B2B продаж. Опыт работы в CRM. До этого год проработал в клиентском сервисе».
Тип: выбор варианта
• клиентский сервис
• продажи
• маркетинг
• продукт
• отказать
Вопрос: Куда лучше направить кандидата?
И Jev вернет что-то вроде:
• клиентский сервис - 0.11
• продажи - 0.86
• маркетинг - 0.1
• продукт - 0.1
• отказать - 0.1
Туда же отнесем: задачки на классификацию обращений, авто-теги, сортировка почты, и много другое. Но повторюсь - самый главный плюс - в узглах внутри продакшен агентных систем, что должно повысить точность и скорость.
Но радоваться преждевременно - пока моделька в тесте, и нужно смотреть, как все будет работать в реальности. Я вот уже начал тестить в одном из личных проектах. Буду держать в курсe 🧐