На связи Антон 🙋♂️).
Ниже будет мое гуманитарное ощущение от различных LLM, после моего личного погружения.
Один из наших проектов, это проект Be.Sales по созданию персонализированных и кастомизированных ИИ-агентов для общения с клиентами.
Каждый месяц у нас добавляются новые компании заказчики. С разными задачами. С разными запросами.
И, оказывается - что использовать 1,2,3 или даже 5 моделей - супер неудобно (потому что не хватает глубины фунционала).
Экспериментальный формат показал, что каждая ИИ сильна в определенных действиях.
😂Условная QWEN - супер человеческое общение дает, но иногда такую дичь придумывает (сейлзы и РОПы меня должны понять) - что плакать хочется. Выпустить такое чудище в общение с клиентами - просто опасно.
🫠А MiniMax - хоть и думающая модель, но думает как тормоз распоследний по скорости и уже забываешь о том, что спросил ее. Никакой клиент не дождется на линии, пока там минимакс раздуплится.
Отдельный инсайты в том, что не обязательно лучшая модель - самая дорогая модель (там тоже, такие галлюцинации у "девчонок" (это я так ИИ называю), что мама не горюй). Да-да, Грок дорого, и не особо пригодно в плане юзабилити в реальном бизнесе.
❌Ну и, из интересного еще - chatgpt- совсем не лучшая модель по итоговому результату. Ага. Одна из самых дешевых - но не лучшая даже по соотношению цена-качество.
Некоторые ноунейм нейронки - показывают супер достойные результаты)
По итогу - под каждый запрос на агента - мы тестируем по 20 LLM, чтоб найти лучшее решение.(например, одни нейронки отлично справляются с русской речью, а другие только с иностранной (причем с разными странами, по-разному).
Естественно, у нас есть несколько "любимых" нейронок, потому что они более-менее универсально качественно решают любую задачу.
Аналитика в таблице - супер свежая.
Важно понимать - что цены не рубль в рубль, поскольку многое зависит от окна контекста и прочих параметров. Это супер упрощенная таблица, но при этом вектор ценообразования она показывает правильный.
Друзья, нужны еще какие-то сравнения?
Может у вас есть какие-то запросы на тест каких-то нейронок? Задавайте вопросы в комменты - соберем под это пост.
Мы же и фото, и видео, и текст постоянно юзаем... страшно представить сколько всего в голове приходится удерживать.
@russian_neuro