Я же, кстати, не рассказывал, что у меня сейчас за проект.
Занимаюсь EPAM Dial – это такая платформа, типа единого окна в мир нейросетей. Представьте себе чат-интерфейс систему корпоративного уровня, в котором – доступ к любым LLM, хоть локальным, хоть облачным - OpenAI/Google/Anthropic/OpenSource

Тут можно немного дать волю своему AI и прочему LLM - энтузиазму, поиграться с разными моделями, поэкспериментировать, ну и просто доступ до разных моделей с возможностью поиграться с температурой и системными промптами.

Да, роль SDET мне тут, конечно жмёт, но проект интересный, коллектив приятный, есть с кем посоветоваться и у кого поучиться. Проект, кстати, опенсорс. Всё гордо лежит на GitHub в пачке репозиториев.

Поднимать такое дома - дичайший оверхэд, я не уверен, что сам смогу без проблем поднять все компоненты и соединить их для работы - просто не было такой необходимости. Но если среди вас есть энтузиасты, можете у себя развернуть и пощупать. А можете вообще форкануть или даже поконтрибьютить.

Epam, соответственно, на самом проекте не зарабатывает, мы продаём развёртывание у заказчика, поддержку и разработку разных эксклюзивных фич.

Что там интересного в самой платформе? Ну, кроме того, что она cloud-agnostic и может быть развёрнута в любом Kubernetes-окружении:

• Кастомизируемый UI: Внешний вид чата полностью настраивается. Можно даже диаграммы-графики отображать.
• Данные не утекают, доступ к промптам только у авторизованных пользователей.
• Интеграция с вашими данными: Можно подключить свои корпоративные данные и workflows к LLM.
• API-First: Все фичи доступны через API
• Шаринг конверсейшенов внутри организации
• Публикация на всех сотрудников от организации.
• Хранение промптов с шарингом и публикацией.
• Хранение файлов.
• Chat Overlay: Добавляйте AI-чат в своё веб-приложение просто вставив кусочек HTML.
• Встроенные приложения поверх нейросетей: Например, цензор или любой другой функционал, который может быть жизнеспособен в интерфейса чата

Если вы супер-секретная организация, то разворачиваете Dial, разворачиваете у себя локально на своём железе какую-нибудь LLAMA 3.1 405B, соединяете их и ваши данные остаются внутри, а организация получает приятный и готовый способ привычно общаться с нейросеточками + спокойный комплаенс

https://epam-rail.com/