На инженерной конфе T-Sync руководитель разработки LLM-платформ Павел Назаров разложил по полочкам, из каких слоёв состоит их LLM-платформа. В основе:

— Инфраструктурный дает безопасность и доступы к инструментарию LLM;
— Операционный помогает в повседневной работе, например, отслеживать трейсы;
— Продуктовый позволяет строить ИИ-продукты как для сотрудников, так и для внешних юзеров на едином безопасном фундаменте;

Плюс Павел объяснил, почему крупным компаниям не подходит идея просто дергать внешние нейронки по API 😐