Давно хотел поделиться тем, что происходит под капотом LLM Platform, которую мы строим внутри ТБанка.
Пост на грани NDA.

В какой-то момент мы осознали, что без цельного платформенного слоя любые инициативы с GenAI будут буксовать. На схеме — как раз тот каркас, который у нас сложился и который мы продолжаем развивать.
И если ещё год назад мы спорили об отдельных «кубиках», то сегодня то, что мы строим, — де-факто канонический GenAI-стек. (вот тут ещё интересная статья)

Из чего он состоит на высоком уровне:

— LLM API Gateway — единая точка доступа до внутренних (qwen?) и внешних (deepseek?) моделей,
— RAG Platform — конвейер для превращения любых данных в пайплайн Retrieval-Augmented Generation,
— Observability Platform — прозрачность всех LLM-процессов в реальном времени,
— Orchestration & automation — набор инструментов построения произвольных GenAI-пайплайнов с минимум кода,
— LLM Sec — модули безопасности, политик и аудирования,
— Assistant Runtime Platform — среда выполнения произвольных AI-ассистентов.

И если LLM Gateway — это нифига себе высоконагруженный модуль, на базе которого построены как внутренние, так и внешние продукты, то вот как конкретно построить единый Tools Registry, мы всё ещё размышляем и экспериментируем.