![[38/100] Витя Тарнавский](https://cdn4.telesco.pe/file/BeMYK9riVYtzGd5_nh5E3pdHJarHxSF-O_Z0FcarhO2zgGKkll9MTJtQ9TJDnT67f3g9SzOEmYKXnGgv1PtuCEfdQ-tWi3aheS3cjBzfbgSHHUKyjB2DLE7-IX6WjTtwnRkS1Bo8B93_B36SjXWGNPeUmjRme7ZcxTFKpfJbaA0foSDndo3L96e8hLKJS_FcVFsmk3bu3NaQzTaXswTxF3-S_4LdDfNcCDg5pGEMll83KJD80SoTiNAsbZCS_ND9FPI07PmkD4QpzGSqUzALF59uKgzaz8FqFkaHtfCXgAlsylay9cu7eePU8gX0Wvx1NyzEaWTg-q5ebqBWg9D2xw.jpg)
Head of AI в T-Bank
Канал про будущее продуктов в AI
Нет, я не скажу, что значит счетчик в названии
unhinged life: https://www.instagram.com/suicidecoding/
👯♀️📸: https://www.instagram.com/vctrscrts
Рекламу не даю
@the_real_jkee
Post #308
5.11K
Forwarded from Архитектура Стартапа - Anton Skogorev Engineering & AI (Anton Skogorev)
Давно хотел поделиться тем, что происходит под капотом LLM Platform, которую мы строим внутри ТБанка.
Пост на грани NDA.
В какой-то момент мы осознали, что без цельного платформенного слоя любые инициативы с GenAI будут буксовать. На схеме — как раз тот каркас, который у нас сложился и который мы продолжаем развивать.
И если ещё год назад мы спорили об отдельных «кубиках», то сегодня то, что мы строим, — де-факто канонический GenAI-стек. (вот тут ещё интересная статья)
Из чего он состоит на высоком уровне:
— LLM API Gateway — единая точка доступа до внутренних (qwen?) и внешних (deepseek?) моделей,
— RAG Platform — конвейер для превращения любых данных в пайплайн Retrieval-Augmented Generation,
— Observability Platform — прозрачность всех LLM-процессов в реальном времени,
— Orchestration & automation — набор инструментов построения произвольных GenAI-пайплайнов с минимум кода,
— LLM Sec — модули безопасности, политик и аудирования,
— Assistant Runtime Platform — среда выполнения произвольных AI-ассистентов.
И если LLM Gateway — это нифига себе высоконагруженный модуль, на базе которого построены как внутренние, так и внешние продукты, то вот как конкретно построить единый Tools Registry, мы всё ещё размышляем и экспериментируем.
Пост на грани NDA.
В какой-то момент мы осознали, что без цельного платформенного слоя любые инициативы с GenAI будут буксовать. На схеме — как раз тот каркас, который у нас сложился и который мы продолжаем развивать.
И если ещё год назад мы спорили об отдельных «кубиках», то сегодня то, что мы строим, — де-факто канонический GenAI-стек. (вот тут ещё интересная статья)
Из чего он состоит на высоком уровне:
— LLM API Gateway — единая точка доступа до внутренних (qwen?) и внешних (deepseek?) моделей,
— RAG Platform — конвейер для превращения любых данных в пайплайн Retrieval-Augmented Generation,
— Observability Platform — прозрачность всех LLM-процессов в реальном времени,
— Orchestration & automation — набор инструментов построения произвольных GenAI-пайплайнов с минимум кода,
— LLM Sec — модули безопасности, политик и аудирования,
— Assistant Runtime Platform — среда выполнения произвольных AI-ассистентов.
И если LLM Gateway — это нифига себе высоконагруженный модуль, на базе которого построены как внутренние, так и внешние продукты, то вот как конкретно построить единый Tools Registry, мы всё ещё размышляем и экспериментируем.
- 🔥 30
- ❤ 13
