Первый учебно-научный семинар LISA 🤩

Тема: Архитектура LLM-driven приложений 🦾

Запрос на экспертное мнение по вопросам:
1. Есть ли общепринятая архитектура для LLM-driven приложений?
2. Имеет ли смысл поднимать LLM локально и встраивать в свой бэк или нужно использовать готовые фреймворки вроде vLLM?
3. Какие бэкенд-фреймворки лучше использовать для работы с LLM?
4. Как распределять нагрузку (или каким образом она распределяется в готовых фреймворках), если модель почти полностью забивает GPU, а пользователей много?

Цель: формирование полноценного zero-to-hero crash course по тому, как писать приложения с self-hosted LLM 🚀

Отправная точка для дискуссии:
1. Microservice in Python using FastAPI
2. Streaming Locally Deployed LLM Responses Using FastAPI (открывается с ВПН)

Для участия в семинаре, согласования даты, времени и формата необходимо заполнить 👉 форму 👈