Решаем проблемы настройки зависимостей и работы с LLM

Пришла идея решить некоторые проблемы людей, которые начинают погружаться в работу с агентами и LLM.

Основная проблема - отсутствие доступа к LLM. Либо нет возможности поставить ее к себе локально из-за слабого железа, либо же не очень понятно, где получить доступ к API.

Также проблемы, связанные с настройкой Jupyter или установкой зависимостей.

Когда-то сам с таким сталкивался.

Решил собрать платформу, которая решает эти проблемы. В ней пользователь сможет получить доступ к Jupyter Notebook c уже установленными зависимостями, а также доступ к LLM, которую он сможет использовать внутри платформы. Естественно, Claude в разработке платформы очень помог.

Всего в пару кликов, после просмотра урока на курсе, человек сможет зайти на платформу и сразу начать практиковаться.

Сейчас проблема с которой я столкнулся - это ограниченность ресурсов сервера и LLM (взял подписку GigaChat и подключил прокси внутри сервера).

Для решения проблемы с ресурсами я сделал следующее: ограничил время и память 1 сессии с Jupyter для 1 пользователя. Также ограничил количество запросов к предоставленной LLM для пользователя в минуту.

Сейчас сервер способен выдержать одновременно ~15 запущенных сессий с Jupyter. Работает по принципу "кто успел, тот и съел" =)

Настроил себе мониторинг, посмотрю что из этого выйдет. Если будет интерес, буду думать над масштабированием, чтобы повысить количество одновременно работающих пользователей.

Возможно в канале есть те, кто начал проходить мой курс. Чтобы получить доступ к платформе - нужно зайти в бота @course_platform_bot, после команды /start он предоставит все необходимые доступы и ссылки. Напомню - LLM можно использовать только внутри платформы.

Максим Максимов // IT, AI