Четверг, а значит время проектов от подписчиков! 🌝

Тем, кто пропустил, что такое четверговые проекты от подписчиков, можно прочитать тут - https://t.me/tech_b0lt_Genona/4983

Слово автору @salimonov

---

Всем привет!

Мы с братом развиваем свой проект AI Gateway - Meridian. Решение сделать свой шлюз появилось после нескольких инцидентов с LiteLLM с проливкой трафика и растущей необходимости чинить его же релизы перед деплоем. А последующие новости о supply chain атаке на LiteLLM убедили, что сделали правильно.
В отличие от других шлюзов, его коммьюнити-версия так сильно не урезана, отсутствуют только кластеризация и аудитные логи, чтобы без регистраций/ключей использовать на разработческих компьютерах и стендах. Используем часть кода из проекта bifrost, чтобы сэкономить хотя бы часть денег на автотестах 15+ провайдеров.
Ключевое отличие проекта от других в том, что мы рассматриваем AI-трафик как поток длительных микротранзакций. Если шлюз принял запрос от клиента, отправил провайдеру и пролил его не вернув ответ, то это прямая потеря денег или разбазаривание клиентского бюджет. Из-за этого его кластер спроектировали как процессинг финансовых транзакций, а не stateless прокси. Все для поддержания минимальных финансовых рисков и для контроля собственного SLA для клиенстких сервисов.

Особенности проекта:
1. Биллинг построен на Raft-группах, так как позволяют атомарно резервировть деньги и проводить списания сразу с нескольких бюджетов без удержания блокировок в БД. Плюс линеаризовать транзакции, что дает возможность свести перерасходы практически к нулю и настроить разные политики управления бюджетами.
2. После успеха с биллингом сделали управление кластером также на Raft, взяв TiKV как референс. Это подняло сложность внутри, но упростило эксплуатацию, теперь состояния узлов и топология кластера также согласованы. Можно согласованно расселять лидеров, уводить нагрузку с узла, делать роллинг релизы и опять возвращать в строй без внешних автоматизаций, все через встроенный UI.
3. Сделали поддержку сетевых расширений, с которыми можно поднять свой маршрутизатор запросов (например на Jev), свои guardrails или триггерить что-то во внешней системе без редеплоя или рестарта узлов шлюза.
4. Есть возможность в онлайне управлять ценами на LLM-модели, оказалось особенно актуальным для тех кто живет на собственных AI-кластерах.

Тех. стек: Golang, PostgreSQL или SQLite, опционально Redis, Qdrant для семантического кэша

Если у вас еще небольшой стартап - готовы помочь коллегам бесплатной кластерной лицензией в обмен на фидбэк и issues к нам на GitHub.

Ссылка на доку - https://meridian.neria.cloud/overview
Docker-образа тут - https://github.com/orgs/neria-cloud/packages?repo_name=meridian

---