Ваши GPU простаивают под столом, пока вы платите OpenAI каждый месяц.

Mesh LLM объединяет любые машины с GPU в единый кластер и отдаёт его как OpenAI-совместимый API на localhost. Никакого дата-центра — только ваше железо, ваши данные, ваш контроль.

Для гигантских моделей предусмотрен режим конвейера: слои модели делятся между несколькими машинами. 235-миллиардная mixture-of-experts не помещается на одном сервере? Запускается на трёх скромных.

Инфраструктура строится на iroh — прямые QUIC-соединения с пробивкой NAT, без центрального сервера. Добавляешь узел — меш сам разбирается, куда маршрутизировать запрос.

Распределённые вычисления перестали быть привилегией тех, у кого есть дата-центр. 🖥

Разбираем ИИ-инструменты для бизнеса → platform.contentrun.ai
ИИ Инструменты | Контент-завод | База знаний