👣 Cake — это фреймворк на Rust, разработанный для распределенного вывода LLMтипа LLama3 (70B+).

Его цель — сделать большие языковые модели доступными путем объединения потребительских устройств в гетерогенный кластер, включающий iOS, Android, macOS, Linux и Windows. Это позволяет эффективно использовать устаревающие устройства, делая ИИ более доступным и демократичным.

Cake распределяет блоки трансформеров среди нескольких устройств, что делает возможным вывод моделей, превышающих ограничения памяти отдельных GPU-устройств.

Фреймворк настраивается как для рабочих, так и для главных узлов с REST API, совместимым с OpenAI, для управления задачами распределенного вывода. Конфигурационные файлы определяют топологию, назначая слои модели конкретным рабочим узлам, что обеспечивает эффективное распределение ресурсов в кластере.

**Ключевые особенности:**

* Распределенный вывод крупных моделей
* Гетерогенный кластер устройств
* Настраиваемые рабочие и главные узлы
* Совместимость с REST API OpenAI
* Оптимальное распределение ресурсов

На видео энтузиаст запускает Llama3 8B на собственном кластере, состоящем из, iPad Pro, MacBook Pro, iPhone 15 Pro Max, NVIDIA GeForce 3080 и 2x NVIDIA Titan X Pascal.

🔗 Github

@rust_code